本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。
只给AI两张图片,就能得到高帧率动态视频?
输入的两张图像,重叠后是这样的:

而算出来的视频,是酱婶的:

不错,这又是视频插帧算法的功劳。
极限操作玩得6,让老电影变丝滑的常规手法,这个名叫RIFE的AI算法同样信手拈来。
右边这支经典探戈,看上去是不是比左边丝滑多了?

不仅是老电影,飞行表演的精彩瞬间,也能一口气从每秒24帧提升到每秒96帧。

这项新研究,来自旷视和北大。不仅能让老影像资料追上人民群众对高帧率的需求,支持2X/4X/8X高质量插值,它还有一个最大的特点:快。
量子位在Colab上用T4跑了一遍Demo,一个时长53秒的720p 25fps视频,插值到100fps仅用了2分19秒。
该项目现已开源,并且有官方Demo、第三方Windows应用可以试玩。
看过了RIFE的表现,网友们不由惊叹,这是要超越那只经常在各种修复视频里出现的插帧AI DAIN,引领一波新潮流的节奏啊?
一时之间,RIFE在Reddit上的热度飙升到了2.8k。

那么,这样的效果究竟是怎么实现的呢?
从双向估计,到一步预测中间帧
视频插帧,通常是用光流预测算法来预测中间帧,并插入两帧之间。光流,就像光的流动一样,是一种通过颜色来表示图像中目标移动方向的方式。
△稀疏光流与稠密光流
传统光流预测算法,通常根据前后两帧视频来预测中间的某一帧长啥样。
将预测完成的图像插进去后,视频看起来就会变得更丝滑。
以DAIN的算法为例,如果要预测t时刻的帧,就需要t时刻的前后两帧视频,通过光流预测算法来实现。
△DAIN的算法图
但是这一类的算法会产生一个缺点:在预测过程中,如果用前后两帧图像产生双向光流,用线性组合来估计中间流,预测出来的结果,在运动边界区域就会出现伪影。
这样的伪影,使得重建中间帧图像的效果不尽人意。
那么,如果换一种思路,直接先预测中间流呢?
相比于利用前一帧和后一帧进行两次估计,这里的IFNET (a Specialized and Efficient Intermediate Flow Network)算法,将直接采用线性运动假设,对中间帧进行一次估计。
效果也显而易见,相比于利用前后两帧的双向估计所产生的光流,利用IFNET估计出的光流效果非常清晰,而且几乎没有伪影。
利用这种方式重建图像,不仅光流边缘看得清楚,而且速度也更快。
论文提到,RIFE是首个基于光流的实时视频插帧方案。
由于中间帧预测,直接假设了前后两帧的变换是线性的,相当于每帧预测中直接少了一次估计。
那么,这个模型,究竟将插帧算法提升到了怎么样的水平?
运行速度远超其他方法
前文已经提到,RIFE最亮眼的一点是快。
研究人员在UCF101、Vimeo90K、Middlebury OTHER set和HD benchmarks等基准上,将RIFE与英伟达的SoftSplat、上交大的DAIN等「前辈」进行了对比。
用来测试运行时间的是一个640×480的视频,使用的GPU型号是NVIDIA TITAN X(Pascal)。
从结果可以看出,在性能相当的情况下,RIFE基础模型的运行速度超过了所有对比方法。
而模型的大版本RIFE-Large,在性能超越SOTA方法SoftSplat的情况下,运行速度快出了30%。
另外,研究人员基于Vimeo90K测试集,提供了可视化的对比结果。
可以看到绿框部分,SepConv-L1和DAIN产生了伪影,而CAIN铲子部分则出现了缺失,相对而言,RIFE生成的结果更为可靠。
安装包和colab都有,试玩无忧
效果这么美丽的模型,应该怎么使用?
目前作者们已经给出了预训练模型的几种用法,从GitHub项目中可以直接下载网盘版的压缩包。
无论是用作者提供的demo、还是用你自己想要进行插帧的样本,都可以上手试玩。
当然,模型也有colab版本,可以直接在云服务器上玩模型。
而且,已经有玩家做出了Windows版的软件,可以直接下载下来使用。界面看起来还挺简洁:
模型RIFE的出现,已经让一些游戏爱好者狂热了起来:
你们能想象吗,就算是已经吃灰很久的PS2,也可以达到4k游戏的水平效果了!利用这种算法,3步就能搞定!
不过,也有网友表示了对这种算法的担忧。
虽然这种算法速度快、性能高,但实际上存在一个问题:
这种算法,本质上无法联想到丢失的帧间信息,所以无法用在安防视频上。
对于这些方面的应用,未来还需要进一步考虑。
作者介绍
黄哲威,论文一作,目前是旷视的一名算法研究员,毕业于北京大学。
进入北大信科一年后,他获得了ICPC区域赛金牌,还成为了旷视科技智能计算组(IC组)的实习生,之后参加了NIPS 2017的Learning to Run比赛,使用Actor-Critic Ensemble算法获得了第二名。此外,在ICCV 2019顶会上,他的论文同样被收录。
张天远,毕业于北京大学,就读期间,论文曾经被ICML 2019、ICCV 2019、NIPS 2019等顶会收录。
衡稳,于北京大学获计算机应用技术硕士学位。
施柏鑫,来自北京大学,目前是北京大学信息科学技术学院的助理教授(博雅青年学者)、研究员、博士生导师。
周舒畅,旷视研究院AI计算组组长,本科毕业于清华电子系,博士毕业于中科院计算所,曾获NeuIPS 2017 Learning to Run Challenge第二名,美国国家标准技术研究所NIST TRAIT 2016 OCR冠军。
项目地址:
https://rife-vfi.github.io/
论文地址:
https://arxiv.org/abs/2011.06294
与DAIN效果对比:
https://www.youtube.com/watch?v=60DX2T3zyVo&feature=youtu.be
【编辑推荐】
点赞 0
- 大家都在看
- 猜你喜欢
编辑推荐
- 24H热文
- 一周话题
- 本月获赞
- 年薪百万的阿里P8,每天都在干些啥?熊孩子乱敲键盘攻破Linux桌面,大神:17年前我就警告过了常见线上故障的最优解法,运维老司机也未必都懂大一新生开发的小工具火了!可视化Python编程体验了解一下休息时间!哪些业余活动能提升开发人员的技能?5nm芯片集体“翻车”,先进制程的尴尬程序员美女说:建模一点都不难!做3D模型,这一步才是最难的年度重磅发布:《人工智能发展报告2020》
- 年薪百万的阿里P8,每天都在干些啥?为什么我不要求996,公司还能做到市值1万多亿?Windows 10X:微软新款操作系统先睹为快又双叒删库:程序员怒删9TB数据,被判7年!熊孩子乱敲键盘攻破Linux桌面,大神:17年前我就警告过了大一新生开发的小工具火了!可视化Python编程体验了解一下超牛!第一份程序员考公指南居然在Github上被我扒出来 最新研究发现超级人工智能,从理论上就无法控制
- 又双叒删库:程序员怒删9TB数据,被判7年!为什么我不要求996,公司还能做到市值1万多亿?5个开源的Java项目快速开发脚手架,项目经验有了GPT-3今年首次升级,吴恩达、Keras之父等大佬纷纷叫好数据分析师必备的9大技能,大多数人只知道一半年薪百万的阿里P8,每天都在干些啥?超牛!第一份程序员考公指南居然在Github上被我扒出来 2021年需要关注的10个IT趋势
订阅专栏+更多
-
数据湖与数据仓库的分析实践攻略
助力现代化数据管理:数据湖与数据仓库的分析实践攻略共3章 | 创世达人3人订阅学习
-
云原生架构实践
新技术引领移动互联网进入急速赛道共3章 | KaliArch30人订阅学习
-
数据中心和VPDN网络建设案例
漫画+案例共20章 | 捷哥CCIE210人订阅学习
视频课程+更多
-
ClickHouse数据库培训实战 (PB级大数据分析
讲师:风哥2109人学习过
-
Tomcat管理与维护实战培训(企业级中间件09)
讲师:风哥6690人学习过
-
计算机网络 谢希仁 第7版 2020年12月份录制
讲师:韩立刚8559人学习过
专题推荐+更多
-
订阅51CTO邮刊
点击这里查看样刊

51CTO服务号

51CTO官微