基于帧循环网络的视频超分辨率技术
2020年电子技术应用第9期
刘 佳，安鹤男，李 蔚，张昌林，涂志伟
深圳大学 电子与信息工程学院，广东 深圳518061
摘要：对比于单张图像超分辨，视频图像超分辨率技术需要对输入的连续时间序列图像进行融合、对齐等处理。基于帧循环的视频超分辨率网络共分为三部分：(1)帧序列对齐网络提取图像特征，并将邻居帧对齐到中心帧；(2)帧融合网络将对齐完成的帧进行融合，使用邻居帧的信息补充中心帧信息；(3)超分辨网络将融合完成的图像放大，得到最终的高清图像。实验表明，与现有算法相比，基于帧循环网络的视频超分辨率技术产生图像更为锐利，质量更高。
中图分类号：TN919.8；TP183
文献标识码：A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式：刘佳，安鹤男，李蔚，等. 基于帧循环网络的视频超分辨率技术[J].电子技术应用，2020，46(9)：43-46.
英文引用格式：Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
文献标识码：A
DOI：10.16157/j.issn.0258-7998.200051
中文引用格式：刘佳，安鹤男，李蔚，等. 基于帧循环网络的视频超分辨率技术[J].电子技术应用，2020，46(9)：43-46.
英文引用格式：Liu Jia，An Henan，Li Wei，et al. Video super-resolution based on frame recurrent network[J]. Application of Electronic Technique，2020，46(9)：43-46.
Video super-resolution based on frame recurrent network
Liu Jia，An Henan，Li Wei，Zhang Changlin，Tu Zhiwei
College of Electronics and Information Engineering，Shenzhen University，Shenzhen 518061，China
Abstract：Compared with single image super-resolution, video super-resolution needs to align and fuse time series images. This frame-recurrent-based video super-resolution network consists of three parts：(1)The frame sequence alignment network extracts the image features and aligns the neighbor frames to the center frame；(2)The frame fusion network fuses the aligned frames and supplements the center frame information with the neighbor frame information；(3)The super-resolution network enlarges the fused image to obtain the final high-definition image. Experiments show that, compared with existing algorithms, video super-resolution technology based on frame loop network produces sharper images and higher quality.
Key words :video；super-resolution；deep learning
0 引言
在现存硬件技术的基础上，通过现存图像序列或视频相邻进帧之间的时空信息互补，将低分辨率的图像序列或者视频重构为高分辨率的图像序列或视频，一直是数字图像处理领域内的一个重要分支。最初的视频超分辨被认为是图像超分辨领域的简单扩展，但是这些基于单张图片的超分辨技术不能提取视频相邻帧之间的互补信息和存在视频中的动作位移。由于评价函数的关系，这些技术处理完成的视频会导致伪影，观看感觉不连续。基于帧循环网络的视频超分辨方法正是针对上述问题提出，并在公开数据集上验证了模型的有效性。
图像超分辨不仅可以生成高质量的图像，还可以用作目标检测[1]、人脸识别[2]等任务的预处理步骤。深度学习方法的引入为图像超分辨领域带来新的发展[3]。
相比于单幅图像超分辨，视频超分辨可分为对齐、融合、重建3个步骤。对齐网络的结果会直接影响融合网络与重建网络的效果。早期，基于深度学习的视频超分辨方法[4]参考相邻视频帧之间的光流场扭曲邻居帧从而达到对齐的目的。然而，Xue Tianfan等人[5]指出基于光流场的对齐方法并非视频超分辨的最优解，提出基于任务流的视频超分辨率方法；JO Y H等人[6]提出了隐式运动补偿的方法规避流场的计算。
本文详细内容请下载:http://www.chinaaet.com/resource/share/2000002978
作者信息:
刘 佳，安鹤男，李 蔚，张昌林，涂志伟
(深圳大学 电子与信息工程学院，广东 深圳518061)
此内容为AET网站原创，未经授权禁止转载。