结合编码信息与超分辨率重建的视频编码方法_贾奇才.pdf

第 39 卷 第 7 期 福 建 电 脑 Vol.39 No.7 2023 年 7 月 Journal of Fujian Computer Jul.2023 本文得到中央高校基本科研业务费专项资金面向“双碳”布式光伏发电功率预测系统（No.31920230141）、西北民族大学一流本科课程项目2021（No.YLKC-74）、西北民族大学教育教学改革研究项目（No.2021XJYBJG-12）、西北民族大学创新创业教育教学改革研究项目面向专创融合的高校创新创业校企协同育人学程制教育改革研究、甘肃省自然科学基金(No.21JR1RA206)资助。贾奇才，男，1997年生，主要研究领域为视频信息压缩与处理。E-mail:。林宏伟（通信作者），男，1983年生，主要研究领域为视频信息压缩与处理。E-mail:。田子溢，男，2000年生，主要研究领域为视频信息压缩与处理。E-mail:。王创，男，1998年生，主要研究领域为视频信息压缩与处理。E-mail:。结合编码信息与超分辨率重建的视频编码方法 贾奇才 林宏伟 田子溢 王创 (西北民族大学电气工程学院 兰州 730000)摘 要 如何在现有的视频压缩编码框架下保证视频质量的同时，大大降低压缩后视频的码率，仍是一个亟待解决的问题。本文根据现有的视频编码框架高效视频编码，提出了一种结合高效视频编码编码信息与时/空域超分辨率重建的视频编码方法。本系统预先通过时间域自适应抽帧和空间域下采样分别降低了原视频的帧率和空间分辨率，然后通过标准化编解码器进行编码。在解码端，利用基于视频压缩码流信息的时域超分辨算法，将解码后的视频帧率增加到原始视频帧率。最后通过空域超分辨算法将视频重建恢复到原始分辨率。实验结果表明，相较于标准传统 HEVC 视频编码框架，本文所提出的算法在低码率段极大地降低了压缩视频的码率，同时降低了解码端超分辨重建过程的复杂度。关键词 时空下采样；码流信息；新一代高效视频编码；超分辨重建 中图法分类号 TP302 DOI:10.16707/ki.fjpc.2023.07.005 A Video Coding Method Combining Encoding Information and Super-resolution Reconstruction JIA Qicai,LIN Hongwei,TIAN Ziyi,WANG Chuang (School of Electrical Engineering,Northwest Minzu University,Lanzhou,China,730000)Abstract How to greatly reduce the bit rate of the compressed video while ensuring the quality of the video is still an urgent problem to be solved.Based on the existing video coding framework HEVC,a video coding method combining HEVC coding information and time/spatial super resolution reconstruction is proposed in this paper.In this system,the frame rate and spatial resolution of the original video are reduced respectively by time domain adaptive frame extraction and space domain subsampling,and then encoded by standardized codec.At the decoding end,the time-domain super-resolution algorithm based on the compressed video stream information is used to increase the decoded video frame rate to the original video frame rate,and finally the video is reconstructed to the original resolution through the spatial super-resolution algorithm.The experimental results show that compared with the standard traditional HEVC video coding framework,the proposed algorithm greatly reduces the bit rate of the compressed video in the low bit rate segment,and also reduces the complexity of the decoding terminals super resolution reconstruction process.Keywords Spatiotemporal Down-sampling;Stream Information;HEVC;Super-resolution Reconstruction 1 引言 随着网络进入 5G 时代，人们可以随时随地通过通讯设备获得所需的信息。这些信息可以是文字、图片、视频等多种形式。近几年各种直播和短22 贾奇才等：结合编码信息与超分辨率重建的视频编码方法 第 7 期 视频平台的兴起，视频成为人们获取信息的主要方式之一。然而不少偏远地区还停留在 4G 时代，网络带宽的不足影响了人们获取视频信息的质量。此外，视频的分辨率越来越大，编码数据量也越来越大，给设备的存储和传输都带来了很大的挑战。在这种背景下，现有的视频编码标准总有一天无法满足对极高分辨率视频的压缩要求。因此，在带宽有限的前提下，如何在不降低质量的同时，减少压缩视频的比特率是很重要的课题。2013 年,ISO/IEC 正式发布 H.265/高效视频编码（High Efficiency Video Coding，HEVC）标准1，比上一代视频编码压缩框架 H.264/AVC(Advanced Video Coding)在重构视频相同质量下节省 50%的码流。随着 HEVC 的完成和应用，HEVC 逐渐代替H.264 成为主流的视频压缩编码框架。因此如何提高基于 HEVC 的视频编码性能是一个值得研究的方向。有学者提出了时域下采样编码及重建的方法，但该方法不能显著提高视频重建后的质量2。有学者提出一种匹配的数字图像下/上采样滤波算法，匹配的重采样滤波器在性能上有较大提高，其峰值信噪比平均增加 1.6dB 3。有学者提出了一种基于深度学习的视频帧数目减少方法，同时保持了较高的视觉质量，但耗时较长4。图 1 基于时空下采样和超分辨重建的视频编码系统 现有的方法总存在一些弊端，为了达到提高视频编码压缩性能的目的，本文提出了一种基于时/空下采样和超分辨重建的视频编码系统5。如图 1 所示，在编码前引入一个自适应抽帧和空间下采样模块达到减小原始视频帧率和分辨率的目的，以减少视频在网络中传输所占的带宽，然后在解码端利用码流信息和超分辨重建技术将视频恢复至原始视频的帧率和大小。2 自适应抽帧和空间下采样 图 2 自适应抽帧 一帧帧连续的图像组成视频。由于视频的背景大都相同，存在时域相关性。进一步来说，HEVC 会对背景相同的连续帧重复编码，直接对视频编码会造成网络带宽的浪费，故系统采用在编码前抽去冗余帧的方法来减少编码后的比特率6。现有的方法不对视频帧作出任何评估，直接抽去偶数帧只对奇数帧编码的方法根本无法正确判断出视频发生场景变化的关键帧，导致解码后视频序列的连贯性太差，有些该抽的帧没抽。因此提出一种自适应抽帧策略，通过判断视频序列场景的相对变化来选择是否抽取该帧。若视频序列在此刻发生场景变化则保留该帧，若该帧背景与前一帧相比基本相同则抽去该帧。判断当前帧是否为抽去帧，系统采用当前帧与前一帧的均方根误差（RMSE）和相对变化率(R)作为是否抽去该帧评估标准：112100k(,)(,)RMSE=mnkkijf i jfi jmn=(1)121kkkkRMSERMSERRMSERMSE+=(2)其中，()1,kfi j表示第1k 帧在位置(),ij处的像素值，()i,kfj 表示第k帧在位置()i,j 处的像素值，m和n分别表示视频的宽度和高度，kRMSE 表示第k帧与第1k 帧对应位置像素均方根误差，R表示相邻帧场景的相对变化率。当第k帧的均方根误差和相对变化率小于给定的阈值时，认定该视频序列在第k帧没有发生场景变化，则抽去该帧；反之，则视频序列保留第k帧。抽帧过程如图 2 所示。为了确保在解码端视频重建帧的质量，系统设定相邻帧两帧之间至少保留一帧原始低分辨率视频。原始视频()H,T x y经过自适应抽帧后得到低帧率视频()H,T x y，在编码前对低帧率视频进行2023 年 福 建 电 脑 23 空间下采样，得到一个低分辨率视频(),L T x y，低分辨率视频的宽和高为原始视频宽和高的一半。空间下采样方法采用的是双三次下采样来降低视频的比特率7。该方法处理过程如图 3 所示。将完成预处理后的低分辨率视频送入 HEVC 视频编码框架进行压缩编码，在此过程提取处于压缩域内的码流信息，然后在解码端解码重新得到低分辨率视频。图 3 空间下采样图 3 解码端重建视频帧 目前大多数帧率上变换的算法都是通过解码端重新估计相邻帧之间的运动关系来获取时域信息8-10。这种方法会极大地增加解码端的运算量。HEVC 视频编码框架在进行视频压缩的过程中会进行基于块的运动估计，由此得到编码块的运动矢量信息，并将此类信息编码送至解码端。解码端接收该码流信息后再将压缩的视频解压。借助这一信息，在解码端提出了一种适用于 HEVC 框架的基于改进的双向运动补偿的插帧策略。该策略在码流中提取编码块的运动矢量信息，将不同类型块的运动矢量来补偿抽去的帧。这样可避免在解码端重新进行运动估计，在很大程度上降低了系统的复杂度。图 4 双向运动补偿插帧图 基于编码块的运动补偿分为三种方法：前向运动补偿、后向运动补偿和双向运动补偿。双向运动补偿显然更精确，故系统采用双向运动补偿方法插帧11。双向运动补偿方法如图 4 所示。图 4 中 MV（运动矢量）表示从 HEVC 传输码流中获取的当前帧相对于前一帧的运动矢量,则待插帧初始运动信息由 MV 的一半代替。双向运动补偿插值计算方法如下：()()()111,2ttxytxyF x yFx V y VFx V y V+=+(3)其中，,()tF x y表示待插块在位置(),x y处的重建像素值，()1,txyFxVyV+表示在前向帧中搜索到当前像素的像素，()1,txyFxVyV+表示在向后帧中搜索的当前像素的像素，(),xyV V为码流中获得的待插块相较于参考帧的运动矢量。HEVC 对视频编码过程中会产生帧间编码的块和帧内编码的块。对于帧间编码的块采用上述方法插值；对于帧内编码的块，由于其不存在运动矢量，故使用该帧内编码块周围块的运动矢量进行填充，最后再运用基于双向运动补偿的策略进行插值。基于双向运动补偿的策略是基于块的运动估计，在插值后视频易出现块效应。为了解决此类问题，系统使用中值滤波器对像素点进行平滑处理。通过上述方法将解码后的低分辨率视频(),L t x y可以重构为与原始输入视频(),H t x y帧率相同的低分辨率视频(),L t x y。为了提高重建视频的主客观质量，降低系统的复杂度12-13，系统使用了一种端到端深度神经网络。该网络生成动态上采样滤波器和残差图像，并根据每个像素的局部时空邻域进行计算，以避免显式运动补偿。通过该方法，使用动态上采样滤波器直接将输入图像重建为高分辨率图像，并通过计算的残差添加精细细节14。经此处理后，解码端重构视频已完全恢复至原视频同等分辨率。4 实验结果及分析 为证实本系统的压缩能力，本实验与 HVEC 标准测试模型 HM16.0 实验结果进行对比。实验选取编码码率和重建后的视频质量 PSNR 作为实验参数进行测试，并使用了不同尺寸大小的视频序列在编码 QP 分别设置为 22、32、42 的条件下进行编码测试。具体实验结果如表 1 所示。由表 1 数据分析可知，该系统所提出的算法相较于标准 HM16.0 视频编码框架极大地降低了视频在网络中传输的码率，因视频细节的缺失不可避免地造成了重建后的视频帧质量下降。图 5 的实验表明，该系统在同等低比特段时，重建后的视频质量相较于标准的 HEVC 视频编码框架表现出色，表明该系统在处理低比特的视频时性能优于 H.265 视24 贾奇才等：结合编码信息与超分辨率重建的视频编码方法 第 7 期 频编码框架。表 1 本文算法与标准 HM16.0 码率及 PSNR 对比 序列名称 QP Bitrate PSNR Mobisode2_416240 22 32 42-65.08%-62.95%-59.18%-11.92%-10.85%-9.62%PartyScene_832480 22 32 42-66.39%-63.61%-61.28%-10.55%-8.89%-7.82%FourPeople_1280720 22 32 42-61.16%-58.01%-54.32%-9.77%-8.18%-7.08%PartyScene_19201080 22 32 42-67.46%-64.26%-62.23%-10.67%-9.54%-8.85%表 2 本文算法与基于时空超分辨率重建算法复杂度对比 序列名称 PartyScene FourPeople PartyScene T-6.42%-5.64%-5.53%图 5 本文算法与 HEVC 视频重建质量对比图 如表 2 所示，该系统在解码后恢复至视频原始帧率时使用了来自压缩域内基于块的运动矢量信息，可以避免在解码后重新进行运动估计，既节省了超分辨重建的时间，又降低了系统的复杂度。5 总结与展望 本文所提出的算法通过编码前预处理环节来降低原始视频的帧率和分辨率，以达到降低视频编码比特的目的，然后在解码后利用码流中的运动信息恢复帧率。本文算法相较于标准传统 HEVC 视频编码框架，在低码率段极大地降低了压缩视频的码率，降低了解码端超分辨重建过程的复杂度，为视频压缩编码的发展提供了一种新思路。参 考 文 献 1 万帅,杨付正.新一代高效视频编码H.265/HEVC.北京:电子工业出版社,2014 2 葛川,刘琚,元辉,等.一种深度图的时域下采样编码及重建方法.西安电子科技大学学报,2016,43(04):160-165,171 3 赵旦峰,王博,杨大伟,等.可分级视频编码中重采样滤波器设计.吉林大学学报(工学版),2012,42(01):199-202 4 M.A.Yilmaz,A.M.Tekalp.Video Frame Prediction via Deep Learning/2020 28th Signal Processing and Communications Applications Conference(SIU),Gaziantep,Turkey,2020:1-4 5 H.Lin,X.He,L.Qing,Q.Teng,S.Yang.Improved Low-Bitrate HEVC Video Coding Using Deep Learning Based Super-Resolution and Adaptive Block Patching.in IEEE Transactions on Multimedia,2019,21(12):3010-3023 6 李永刚,魏远旺,叶利华,等.压缩视频流关键帧快速抽取方法.计算机工程与应用,2011,47(33):162-164,168 7 彭燕,胡丹屏,刘宇红,等.基于FPGA实现的Ferguson双三次曲面插值图像缩放算法.贵州大学学报(自然科学版),2019,36(06):68-72,118 8 C.Xu,Y.Chen,Z.Gao,Y.Ye,T.Shan.Frame rate up-conversion with true motion estimation and adaptive motion vector refinement/2011 4th International Congress on Image and Signal Processing,Shanghai,China,2011:353-356 9 Ma,Wendan et al.Frame Rate Up-Conversion under Stationary Constraints of Spatio-Temporal Local Motion/2022 IEEE 5th International Conference on Automation,Electronics and Electrical Engineering(AUTEEE),2022:935-939 10 Zhi-Hong L U,Dan G,Meng W.Motion-compensated Frame Interpolation Based on Weighted Motion Estimation and Vector Segmentation.Zidonghua Xuebao/Acta Automatica Sinica,2015,41(5):1034-1041 11 M.Le Dinh,L.V.Tung,X.H.Van,D.Dinh Trieu,T.P.Thanh,H.Le Thanh.Improving 3D-TV view synthesis using motion compensated temporal interpolation/2016 International Conference on Advanced Technologies for Communications(ATC),Hanoi,Vietnam,2016:312-317 12 Y.Tai,J.Yang,X.Liu.Image Super-Resolution via Deep Recursive Residual Network/2017 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),Honolulu,HI,USA,2017:2790-2798 13 Y.Zhang,Y.Tian,Y.Kong,B.Zhong,Y.Fu.Residual Dense Network for Image Super-Resolution/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City,UT,USA,2018:2472-2481 14 Y.Jo,S.W.Oh,J.Kang,S.J.Kim.Deep Video Super-Resolution Network Using Dynamic Upsampling Filters Without Explicit Motion Compensation/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City,UT,USA,2018:3224-3232 200400600800100012001400Bitrate2830323436384042PSNRFourPeople 1280 x720HEVC本文算法