基于亮度残差的VVC帧内编码改进算法.pdf

第 37 卷第 3 期2023 年 6 月南华大学学报(自然科学版)Journal of University of South China(Science and Technology)Vol.37 No.3Jun.2023收稿日期:2023-01-20基金项目:国家自然科学基金项目(62001209)作者简介:王芳冰(1997),女,硕士研究生,主要从事深度学习和强化学习等方面的研究。E-mail:。通信作者:林文斌(1970)男,教授,博士,主要从事深度学习与强化学习等方面的研究。E-mail:lwb usc.eduDOI:10.19431/ki.1673-0062.2023.03.007基于亮度残差的 VVC 帧内编码改进算法王芳冰1,李 跃2,林文斌1,2(1.南华大学 数理学院,湖南 衡阳 421001;2.南华大学 计算机学院,湖南 衡阳 421001)摘 要:通用视频编码(versatile video coding,VVC)标准由联合视频专家组共同制定,它遵循基于混合块的编解码器及其前身高效视频编码(high efficient video coding,HEVC)的传统架构。与 HEVC 相比,VVC 的帧内预测功能包含大量修改,编码效率大大提高。在 VVC 的基础上,提出了一种改进的基于亮度残差的帧内编码算法,通过减少率失真代价的检查次数,在保证编码质量不受较大影响的前提下,降低了计算复杂性,并提高了 VVC 的帧内编码效率。实验结果表明,在 VTM16.0 的 VVC 软件版本下,在相同配置下,改进算法的编码时间可以减少 27.03%,而 Bjntegaard-Deltarate 只增加了 0.9%。关键词:VVC;亮度残差;帧内预测;VTM16.0中图分类号:TN919.81文献标志码:A文章编号:1673-0062(2023)03-0046-07Improve Algorithm of VVC Intra Coding Based on Luminance ResidualWANG Fangbing1,LI Yue2,LIN Wenbin1,2(1.School of Mathematics and Physics,University of South China,Hengyang,Hunan 421001,China;2.School of Computer Science,University of South China,Hengyang,Hunan 421001,China)Abstract:The versatile video coding(VVC)standard is jointly formulated by the jointvideo expert group(JVET).It follows the traditional architecture of mixed block based co-dec and its predecessor high efficient video coding(HEVC).Compared with HEVC,theintra prediction function of VVC contains a large number of modifications,and the codingefficiency is greatly improved.In this paper,an improved intra coding algorithm based onluminance residuals is proposed on the basis of VVC.By reducing the number of rate-dis-tortion cost checks,the computational complexity is reduced and the intra frame coding ef-ficiency of VVC is improved while ensuring that the coding quality is not greatly affected.64第37 卷第3 期王芳冰等:基于亮度残差的 VVC 帧内编码改进算法2023 年 6 月Under the VVC software version of VTM16.0,the experimental results show that under thesame configuration,the coding time of the improved algorithm can be reduced by27.03%,while the Bjntegaard-Delta rate can only be increased by 0.9%.key words:VVC;luminance residual;intra prediction;VTM16.00 引 言随着显示技术的发展和对超高清视频需求的增加,视频应用不断向高帧速率和高分辨率发展。针对这一趋势,引入了一种新的视频编码标准,称为通用视频编码(versatile video coding,VVC)。VVC 是一种国际视频编码标准,与高级视频编码(advanced video coding,AVC)和高效视频编码(high efficient video coding,HEVC)相比,它具有更高的压缩能力。它由 ITU-T 视频编码专家组(video coding expert group,VCEG)和 ISO/IEC 运动 图 像 专 家 组(moving picture expert group,MPEG)建立的联合视频专家组(joint video expertsteam,JVET)共同设计1-2。帧内预测是视频编码的主要研究领域之一。它利用图像的空间相关性来消除空间信息的冗余,实现视频数据的压缩。在 VVC 中,提出了许多新的帧内预测技术,包括模式相关帧内平滑(mode dependent intra smoothing,MDIS)、交叉分量 线 性 模 型(crosscomponentlinearmodel,CCLM)、位 置 相 关 帧 内 预 测 组 合(positiondependent intra prediction combination,PDPC)、多参考线(multi reference line,MRL)帧内预测、帧内子分区(intra sub partition,ISP)、矩阵加权帧内预测(matrix weighted intra prediction,MIP)等3。帧内预测是 VVC 标准应用的基础,它发生在以下两种情况下:首先,为了确保随机访问能力(不包括逐行解码和刷新场景),只允许帧内预测而不允许帧间预测的帧被插入到每个视频序列中,即所谓的 I 帧。其次,对于视频帧中可能发生的局部时间场景变化,例如存在遮挡时,帧间预测很可能失效,需要使用帧内预测。在典型的视频序列中,虽然最常用帧间预测,但以帧内预测模式编码的块占总比特率的很大一部分。有效的帧内预测算法通常可以减少在每个 I 帧中发生的比特率波动,因为它消耗高比特率。帧内预测技术在视频编码技术中起着重要的作用,对编码性能有很大的影响。优化帧内预测技术以提高编码效率是一项重要任务。1 相关工作1.1 VVC 帧内编码VVC 继承了经典的三步模式搜索方法,如图1 所示4。图 1 VVC 中帧内模式选择的流程图Fig.1 The flowchart of intra mode selection in VVC第一步称为粗糙模式决策(rough mode deci-sion,RMD),它使用 Hadmard 成本(Hadmard cost,Hcost)值从 67 个正常模式中选择 N 个候选模式,如图 2 所示。67 种正常模式包括两种非定向模式(DC 模式和 Planar 模式)和 65 种定向模式。这 N 个模式形成 RMD 模式列表,并根据 Hcost 按升序排序。N 根据编码单元(coding unit,CU)的大小被设置为 2 或 3。在第二个步骤中,从相邻CU 导出最可能模式(most probable mode,MPM)列表,并且通过 RMD 模式列表初始化 ISP 模式列表。然后,将 MPM 列表中的前 m 个模式与 RMD模式列表合并,以形成完整的模式列表(completemode list,CML)。根据相邻 CU 的模式是否相同,m 分别设置为 1 或 2。因此,CML 的大小为 3、474第37 卷第3 期南华大学学报(自然科学版)2023 年 6 月或 5。第三步称为率失真优化(rate distortion opti-mization,RDO),它使用 RDO 过程从 CML 和 ISP模式列表中选择出率失真代价(rate-distortioncost,RD Cost)最小的模式为最佳模式。图 2 VVC 中的角度帧内预测模式Fig.2 Angular intra prediction modes in VVC1.2 快速模式决策算法有两种类型的快速模式决策算法。第一个是为 RMD 过程设计的。例如,H.Zhang 等5为HEVC 编码器提出了一种快速模式决策方法。L.Gao 等6提出了两种快速内部预测算法,以减少率失真优化的候选模式的数量。L.L.Wang 等7提出了一种用于模式决策和信令处理的新的自适应模式跳过算法。T.Zhang 等8提出了一种基于梯度的方法,以减少 RMD 过程和 RDO 过程的候选模式。M.Jamali 等9提出了一种基于改进的边缘检测、考虑相邻块中的最相关模式和绝对变换差分和(sum of absolute transformed difference,SATD)代价分类的快速帧内模式决策方法。W.Jiang 等10提出了一种基于梯度的快速模式决策算法,以降低 HEVC 的计算复杂性。参考文献5和参考文献6分别提出了一种渐进式搜索方法来计算部分预测模式的 Hcost,而参考文献7-10研究了纹理和模式之间的关系,仅研究了少数模式。第二种设计用于 RDO 过程。例如,M.Jamali等11提出了一种基于低复杂度绝对变换差成本之和预测内部模式 RDO 过程的新方法,以降低HEVC 内部模式决策的计算复杂性,同时节约编码时间。J.Tariq 等12提出通过融合 Hadmard 代价并使用由空间和时间相关性形成的统计推断来初始化候选模式列表,从而改进了 RMD 的快速模式决策策略。这些方法重新设计了 RDO 过程预测模型,以降低编码复杂度。简而言之,为 VVC 设计低复杂度算法有三个挑战。首先,一系列新技术叠加在 VVC 内部编码中,以提高编码性能,然而,这些新模型并不总是提供比正常模型更准确的预测,这导致了巨大的计算冗余。第二,标准模式的选择不再局限于最近的参考线,这一点需要注意。第三,随着宽角度模型的采用,模型预测的类型显著增加。这导致了大量冗余模式预测,降低了预测模型的精度,并显著提高了编码复杂性。本文选择 VTM16.0 作为实验参考和测试软件,VTM16.0 集成了许多方法来降低帧内编码的复杂性,然而,通过使用下一节中提出的方法,仍然可以进一步降低帧内编码的复杂性。2 提出算法本节提出了一种预终止帧内预测算法,通过控制残差以减少 RDO 过程中 RD Cost 检查的次数来降低计算复杂性,从而提高 VVC 的帧内预测效率。首先,建议使用 CU 的总体残差平均值来确定当前编码的 CU 是否提前终止后续模式的RDO 过程,然而,当总体残差平均值太大时,尽管可以有效地减少 VVC 的帧内编码时间,但这将导致图像编码质量有一定下降。因此,通过实验设置了一个阈值,以确保图像编码质量不受较大影响,达到编码质量和编码效率的平衡,通过该算法,得到了不错的实验结果。2.1 亮度残差算法为了降低 VVC 帧内编码的复杂性,设计了一种基于亮度预测值和亮度原始值来计算当前 CU的总体残差平均值的算法。为了计算总体残差平均值,应首先确定当前编码块的每个像素的原始像素值和预测像素值之间的绝对差,如公式(1):R(x,y)=D(x,y)-Y(x,y)(1)式中:D(x,y)为当前 CU 的原始亮度值;Y(x,y)为当前 CU 的预测亮度值;R(x,y)为原始亮度值与预测像素值之间的绝对差值。根据 VTM 软件,量化参数(quantization pa-rameter,QP)的设置将影响 CU 的亮度预测值。因此,将 CU 的基本 QP 值作为计算平均残差的参数之一,如公式(2)84第37 卷第3 期王芳冰等:基于亮度残差的 VVC 帧内编码改进算法2023 年 6 月P(x,y)=R(x,y)Q/K(2)式中:Q 是设置的 QP 值;K 是用于对 QP 等级进行分类的参数。在本实验中,其值设置为 2。像素矩阵总和为:S=hy=0wx=0P(x,y)(3)式中:w 是当前 CU 的宽度,h 是当前 CU 的高度,并且有 0 xw,0yh。公式(4)为当前 CU 总体残差平均值的计算公式:A=Shw(4)表示当前 CU 原始值和预测值之间的总体残差的平均值。在计算当前 CU 总体残差平均值之后,使用阈值来平衡编码质量和编码复杂度。当平均残差值小于该阈值时,这意味着原始亮度值和预测亮度值之间的差很小,保证编码质量不受较大影响。2.2 快速决策算法在第一步 RMD 之后,从 67 个正常模式中选择 N 个候选模式以形成 RMD 列表。并且第二步骤从相邻 CU 导出 MPM 列表,并且 ISP 模式列表由 RMD 模式列表初始化。然后,MPM 列表中的前 m 个模式与 RMD 模式列表合并以形成 CML。根据相邻 CU 的模式是否相同,m 分别设置为 1或 2。此时,预测模式的数量从 67 个大大减少到十几个,然后通过 RDO 检查预测模式以获得最佳模式。算法将在 RDO 过程前进行,进一步减少预测模式,从而减少 RDO 过程中 RD Cost 检查的计算次数,降低计算复杂性。在计算 CU 总体残差平均值之后,设置阈值来平衡编码质量和编码复杂度。当总体平均残差值小于该阈值时,意味着原始像素值与预测像素值之间的差异小,判断条件正确;否则,判断条件错误。通过实验比较测试,当阈值设置为 4 时,可以获得最佳的实验结果,即,当目前的模式总体残差平均值小于 4 时,该模式将进入下一步的 RDO过程列表中,否则将其剔除。该算法可以大大减少 RDO 过程中 RD Cost 检查的次数,从而降低计算复杂性并提高编码效率。将改进算法命名为FMD,即 fast mode decision,改进的算法流程图如图 3 所示。图 3 本文提出的算法流程图Fig.3 The algorithm flow chart proposed inthis paper3 实验结果实验平台的 CPU 是 Intel i5-10400T 处理器,具有 8 G 内存和 64 位 Windows 11 操作系统。该算法用 C+语言实现,并集成到 VVC 编码器的官方参考软件 VTM16.0 中。为了测试该算法的编码性能,该算法中使用的视频测试序列根据分辨率分为 A E 五类,涉及不同的场景和不同的分辨率,这些视频序列是 JCT-VC 官方推荐的。通过将 BD 码率(Bjntegaard-Delta rate,BDrate)和编码节省时间(time saving,TS)与原始VVC 的 VTM16.0 版本编码器进行比较来衡量编码性能,每个序列的 TS 由四个不同 QP 的平均 TS计算。为了验证所提出算法的性能,该算法在VVC 参考软件 VTM16.0 上实现。由于所提出的算法用于加速帧内编码,因此采用全帧内(allintra,AI)配置,QP 值设置为 22、27、32 和 37。编码性能由 BD rate13来衡量,BD-rate 负的值时,表示相同条件下,码率减少,性能提高,正的94第37 卷第3 期南华大学学报(自然科学版)2023 年 6 月值是码率增加,性能下降。TS 用于衡量编码复杂性的降低。TS 计算为T=TVTM-TproTVTM 100%(5)式中:TVTM为原始算法的总编码时间;Tpro为改进算法的总的编码时间。VTM16.0 与所提出算法之间的性能比较如表 1 所示,它给出了五种视频序列的平均 BDrate,可以观察到,在所有序列上编码效率都获得了一致的增益。最大的好处来自序列“Tango2”,它可以节省 48.63%的时间。篮球相关序列也取得了良好的效果,其中“basketball drive”是节省时间最多的序列,节省了 36.46%的时间。图 4 显示了 FMD 算法与 VTM16.0 原始算法在 BQSquare(416240)、BQMall(832480)、Four-People(1 280720)和 ParkScene(1 9201 080)序列 的 率 失 真 曲 线(Rate-distortion curves,RDcurves)比较结果,包括 RD 性能方面的最佳情况(BQSquare)和最坏情况(ParkScene)。结果表明,在低码率和高码率配置下,所提出的算法在多数序列上都优于 VTM16.0,即使在最坏的情况下,所提出的算法和原始 VTM16.0 参考编码器也可以在不同的 QP 下实现非常相似的图像质量。表 1 FMD 算法与原始 VTM16.0 性能比较Table 1 Performance comparison between FMDalgorithm and original VTM16.0视频分组视频序列FMD(VTM16.0)BD-rate/%T/%ATraffic1.327.22PeopleOnStreet0.626.55BKimono1.439.20ParkScene1.533.72Cactus1.032.45BasketballDrive1.336.46BQTerrace0.725.74CBasketballDrill1.130.73BQMall1.023.25PartyScene0.517.13RaceHorsesC0.827.26DBasketballPass0.827.11BQSquare-0.111.22BlowingBubbles1.121.29RaceHorses0.724.88EFourPeople1.123.40Johnny0.932.24KristenAndSara0.526.73Average0.927.03图 4 VTM16.0 和 FMD 算法在不同 QP 下几种典型视频序列的 RD 曲线Fig.4 RD curves of several typical video sequences under different QPs betweenthe original VTM16.0 and FMD algorithm05第37 卷第3 期王芳冰等:基于亮度残差的 VVC 帧内编码改进算法2023 年 6 月 由于目前尚无基于残差提前终止的快速模式决策算法的类似工作,因此将本文的实验结果与参考文献14中的实验结果进行了比较。这篇文章提出了一种 VVC 基于支持向量机的快速平面预测模式决策算法 Fast Intra Mode Decision-Support Vector Machines(FIMD-SVM),用于帧内编码时快速确定平面或非平面预测模式,避免了多种帧内预测模式的 RDO 计算,从而减少了编码时间。实验结果表明,与 VTM5.0 相比,该算法的编码时间平均缩短了 18.0%,而 BD rate 仅提高了 1.3%。同样在 VTM5.0 软件上进行了实验,实验结果表明,本文提出的 FMD 算法的编码时间平均减少了 21.36%,而 BD rate 平均提高了1.71%,对比结果见表 2。可以看出,本文提出的FMD 算法更具有节省时间的优点,但在编码性能上有一定的损失。然而,需要指出的是:1)参考文献14的基准是VTM5.0,而本文的基准是VTM16.0。本文提出的算法在 VTM16.0 上的 BD rate 和节约编码时间方面都取得了较好的效果;2)算法仍有改进的空间。表 2 VTM5.0 上 FMD 算法与 FIMD-SVM 的性能比较Table 2 The comparison of performance between theFMD algorithm and FIMD-SVM coding on VTM5.0.单位:%视频序列FMD(VTM5.0)BD rateTSFIMD-SVMBD rateTSTraffic1.923.730.9211.41PeopleOnStreet1.419.891.0715.98Kimono2.032.370.6318.89ParkScene1.931.140.4624.16Cactus1.729.711.3222.31BasketballDrive2.536.911.9118.78BQTerrace1.226.091.2720.46BasketballDrill2.025.912.0614.68BQMall1.920.871.4217.22PartyScene1.016.090.7620.95RaceHorsesC1.422.090.9517.92BasketballPass2.225.191.5215.12BQSquare0.812.321.2524.99BlowingBubbles1.520.871.4217.98RaceHorses1.420.221.3119.21FourPeople2.019.881.7215.28Johnny2.032.371.9615.31KristenAndSara1.922.881.7313.59Average1.724.361.3218.014 结 论本文提出了一种基于亮度值残差的快速决策编码模式优化算法,以减少研发成本的检测次数,降低计算复杂度。该算法进一步在第一步 RMD和第二步 MPM 和 ISP 模式列表结合得到的 CML中提取预测模式,减少了 RDO 过程中 RD Cost 的检查次数,从而降低了编码计算的复杂性,节省了编码时间。该方法在 VVC 参考软件 VTM16.0 上进行了测试。实验结果表明,该算法平均节省约27%的编码时间,编码效率损失可以忽略不计。参考文献:1 DONG X,SHEN L,YU M,et al.Fast intra mode decisionalgorithm for versatile video codingJ.IEEE transactionson multimedia,2021,24:400-414.2 BROSS B,WANGANG Y K,YE Y,et al.Overview of theversatile video coding(VVC)standard and its applicationsJ.IEEE transactions on circuits and systems for videotechnology,2021,31(10):3736-3764.3 PFAFF J,FILIPPOV A,LIU S,et al.Intra prediction andmode coding in VVCJ.IEEE transactions on circuits andsystems for video technology,2021,31(10):3834-3847.4 PIAO Y,MIN J,CHEN J.Encoder improvement of unifiedintra predictionC/Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11.Guangzhou:JCTVC-C207,2010:568-577.5 ZHANG H,MA Z.Fast intra mode decision for high effi-ciency video coding(HEVC)J.IEEE transactions oncircuits and systems for video technology,2013,24(4):660-668.6 GAO L,DONG S,WANG W,et al.Fast intra mode decisionalgorithm based on refinement in HEVC C/2015IEEE International Symposium on Circuits and Systems(ISCAS).Lisbon,Portugal:IEEE,2015:517-520.7 WANG L L,SIU W C.Novel adaptive algorithm for intraprediction with compromised modes skipping and signalingprocesses in HEVCJ.IEEE transactions on circuits andsystems for video technology,2013,23(10):1686-1694.8 ZHANG T,SUN M T,ZHAO D,et al.Fast intra-modeand CU size decision for HEVCJ.IEEE transactions oncircuits and systems for video technology,2016,27(8):1714-1726.9 JAMALI M,COULOMBE S,CARON F.Fast HEVC intramode decision based on edge detection and SATD costsclassificationC/2015 Data Compression Conference.Snowbird,UT,USA:IEEE,2015:43-52.(下转第 58 页)15第37 卷第3 期南华大学学报(自然科学版)2023 年 6 月17 TANG G W,JING M G,ZENG X Y,et al.Adaptive CUsplit decision with pooling-variable CNN for VVC intraencodingC/2019 IEEE Visual Communications andImage Processing(VCIP).Sydney,Australia:IEEE,2019:85-88.18 AMESTOY T,MERCAT A,HAMIDOUCHE W,et al.Tunable VVC frame partitioning based on lightweightmachine learningJ.IEEE transactions on image pro-cessing,2020,29:1313-1328.19 LI Y,YANG G,SONG Y,et al.Early intra CU size de-cision for versatile video coding based on a tunable de-cision modelJ.IEEE transactions on broadcasting,2021,67(3):710-720.(上接第 45 页)7 陈铠杰,万德成.基于黏性修正 SST k-模型的水翼空化流数值模拟计算J.水动力学研究与进展,2019,34(2):224-231.8 LEE J R,JEON S M,HASOLLI N,et al.Removal char-acteristics of paint particles generated from paint sprayboothJ.The science of leadership forum,2019,26(21):810-817.9 HUANG S L,YIN C Y,YAP S Y.Particle size andmetals concentrations of dust from a paint manufacturingplantJ.Journal of hazardous materials,2010,174(1/2/3):839-842.10 杜启蒙,叶胜雄,郭鑫涛,等.纸盒式干式喷房下的风平衡探索与实践J.内燃机与配件,2021(22):34-35.11 孔飞,张川,韩俊杰,等.迷宫纸盒过滤器过滤效果数值模拟J.现代涂料与涂装,2020,23(3):45-48.(上接第 51 页)10 JIANG W,MA H,CHEN Y.Gradient based fast modedecision algorithm for intra prediction in HEVCC/2012 2nd International Conference on Consumer Electron-ics,Communications and Networks(CECNet).Yichang,China:IEEE,2012:1836-1840.11 JAMALI M,COULOMBE S.Fast HEVC intra mode de-cision based on RDO cost predictionJ.IEEE transac-tions on broadcasting,2018,65(1):109-122.12 TARIQ J,KWONG S.Adaptive stopping strategies forfast intra mode decision in HEVCJ.Journal of visualcommunication and image representation,2018,51:1-13.13 FLYNN D,MARPE D,NACCARI M,et al.Overview ofthe range extensions for the HEVC standard:Tools,pro-files,and performanceJ.IEEE transactions on circuitsand systems for video technology,2015,26(1):4-19.14 YAO Y,WANG J,DU C,et al.A support vector machinebased fast planar prediction mode decision algorithm forversatile video codingJ.Multimedia tools and appli-cations,2022,81(12):17205-17222.85