Equation Chapter 1 Section 1面向多功能视频编码的感知比特分配方法.pdf

2023 年第 7 期93计算机应用信息技术与信息化Equation Chapter 1 Section 1 面向多功能视频编码的感知比特分配方法袁卓文1 陈 芬1 崔 鑫2 苑博森1 彭宗举1YUAN Zhuowen CHEN Fen CUI Xin YUAN Bosen PENG Zongju 摘要 为了提高用户的视频观看体验，提出了一种面向多功能视频编码的感知帧级比特分配方法。首先根据人类视觉系统的感知特性，设计了面向多功能视频编码的显著性提取方法以提取视频的融合显著图；然后根据融合显著图设计了反映人眼感知差异性的权重；最后利用感知权重控制帧级的比特分配。实验结果表明，所提方法能为用户视频观看过程中感兴趣的视频内容分配更多的比特，提高了重建视频的主观质量，提升了人眼的感知体验。关键词 多功能视频编码；人类视觉感知；显著性；比特分配doi：10.3969/j.issn.1672-9528.2023.07.0241.重庆理工大学电气与电子工程学院 重庆 4000542.河北地质大学信息工程学院 河北石家庄 050031 基金项目 重庆市自然科学基金(cstc2021jcyj-msxmX0411)和重庆理工大学科研启动基金资助项目(2020ZDZ029)0 引言近年来，在超高清视频行业的应用需求的推动下，联合视频专家组制定了一种新的视频编码标准，并将其命名为多功能视频编码(versatile video coding,VVC)。与高效视频编码(high effi ciency video coding,HEVC)相比，VVC 引入了许多新的编码工具，在相同编码质量条件下，压缩效率可提高约25%。超高清视频的发展带来了庞大的数据量，这给传输造成了巨大的压力。在有限的网络带宽条件下，面向 VVC 的比特分配方法和相应码率控制模型的设计是提高传输视频质量的关键所在，是当前的研究热点之一。目前已有大量学者研究了面向 HEVC 的比特分配和码率控制方法。Guo 等人1提出一种改进的 R-模型，该模型充分利用图片组中已编码帧的信息进行比特分配。Gong 等2将视频分为低速运动视频和高速运动视频，并针对两类视频的特性进行码率控制。公衍超等人3从感知性能出发，设计了视频空时域复杂度确定的主观观测实验，并结合人类视觉系统(human visual system,HVS)设置了视频内容的感知权重，并将该权重应用于比特分配。Zhou 等人4设计了一个基于结构相似度的率失真模型，用于描述局部视觉质量与编码比特之间的关系，并将该模型用于编码树(coding tree unit,CTU)级的码率控制中。Zhou 等人5设计了一种基于图像亮度与纹理掩蔽效应的恰可察觉失真模型，并根据该模型进行码率控制。上述方法从提升重建视频的主、客观质量等不同角度优化了 HEVC 中比特分配和码率控制策略，但无法直接应用于 VVC 中。当前也有部分学者研究了面向 VVC 的分配方法。Li 等人6改进了 HEVC 中所使用的 R-模型，提出面向 VVC的 JVET-K0390 帧级比特分配方法，该模型利用率失真曲线的斜率 进行码率控制，具有更加高效的比特分配性能。Li等人7将跳过块的分析引入R-模型，提高了比特分配精度。Hyun 等人8提出了一种基于递归贝叶斯估计的码率控制方法，采用前一帧的率失真特性来估计当前帧的码率，实现了重建视频的质量平滑。Liu 等人9提出了一种 CTU 级的码率控制方法用于低延迟的应用场景。Ren 等人10针对游戏视频编码的应用场景，提出一种基于多目标优化的 CTU 感知比特分配方法，该方法根据事先给出的显著图进行帧级比特分配，提高了视频的整体感知质量。以上面向 VVC 的比特分配方法没有充分考虑到 HVS 的感知特性，重建视频的质量还可以得到进一步的提升。综上所述，本文在比特分配过程中引入HVS感知特征，设计了一种面向 VVC 的感知比特分配方法。首先提取了视频帧的融合显著图，然后设计了反映人眼对视频帧关注程度的感知权重，最后利用感知权重指导 VVC 的帧级比特分配。1 面向 VVC 的感知帧级比特分配方法本节对所提方法进行了详细的说明，首先说明了面向VVC 的显著性提取方法的设计思路和方法，其次说明了基于该方法提取的融合显著图的优点，第三说明了感知权重的设2023 年第 7 期94计算机应用信息技术与信息化计思路和方法，最后说明了感知权重在 VVC 帧级比特分配过程中的应用。1.1 面向 VVC 的显著性提取方法在视频中，不同的视频帧含有不同的运动目标和高对比度目标，因而视频帧的场景内容复杂度不同，如图 1 所示。本文通过探索实验，在低延迟 B 配置下编码了多个视频。以 BasketballPass 为例分析，由图 1 可知，在 BasketballPass视频中，第 82 帧场景更加复杂，出现了四个球员，而第 48帧只出现了两个球员，编码时，在量化参数相同的情况下，第 82 帧需要消耗更多的比特。RaceHorses 视频的分析同理。因此，场景复杂的视频帧需要 VVC 编码器消耗更多的比特来进行编码，如果能在编码时对场景复杂的视频帧分配更多的比特，将有效提高重建视频的主客观质量。应当指出，在现有的 VVC 比特分配方法中，区分场景复杂度的指标是均方误差，没有充分考虑 HVS 感知因素。同时，场景复杂的视频帧中包含的运动目标和高对比度目标可以通过显著性提取方法提取出来，场景越复杂，显著区域越大。综上所述，本文从 HVS 感知因素出发，针对上述 VVC 的编码特性设计了面向 VVC 的显著性提取方法，以充分提取视频帧的显著性并指导 VVC 帧级比特分配。视频帧的显著性提取需要合理利用运动信息和对比度信息。文献 11 所提方法是一种基于运动信息的显著性提取方法，该方法首先将原始视频均等地分割成多个帧集合，将单个帧集合的运动信息进行时间上的整合和扩散；然后基于先验知识对帧集合进行显著性建模，得到低级显著图；最后采用低秩相干性分析方法融合低级显著图，得到完整的显著图，如图 2 所示。根据 HVS 的感知特性，人不仅倾向于观察视频中的运动目标，而且对视频中高对比度的目标感知同样敏锐。如图2(e)(h)所示，文献 11 所提方法提取的显著图虽然含有红框内运动剧烈的目标，但是不含蓝框内运动缓慢的目标和高对比度目标，如果将其用来指导 VVC 的帧级比特分配，效果并不会很好。为了解决上述问题，本文提出了面向 VVC的显著性提取方法。在基于对比度的显著性提取方法中，基于直方图对比度(histogram contrast,HC)的方法12使用输入图像 I 的颜色直方图统计来得到像素的显著值，计算公式为：1()(,).NljjHC If E=ljc c （1）其中，Il表示第 l 个像素，HC(Il)是基于 HC 方法提取的 Il的显著值。cl为 Il在 Lab 空间的颜色值，由三个分量组成：Il、l和bl，Ll表示cl的亮度值，l和bl是cl在Lab空间中的坐标，表示 cl的色度值，cj定义同理。N 是 I 中的像素数量，fj为 cj出现的概率，E 是在 Lab 空间中计算 cl和 cj色差的函数，计算公式为：222(,)()()().ljljljELLaabb=+ljc c （2）基于区域对比度(area contrast,AC)的方法13通过计算 Il在邻域 R 上的局域对比度来得到显著值，计算公式为：图 1 编码场景复杂度不同的视频帧所需的比特(a)BasketballPass 第 82 帧，编码时量化参数为 26，消耗 32 832 bit(b)BasketballPass第46帧，编码时量化参数为 26，消耗 15 864 bit(c)RaceHorses 第 242 帧，编码时量化参数为 23，消耗 35 424 bit(d)RaceHorses 第 148 帧，编码时量化参数为 23，消耗 19 776 bit (a)RaceHorses 第 158 帧 (b)Johnny 第 2 帧图 2 视频帧和文献 11 所提方法提取的显著图(c)BasketballDrill 第 4 帧 (d)BasketballDrive 第 148 帧 (e)图 2.(a)的显著图 (f)图 2.(b)的显著图 (g)图 2.(c)的显著图 (h)图 2.(d)的显著图 2023 年第 7 期95计算机应用信息技术与信息化1()().lj RAC IEn=，ljcc （3）其中，AC(Il)是基于 AC 方法提取的 Il的显著值，cl和 cj的定义同上，R 是以 Il为中心的矩形区域，矩形的长宽分别为L/2 和 L/8，L 为 I 的长宽较小者，n 是 R 中的像素数量，E为公式(2)。基于亮度对比度(luminance contrast,LC)的方法14通过计算 Il的全局亮度对比度来得到显著值：()(,).j IlLC IE=ljc c （4）其中，LC(Il)是基于 LC 方法提取的 Il的显著值，cl和 cj的定义同上，E 为公式(2)。特别的，在 LC 方法中仅使用了 cl的亮度值，其色度值设置为 0。以 RaceHorses 第 1 帧为例，图 3(b)(d)展示了上述三种基于对比度的显著性提取方法提取的显著图。AC 方法的显著图中不含红框中人眼感兴趣的数字编号，LC 方法的显著图中不含蓝框内显眼的红色叉形目标，而 HC 方法的显著图则含有红、蓝框内的人眼感兴趣目标，且 HC 方法的显著图中显著目标和非显著目标分割明显。同时，上述三种方法提取的显著图都存在缺少运动目标的问题。综上所述，文献 11 所提方法提取的显著图缺少高对比度目标，HC 方法提取的显著图缺少运动目标，因此本文将面向 VVC 的显著性提取方法设计如下：F(Il)=FD(Il)+HC(Il)（5）其中，F(Il)表示基于本文所提方法提取的融合显著图中 Il的显著值，FD(Il)表示文献 11 的显著图中 Il的显著值。由公式(5)可知，融合显著图中将同时具有运动目标和高对比度目标，如图 4 所示。图 4(a)列 从 上 到 下 依 次 是：RaceHorses 视 频 第 158帧、Johnny 视 频 第 2 帧、BasketballDrill 视 频 第 4 帧 和BasketballDrive 视频第 148 帧，图 4(b)(d)列所示分别为文献 11 所提方法提取的显著图、HC 方法的显著图和本文所提方法的融合显著图。以 RaceHorses 第 158 帧为例，文献 11 的显著图缺少蓝框内的条纹状显著目标，HC 方法的显著图缺少红框内正在运动的马头显著目标，而融合显著图则同时具有这些显著目标。同样的，在 Johnny 第 2 帧、BasketballDrill 第 4 帧和 BasketballDrive 第 148 帧中，融合显著图都具有更加完备的显著目标。综上所述，相较于文献 11 所提方法和 HC 方法，本文所提方法提取的融合显著图更符合VVC 的编码特性，也更适合用于指导 VVC 的帧级比特分配。(c)LC 方法的显著图 (d)HC 方法的显著图图 3 视频帧和基于三种方法提取的显著图 (a)RaceHorses 第 1 帧 (b)AC 方法的显著图 (a)视频帧 (b)文献 11 的显著图图 4 视频帧和基于三种方法提取的显著图(c)HC 方法的显著图 (d)融合显著图2023 年第 7 期96计算机应用信息技术与信息化1.2 基于感知权重控制的帧级比特分配本节中，本文利用融合显著图对帧级比特分配进行控制。在编码视频之前，首先根据图像在视频中的播放顺序将其划分到不同的图像组(group of pictures,GOP)，帧级比特分配的主要目标即是在 GOP 级目标比特的约束下，最小化重建视频和原始视频之间的整体失真。表示为：,1112 s.t.,minNNGGPPGiiP PPiiNGDRR=，（6）其中，NG和 RG分别表示一个 GOP 中含有的总帧数和总目标比特，Pi表示该 GOP 中的第 i 帧，PiD和PiR分别表示在该GOP 中 Pi的失真和目标比特。在视频编码时，通常利用拉格朗日成本优化方法将公式(6)转换为无约束问题，表示为：12,11,minGGiiiPPPNGNNPPPiiJDR=+（7）其中，J 是 GOP 的总失真，Pi是 Pi的拉格朗日乘子。由公式(7)可知，帧级比特分配问题可转化为，在 GOP 内所有帧消耗的总比特数等于或小于 GOP 级目标比特数的条件下，为每帧选择一个合适的 值。因此，帧级比特分配的一个关键问题就是确定Pi。Pi代表了Pi在GOP中的权重，其值越小，Pi分得的比特越多，反之分得的比特越少。为了计算Pi，本文采用 R-码率控制模型，使用 6 中建议的双曲线函数，计算公式为：,PiiPiiKPPDC R=（8）其中，iPD通过计算 Pi的均方误差得到，PiC和PiK是 Pi的内容参数，在编码时由其内容特征决定，计算方法将在下文介绍。实际上，Pi是双曲线函数的负斜率，因此Pi可以通过以下公式预测得到：1=,KPPiiPPiPPiiiPiDC K RR=（9）在实际编码时，需要给 Pi设置初始目标比特和初始量化参数(quantitative parameter,QP)，对视频第一帧进行预编码，预编码之后，可以得到 Pi的实际失真_PactualiD和实际比特_PactualiR，因此，Pi的实际拉格朗日乘子_Pactuali计算为：1_=,KPactualPiiPactualPactualiPPiiiPactualiDC K RR=（10）联合公式(8)和公式(10)，Pi的内容参数将按照以下方式求解：_=PactualPactualiiPiPactualiPactualiKPiPiPactualiRKDDCR （11）由于在视频中，连续的视频帧内容基本相似，内容参数也基本相等，因此更新后的PiC和PiK将被存储，并通过公式(10)用于预测下一帧的 值。最后，_Pactuali被用于确定实际编码使用的_PactualiQP，计算公式如下：_4.2005 ln()13.7122.PactualiiPactualQP=+（12）_PactualiQP确定后，编码器正式开始编码。应该指出，_PactualiQP决定了视频帧的编码质量，_PactualiQP越小，视频帧的编码质量越高。实际编码时 VVC 会按照上述过程顺序完成整个视频的编码。为了利用融合显著图指导 VVC 的帧级比特分配，本文从人眼感知特性出发，认为人眼更关注显著区域面积大的Pi。因此根据融合显著图设计了感知权重iP来表示人眼关注Pi的程度，iP越大，人眼关注程度越高。本文通过以下方式计算iP：1,PiiPiPNPiSS=（13）其中，PiS是融合显著图中显著区域的面积，NP表示视频的总帧数。通过统计实验，NP设置为300，并循环更新感知权重。由公式(13)可知，iP越大，表明人眼越关注。iP表明了 Pi在整个视频中的重要性，这样做可以避免Pi的重建质量过高，从而有助于平滑整个重建视频的质量。为了在比特分配过程中应用iP，本文设计了下式将_Pactuali更新：_ ,PactualPPPiiiiPactualSPactualiiPPiiPi=，（14）其中，Pi是所有感知权重的平均值，_SPactuali是感知帧级比特分配权重。由公式(13)和公式(14)可知，Pi的显著性越高，_SPactuali越小，Pi分得的比特更多。最后，将_SPactuali取代公式(12)中的_Pactuali，为显著性更高的 Pi分配更小的_PactualiQP，从而达到提高重建帧质量的目标。2 实验结果与分析本节验证了本文所提比特分配方法的编码性能，并与其他最新的编码方法进行比较。主要分为以下三部分：实验配置，客观质量结果及分析和主观质量结果及分析。2.1 实验配置为了验证所提方法的性能，将实验结果与 JVET-K03906进行对比，使用文献 15 中的 15 个标准视频进行测试，具 体 包 括 Class B：BasketballDrive、Cactus、BQTerrace、MarketPlace；Class C：BasketballDrill、RaceHorsesC、BQMall、PartyScene；Class D：BasketballPass、BQSquare、BlowingBubbles、RaceHorses；Class E：FourPeople、Johnny、KristenAndSara。实验使用低延迟 B 编码配置，编码 2023 年第 7 期97计算机应用信息技术与信息化300 帧，分别测试 QP 为 22、27、32、37 的四种情况。2.2 客观质量结果及分析本文使用 Bjntegaard delta bit rate(BD-rate)作为比特分配方法的客观性能指标，将 JVET-K03906定为基准算法，其值越小说明编码的客观性能越好。实验测试结果如表 1所示。表 1 中 Q6和 QPRO分 别 表 示 通 过 JVET-K0390 和 所提方法得到的重建视频的 PSNR。从表中可以看出，与JVET-K0390 相比，本文方法的重建视频客观质量仍然保持较好，BD-rate 仅略微有些下降，其最大下降了 0.15%，但尚在可接受范围之内。与传统比特分配方法不同，本文主要从人类视觉特性出发，因此在比特分配过程中主要根据感知权重进行比特分配，而非在客观质量下求解最优。其中，下降最为明显的是 BQSquare 视频，这是因为它具有场景变换平滑、对比度不明显、缺少人眼感兴趣区域等特点。而RaceHorsesC 和 BasketballPass 等视频的 BD-rate 无下降，这是因为这些视频内容的显著性不断变化，所提方法能根据这些变化自适应的分配比特。总体说来，所有视频的 BD-rate平均仅下降了 0.03%，所提方法和 JVET-K0390 在客观质量基本相同的情况下，重点关注重建视频主观质量的提升效果。2.3 主观质量结果及分析为了体现所提方法的主观性能，本文设计了基于双刺激连续质量量表的主观视觉质量实验16。具体做法是由 18 名观察者对重建视频进行打分实验：不同演示视频被剪辑为 10秒并呈现给观察者，要求观察者提供从 1 5 的连续质量分数，每个演示视频最终的平均意见分数(mean opinion score,MOS)是通过对 18 个观察者的打分求平均得到，MOS 越高说明视频的主观质量越好。实验结果如表 2 所示。表 1客观质量评价结果(dB)SequencesQP=22QP=27QP=32QP=37BD-rate(%)Q6QPROQ6QPROQ6QPROQ6QPROBasketballDrive33.3733.2533.3433.2433.1533.0431.2231.220.02Cactus33.3133.2233.0732.9532.8832.8230.6230.620.01BQTerrace33.3233.2333.2933.2532.4132.3429.9530.050.00MarketPlace35.4835.3435.4335.3035.0934.9533.6433.520.05BasketballDrill37.2737.2737.0636.9836.7136.7036.6036.560.02RaceHorsesC34.2734.2734.2634.0434.2434.0334.1233.910.00BQMall35.7335.4835.6735.4435.5635.3135.5535.310.00PartyScene29.8429.7229.8429.7329.6329.4929.3629.220.04BasketballPass39.7139.7139.6139.5439.6039.4239.5539.320.00BQSquare36.4736.2736.1135.9235.9835.7335.8635.530.15BlowingBubbles36.3035.9836.2935.9736.2735.9436.2235.940.01RaceHorses39.6439.3639.6339.3539.6239.3339.5939.300.02FourPeople41.2541.1139.6140.8640.9140.7140.7740.550.08Johnny42.5442.4941.0542.3842.3642.3242.2742.240.06KristenAndSara42.5942.4542.4542.2742.3542.1642.2642.080.01Average-0.03表 2 MOS 评价结果SequencesQP=22QP=27QP=32QP=37M6MPROM6MPROM6MPROM6MPROBasketballDrive3.54.03.84.23.23.93.53.8Cactus2.93.53.23.73.44.03.54.2BQTerrace3.03.93.54.02.83.53.23.4MarketPlace2.73.02.93.63.13.83.14.0BasketballDrill3.53.83.63.93.74.03.53.9RaceHorsesC3.63.83.63.93.63.93.53.8BQMall3.23.33.13.33.13.63.03.3PartyScene3.33.43.03.43.03.33.13.5BasketballPass3.64.23.64.23.64.23.84.3BQSquare3.93.53.73.63.83.63.73.5BlowingBubbles3.43.83.23.93.33.83.53.9RaceHorses3.23.53.33.73.23.73.23.6FourPeople3.93.63.94.03.83.83.73.9Johnny3.74.03.84.03.84.13.84.1KristenAndSara3.93.73.83.63.83.73.93.7Average3.43.73.53.83.43.83.53.82023 年第 7 期98计算机应用信息技术与信息化表 2 中 M6 和 MPRO 分别表示通过 JVET-K0390 和所提方法得到的重建视频的 MOS。实验结果表明，所提方法的 MOS 都有不同程度的提升。尤其的，所提方法在BasketballPass、RaceHorses 等显著性不断变化的视频上表现较好。但是在场景变换平滑、显著性无明显变化的KristenAndSara 上表现一般。由于感知权重与视频帧的显著性有关，视频帧的显著面积越大，QP越小，感知质量越高，反之感知质量越低，图 5 展示了显著性和感知权重的关系。图 5(a)、图 5(b)分 别 是 BasketballPass 和 RaceHorses 的QP 变化曲线，图 5(c)是 RaceHorses 第 100 帧的融合显著图，=0.0011，编码时 JVET-K0390 和所提方法为其分配的QP 分别为 26 和 30；图 5(d)是 RaceHorses 第 150 帧的融合显著图，=0.0076，编码时 JVET-K0390 和所提方法为其分配的 QP 分别为 23 和 13，综上所述，所提算法完成了本文根据感知权重来分配比特的目标。图 6 直观地展示了所提方法的感知体验，其中图 6(a)和图 6(b)分别是 RaceHorses 第150 帧和局部放大图；图 6(c)和图 6(d)分别是当 QP=22 时，JVET-K0390 和所提方法的重建帧的局部放大图，图 6(e)和图 6(f)分别是当 QP=32 时，JVET-K0390 和所提方法的重建帧的局部放大图。显然，所提方法能实现更好的主观质量。(a)RaceHorses 第 150 帧；(b)图(a)局 部 放 大 图；(c)QP 为 22 时，JVET-K0390 重建帧的局部放大图；(d)QP 为22 时，所提方法重建帧的局部放大图；(e)QP 为 32 时，JVET-K0390 重建帧的局部放大图；(f)QP 为 32 时，所提方法重建帧的局部放大图。3 总结当前许多视频应用场景的接收端都是人眼，因此为了提高人的观看体验，本文提出了一种面向 VVC 感知帧级比特分配方法。首先根据 HVS 感知特性，利用运动显著性和对比度显著性提取了符合 VVC 编码特性的融合显著图，然后基于融合显著图设计了反映人眼对视频帧关注程度的感知权重，最后利用感知权重指导 VVC 的帧级比特分配。实验结果表明，与 JVET-K0390 相比，所提方法能为人眼感兴趣的视频帧分配更多的比特，且在保证重建视频客观质量的同时，有效提升了主观质量。本文所提出的比特分配方法可进一步应用于其他不同类型的视频编码。参考文献：1 GUO H W,ZHU C,LI S X,et al.Optimal bit allocation at frame level for rate control in HEVCJ.IEEE transactions on broadcasting,2018,65(2):270-281.2 GONG Y C,WAN S,YANG K F,et al.Temporal-layer-motivated lambda domain picture level rate control for random-access configuration in h.265/HEVCJ.IEEE transactions on circuits and systems for video technology,2017,29(1):156-170.3 公衍超,王玲,刘颖,等.视频主观观测实验启发的 HEVC感知帧内码率控制 J.通信学报，2021，42(08):90-102.4 ZHOU M L,WEI X K,WANG S Q,et al.SSIM-based global optimization for CTU-level rate control in HEVCJ.IEEE transactions on multimedia,2019,21(8):1921-1933.5 ZHOU M L,WEI X K,SAM K,et al.Just noticeable distortion-based perceptual rate control in HEVCJ.IEEE transactions on image processing,2020,29:7603-7614.6 LI Y M,CHEN Z Z,LI X,et al.Rate control for VVCZ.Ljubljana.Document JVET-K0390,Joint Video Exploration Team,2018.7 LI Y M,LIU Z Z,CHEN Z Z,et al.Rate control for VVCC/2020 IEEE International Conference on Image Processing,October 25-28,2020,Abu Dhabi,United Arab Emirates.New York:IEEE,2020:1176-1180.8 HYUN M H,LEE B,KIM M.A frame-level constant bit-rate control using recursive Bayesian estimation for VVCJ.IEEE access,2020,8:255-269.(c)RaceHorses 第 100 帧 (d)RaceHorses 第 150 帧 的融合显著图 的融合显著图图 5 显著性和感知权重的关系 (a)BasketballPass 的 (b)RaceHorses 的 QP 变化曲线 QP 变化曲线 (a)(b)(c)(d)(e)(f)图 6 主观质量比较 2023 年第 7 期99计算机应用信息技术与信息化9 LIU F Y,CHEN Z Z.Multi-objective optimization of quality in VVC rate control for low-delay video codingJ.IEEE transactions on image processing,2021,30:4706-4718.10Ren G J,LIU F Y,Wang H R,et al.Multi-objective optimization based perceptual bit allocation for gaming video coding in VVCJ.Signal processing,2022,198:593-608.11CHEN C L Z,LI S,WANG Y G,et al.Video saliency detection via spatial-temporal fusion and low-rank coherency diffusionJ.IEEE transactions on image processing,2017,26(7):3156-3170.12CHENG M M,MITRA N J,HUANG X L,et al.Global contrast based salient region detectionJ.IEEE transactions on pattern analysis and machine intelligence,2014,37(3):569-582.13ACHANTA R,ESTRADA F,WILS P,et al.Salient region detection and segmentationC/International Conference on Computer Vision Systems.Berlin,Heidelberg:Springer,2008:66-75.14ZHAI Y,SHAH M.Visual attention detection in video sequences using spatiotemporal cuesC/Proceedings of the 14th ACM International Conference on Multimedia,October 23,2006.New York:ACM,2006:815-824.15SUEHRING K,LI X.Common test conditions and software reference confi gurationsZ.Torino.Document JVET-G1010,Joint Video Exploration Team,2017.16BT,RECOMMENDATION ITU-R.Methodology for the subjective assessment of the quality of television picturesJ.International telecommunication union,2012,500:5-13.【作者简介】袁卓文(1998)，男，江西赣州人，重庆理工大学硕士研究生在读，研究方向：智能视觉与视频通信、面向多功能视频编码中的比特分配算法。陈 芬(1973)，通讯作者（E-mail:），女，博士，教授，研究方向：视频信号处理与编码。（收稿日期：2022-11-12 修回日期：2022-12-25）8 FAUGERAS O,KERIVEN R.Variational principles,surface evolution,PDEs,level set methods and the stereo problemJ.IEEE transactions on image processing:A publication of the IEEE signal processing society,1998,7(3):336-344.9 HIEP V H,KERIVEN R,LABATUT P,et al.Towards high-resolution large-scale multi-view stereoC/2009 IEEE Conference on Computer Vision and Pattern Recognition.Miami,FL,USA:IEEE,2009:1430-1437.10CREMERS D,KOLEV K.Multiview stereo and silhouette consistency via convex functionals over convex domainsJ.IEEE transactions on pattern analysis and machine intelligence,2010,33(6):1161-1174.11LHUILLIER M,QUAN L.A quasi-dense approach to surface reconstruction from uncalibrated imagesJ.IEEE transactions on pattern analysis and machine intelligence,2005,27(3):418-433.12FURUKAWA Y,PONCE J.Accurate,dense,and robust multiview stereopsisJ.IEEE transactions on pattern analysis and machine intelligence,2009,32(8):1362-1376.13WU C.VisualSFM:A visual structure from motion systemEB/OL.2011-9-25.http:/ccwu.me/vsfm/.14GOESELE M,SNAVELY N,CURLESS B,et al.Multi-view stereo for community photo collectionsC/2007 IEEE 11th International Conference on Computer Vision.Rio de Janeiro,Brazil:IEEE,2007:1-8.15MERRELL P,AKBARZADEH A,WANG L,et al.Real-time visibility-based fusion of depth mapsC/2007 IEEE 11th International Conference on Computer Vision.Rio de Janeiro,Brazil:IEEE,2007:1-8.16ZACH C,POCK T,BISCHOF H.A globally optimal algorithm for robust tv-l range image integrationC/2007 IEEE 11th International Conference on Computer Vision.Rio de Janeiro,Brazil:IEEE,2007:1-8.17 王思启,张家强,李丽圆,等.MVSNet 在空间目标三维重建中的应用 J.中国激光,2022,49(23):176-185.18 王志岗.三维建模技术在虚拟现实中的应用 J.无线互联科技,2022,19(16):121-123.19 张彦雯,胡凯,王鹏盛.三维重建算法研究综述 J.南京信息工程大学学报(自然科学版),2020,12(05):591-