HEVC相关技术简介.pptx

新一代视频编码标准 HEVC(High Efficiency Video Coding)相关技术简介 刘 晟 何美伶 许晴晴 2014-11-10纲要vHEVC产生的背景vHEVC与H.264/AVC的联系与区别vHEVC编码层结构视频应用发展趋势HDTV3DTV自由多视点视频实时视频会议 IPTV业务 3G无线网络应应用用范范围围更更广广码率与带宽码率与带宽复杂的应用环境复杂的应用环境视频应用发展趋势 高清晰度(Higher Definition)：数字视频的应用格式从720P向1080P全面升级，在一些视频应用领域甚至出现了4Kx2K、8Kx4K的数字视频格式 高帧率(Higher frame rate)：数字视频帧率从30 fps向60fps、120fps甚至240fps的应用场景升级 高压缩率(Higher Compression rate)：传输带宽和存储空间压压缩缩要要求求更更高高H.264编码的局限性 导致运动矢导致运动矢量幅值大幅增加，量幅值大幅增加，H.264中用来对中用来对运动矢量进行预运动矢量进行预测以及编码的方测以及编码的方法压缩率将逐渐法压缩率将逐渐降低。降低。分辨率的分辨率的大幅增加大幅增加 单个宏块所表单个宏块所表示的图像内容的信示的图像内容的信息大大减少，这将息大大减少，这将导致相邻的导致相邻的44或或88块变换后的低块变换后的低频系数相似程度也频系数相似程度也大大提高，导致大大提高，导致出现出现大量的冗余大量的冗余。宏块个数的宏块个数的爆发式增长爆发式增长 针对针对DSP等等这种并行化程度这种并行化程度非常高的非常高的CPU，H.264的这的这种串行化处理越种串行化处理越来越成为来越成为制约运制约运算性能算性能的瓶颈。的瓶颈。并行度并行度比较低比较低码率压缩趋势HEVCHEVC在在H.264/AVCH.264/AVC的的基础上提出基础上提出码率压码率压缩提升一缩提升一倍，符合倍，符合发展规律！发展规律！HEVC的提出 ISO-IEC/MPEG 和ITU-T/VCEG 成立了一个研究视频编码的联合协作小组JCT-VC(the joint collaborative team on video coding)，其宗旨是建立新一代的视频编码标准。2010年4月在德国德雷斯顿召开了JCT-VC 第一次会议，确定了新一代视频编码标准的名称：HEVC(High Efficiency Video Coding)。并且建立了测试模型TMuC(Test Model under Consideration)，分领域搜集和审阅技术提案。初步定于2012年7月完成标准的最终稿。2010年10月在广州召开了JCT-VC第三次会议，会上确立了HEVC的第一个试验模型HM1。新一代视频压缩标准的核心目标，是在H.264的基础上将压缩效率提高一倍。即在保证相同视频图像质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，可以允许编码端适当提高复杂度。纲要vHEVC的背景vHEVC与H.264/AVC的联系与区别vHEVC编码层结构 H.264 H.264和和HEVCHEVC关键特性对比关键特性对比H.264H.264HEVCHEVCMB/CUMB/CU大小大小4 441641616164 44644646464亮度插值亮度插值Luma-1/2Luma-1/2像素像素1,-5,20,20,-5,1Luma-1/4Luma-1/4像素像素1,1Luma-1/2Luma-1/2像素像素-1,4,-11,40,40,-11,4,-1Luma-1/4Luma-1/4像素像素-1,4,-10,57,19,-7,3,-1ChromaChroma-1/8-1/8像素像素-3,60,8,-1MVPMVP预测方法预测方法空域空域MVP预测预测空域空域+时域时域MVP预测预测AMVPMergeAMVPMerge亮度亮度Intra预测预测4 44/84/88/168/1616:9/9/416:9/9/4模式模式3333种角度预测种角度预测+Planar预测预测+DC预测预测色度色度Intra预测预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DM,LM,planar,Vertical,Horizontal,DC,diagonalDC,diagonal变换变换DCT 4 44/84/88 8 DCT 4 44/84/88/168/1616/3216/3232 32 DST 4 44 4 去块滤波器去块滤波器4 44 4和和8 88 8边界边界Deblock滤波滤波较大的较大的CU尺寸，尺寸，4 44 4边界不进行滤波边界不进行滤波SAO和ALF。纲要vHEVC的背景v与H.264/AVC之比较vHEVC编码层结构HEVC编码器框架混混合合编编码码结结构构ReconstructedVideo outputHEVC编码器框架 HEVC以以LCU块为单位块为单位对输入视频帧进行处理，首先是进行对输入视频帧进行处理，首先是进行预测，可进行帧内预测或帧间预测。预测，可进行帧内预测或帧间预测。帧内预测帧内预测：预测块由当前帧中已编码并解码重建的相邻块预测：预测块由当前帧中已编码并解码重建的相邻块预测得到。得到。帧间预测帧间预测：预测块通过基于一个或多个参考帧的运动估计和运预测块通过基于一个或多个参考帧的运动估计和运动补偿得到。然后通过当前块减去预测块得到预测残差。预测动补偿得到。然后通过当前块减去预测块得到预测残差。预测残差进一步进行变换编码和量化，从而得到量化后的残差系数。残差进一步进行变换编码和量化，从而得到量化后的残差系数。然后对量化后的残差系数、编码模式以及相关的编码参数等信然后对量化后的残差系数、编码模式以及相关的编码参数等信息进行熵编码，从而得到压缩后的比特流。同时量化残差还要息进行熵编码，从而得到压缩后的比特流。同时量化残差还要进行反变换和反量化，然后将残差和预测值相加起来重建图像，进行反变换和反量化，然后将残差和预测值相加起来重建图像，再进行滤波，生成参考帧。再进行滤波，生成参考帧。HEVC编码层结构A.基于四叉树结构的分割技术B.帧内预测编码技术C.帧间预测编码技术D.并行化设计CU、PU和TU1.CU(Coding Unit)CU是进行帧内预测和帧间预测编码的基本单元，它总是方形是进行帧内预测和帧间预测编码的基本单元，它总是方形的从的从SCU（8x8）到）到LCU（64x64），），CU块从块从LCU块开始递归划块开始递归划分，一个块被划分为四个相同大小的子块。通过率失真代价分，一个块被划分为四个相同大小的子块。通过率失真代价（Rdcost=SAD+Bits）选取最优的分割大小。）选取最优的分割大小。CU、PU和TUA CTU(LCU)1.CU(Coding Unit)nCU递归分割。n支持8x864x64 CU总是平方块，且亮度单位常为总是平方块，且亮度单位常为8x8,16x16,32x32,64x64。基于四叉树结构的分割技术这种扫描顺序保证了对这种扫描顺序保证了对于于不同分割都能按照相不同分割都能按照相同的遍历顺序进行寻址同的遍历顺序进行寻址，有利于程序中的有利于程序中的递归实递归实现现。如果仍是采用如果仍是采用光栅扫描光栅扫描顺序顺序，对，对CU的寻址会很的寻址会很不方便，因此，不方便，因此，HEVC定义了定义了Z扫描顺序扫描顺序。2.PU（Prediction unit）PU是用来传输和预测过程的信息的基本单元，它是是用来传输和预测过程的信息的基本单元，它是在编码单元在编码单元CU基础上进行划分的。一般来说，它不一定基础上进行划分的。一般来说，它不一定是正方形的，这是为了分块能更好与图像中真实物体存在是正方形的，这是为了分块能更好与图像中真实物体存在的边界匹配。每一个的边界匹配。每一个CU中可以包含一个或多个中可以包含一个或多个PU。2.PU（Prediction unit）InterIntraAsymmetric Motion Partition(AMP)帧内PU分割帧间PU分割Note：PART_NxN only for 8x8 CU AMP only for 64x64CUnCU划分完以后，针对每个CU划分PU，PU是进行预测的单元。n每个CU可以包含一个或多个PU。AMPAMP 模式示例(RaceHorses)AMP modes are effectively used for textures which cannot be represented by square or symmetric partition modes.3.TU（Transform unit）TU用于用于变换和量化变换和量化的单元。与的单元。与PU相同，相同，TU也是在也是在CU基础上划分的。基础上划分的。TU的形状取决于的形状取决于PU的划分模式，当的划分模式，当PU为为正方形时，正方形时，TU也是正方形的（也是正方形的（4x4 to 32x32）当）当PU为非为非正方形时，正方形时，TU也是非正方形的（也是非正方形的（32x8、8x32、16x4、4x16）。一个）。一个CU可以包含一个或多个可以包含一个或多个TU，TU也是一个也是一个四叉树结构。四叉树结构。3.TU（Transform unit）划分成最小的基于四叉树结构的分割技术CUvTU的由的由CU的大小决定，亮度和色度具有相同的分级深度。的大小决定，亮度和色度具有相同的分级深度。vDCT:44、8x8、16x16、3232。vDST:4x4（仅适用于帧内预测（仅适用于帧内预测，在单边预测模式中，距离参考像素越远，预测误在单边预测模式中，距离参考像素越远，预测误差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预测差越大，左边像素为参考像素，右边像素为预测像素，那么左边预测像素的预测准确性高于右边预测像素的预测精度，离散正弦变换能够很好地适应这种准确性高于右边预测像素的预测精度，离散正弦变换能够很好地适应这种预测误差的统计特性）。预测误差的统计特性）。Transform Unit(TU)structure编编码码单单元元、变变换换单单元元的的四四叉叉树树结结构构关关系系图图帧内预测编码技术Intra Prediction帧内预测：利用图像的空间相关性，用周围重建帧内预测：利用图像的空间相关性，用周围重建像素值对当前编码块进行预测。像素值对当前编码块进行预测。帧内预测编码技术PU sizeNumber of intra modes435835163532356435Intra Prediction目前目前HMHM模型中共包含了模型中共包含了3535种预测模式，左图并未显示种预测模式，左图并未显示PlanarPlanar预测预测方法。方法。色度分量的帧内预测采用了色度分量的帧内预测采用了5 5种预测模式种预测模式 ，分别为水平、垂直、，分别为水平、垂直、DCDC预预测、亮度模式以及对角模式测、亮度模式以及对角模式。帧内预测编码技术Intra Prediction帧内预测编码技术Planar 模式模式在平面预测中，首先右下角的像素在平面预测中，首先右下角的像素 由图中重建像素由图中重建像素 和和平均平均得到，然后利用重建像素和与进行得到，然后利用重建像素和与进行线性线性插值插值计算出最下面一行和最右边一列像素值，如图中像计算出最下面一行和最右边一列像素值，如图中像素素 和，然后利用插值得到的像素进行和，然后利用插值得到的像素进行双线性插值双线性插值计计算其它预测像素值，如图中像素算其它预测像素值，如图中像素线性插值线性插值双线性插值双线性插值最有可能模式（最有可能模式（MPM，Most Probable Mode）是指当前块周围已编码过的）是指当前块周围已编码过的左边块和上边块的最佳预测模式。左边块和上边块的最佳预测模式。帧内编码流程帧间预测编码技术Inter Prediction 帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编帧间预测利用连续图像之间的相关性，通过运动估计和运动补偿的编码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧码方法去消除视频信息的时间冗余。利用先前已编码重建帧作为参考帧进行预测。进行预测。1、帧间预测采用融合模式时，当前、帧间预测采用融合模式时，当前PU块的运动信息块的运动信息(包括运动矢量、参包括运动矢量、参考索引、预测模式考索引、预测模式)都可以通过相邻都可以通过相邻PU的运动信息推导得到。编码时，当的运动信息推导得到。编码时，当前前PU块只需要传送融合标记块只需要传送融合标记(Merge Flag)以及融合索引以及融合索引(Merge Index)，无需传送其运动信息。无需传送其运动信息。2、帧间预测还可以通过空域相邻、帧间预测还可以通过空域相邻PU以及时域相邻以及时域相邻PU的运动矢量信息构的运动矢量信息构造出一个预测运动矢量候选列表，造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。择最佳的预测运动矢量。（时空域时空域MVP）运动融合技术：SKIP模式和MERGE模式1）skip模式本身就是一种特殊的模式本身就是一种特殊的merge模式。模式。Skip=merge+（CBF=0）2）HEVC里的里的merge模式是整合了模式是整合了H.264中的中的direct模式和模式和skip模式。模式。H.264 中的中的direct模式是给定预先设定的值进行传输。而模式是给定预先设定的值进行传输。而HEVC里的里的merge和和 skip不是这样。不是这样。3）skip模式和模式和merge模式之间的区别：模式之间的区别：skip模式不传残差，只传模式不传残差，只传 skip_flag和和merge_index。Merge模式传残差和模式传残差和merge_index。4)Skip模式作用：节省码率。模式作用：节省码率。5）merge模式：不需要进行复杂的运动估计，只有运动补偿，当前模式：不需要进行复杂的运动估计，只有运动补偿，当前PU块块的的 运动信息都可以通过相邻运动信息都可以通过相邻PU的运动信息推导得到。的运动信息推导得到。INTER模式下预测运动矢量选取Note：只有左边超出slice或者帧内编码，才能缩放上边。空域候选空域候选左边选择左边选择 一个，上边选择一个一个，上边选择一个获取顺序：左边获取顺序：左边A0 A1 scaledA0 scaled A1上边上边B0 B1 B2 scaled B0 scaled B1 scaled B2缩放条件：周围块的运动矢量参缩放条件：周围块的运动矢量参考帧的考帧的POC和当前预测单元的参和当前预测单元的参考帧的考帧的POC不一致时才能缩放不一致时才能缩放如果空域得到的2个预测运动矢量都存在且不相等，则跳过时域候选时域候选先H后C3如果如果H位置的位置的PU和当前和当前PU不在同一个不在同一个对应的对应的LCU中，则标记不可用中，则标记不可用最后将时域候选和空域候选得到的预测最后将时域候选和空域候选得到的预测运动矢量加入列表，进行去冗余，添加运动矢量加入列表，进行去冗余，添加0运动矢量，得到一个只有运动矢量，得到一个只有2个预测运动矢个预测运动矢量的列表，然后根据代价值选择最佳的量的列表，然后根据代价值选择最佳的预测运动矢量预测运动矢量环路滤波环路滤波环路滤波自适应环路滤波自适应环路滤波(ALF)去块滤波去块滤波采样点自适应偏移采样点自适应偏移(SAO)无无4X4块块采样点自适应偏移(Sample Adaptive Offset)带状偏移将像素值强度等级划分为若干个条带，每个条带状偏移将像素值强度等级划分为若干个条带，每个条带内的像素拥有相同的偏移值。带内的像素拥有相同的偏移值。现有的现有的HMHM模型将像素值强度从模型将像素值强度从0 0到最大值划分为到最大值划分为3232个等个等级。同时这级。同时这3232个等级条带还分为两类，第一类是位于中间个等级条带还分为两类，第一类是位于中间的的1616个条带，剩余的个条带，剩余的1616个条带是第二类。个条带是第二类。编码时只将其中一类具有较大补偿值的条带偏移信息写编码时只将其中一类具有较大补偿值的条带偏移信息写入片头；另一类条带信息则不传送。这样的方式编码将具入片头；另一类条带信息则不传送。这样的方式编码将具有较小偏移值的一类条带忽略不计，从而节省了编码比特有较小偏移值的一类条带忽略不计，从而节省了编码比特数。数。带带状状偏偏移移 32级像素值条带分割示意图级像素值条带分割示意图采样点自适应偏移(Sample Adaptive Offset)边缘偏移主要用于对图像的轮廓进行偏移。边缘偏移主要用于对图像的轮廓进行偏移。它它将将当当前前像像素素点点值值与与相相邻邻的的2 2个个像像素素值值进进行行对对比比，用用于于比比较较的的2 2个个相相邻邻像像素素可可以以在在图图9 9中中所所示示的的4 4种种模模板板中中选选择择，从从而而得得到到该该像像素素点点的的类类型型：局局部部最最大、局部最小或者图像边缘。大、局部最小或者图像边缘。解解码码端端根根据据码码流流中中标标示示的的像像素素点点的的类类型型信信息息进进行行相应的偏移校正。相应的偏移校正。4种边缘样点偏移模板种边缘样点偏移模板边边缘缘偏偏移移自适应环路滤波 自适应环路滤波自适应环路滤波(Adaptive Loop Filter,ALF)(Adaptive Loop Filter,ALF)在编解码环路内，位于在编解码环路内，位于DeblockDeblock和和SAOSAO之后。之后。对于亮度分量，采用对于亮度分量，采用CUCU为单位的四叉树为单位的四叉树ALFALF结构。滤波使用结构。滤波使用5555，7777和和9999三种大小的二维钻石型模板。滤波器计算每个三种大小的二维钻石型模板。滤波器计算每个4444块的块的LaplacianLaplacian系系数值，并根据该值将所有数值，并根据该值将所有4444块分成块分成1616类，分别对应类，分别对应1616种滤波器。种滤波器。对对于于色色度度分分量量，滤滤波波的的选选择择过过程程会会简简单单许许多多。原原因因如如下下：首首先先，色色度度分分量量的的滤滤波波只只需需要要在在图图像像层层级级上上进进行行。其其次次，滤滤波波时时色色度度分分量量统统一一使使用用5555矩形滤波模板，不需要通过矩形滤波模板，不需要通过Laplacian Laplacian 系数来选择滤波器类型。系数来选择滤波器类型。3种种ALF滤波模板滤波模板并行化设计（一）用垂直和水平的边界将图像划分为一些行和列，划分出的用垂直和水平的边界将图像划分为一些行和列，划分出的矩形区域为一个矩形区域为一个TileTile，每一个，每一个TileTile包含整数个包含整数个LCULCU，TileTile之间可以互相独立，以此实现并行处理。之间可以互相独立，以此实现并行处理。Tile划分示意图划分示意图Tile并行化设计（二）Entropy Slice与与Slice的关系的关系Entropy slice一个一个entropy slice不能不能跨越跨越slice边界，也就是边界，也就是一个一个slice可以含有多个可以含有多个entropy slice，但是一，但是一个个entropy slice只能属只能属于一于一slice熵编码以熵编码以sliceslice为单位，容易造成负载不均衡。为单位，容易造成负载不均衡。Entropy SliceEntropy Slice允许在一个允许在一个sliceslice内部再切分成多个内部再切分成多个Entropy SlicesEntropy Slices，从而实现并行编码或解码，提高了并行处理能，从而实现并行编码或解码，提高了并行处理能力。力。并行化设计（三）上一行的第二个上一行的第二个LCULCU处理完毕，即对当前行的第一个处理完毕，即对当前行的第一个LCULCU的熵的熵编码编码(CABAC)(CABAC)概率状态参数进行初始化。因此，只需要上一行的第概率状态参数进行初始化。因此，只需要上一行的第二个二个LCULCU编解码完毕，即可以开始当前行的编解码，以此提高编解编解码完毕，即可以开始当前行的编解码，以此提高编解码器的并行处理能力。码器的并行处理能力。WPP示意图示意图WPP(Wavefront Parallel Processing)