HEVCH265编码技术.pptx

HEVCH.265Agent2n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频背景(1)3视频应用向以下几个方向发展的趋势愈加明显：l高清晰度(Higher Definition)：数字视频的应用格式从720P向1080P全面升级，在一些视频应用领域甚至出现了4Kx2K、8Kx4K的数字视频格式;l高帧率(Higher frame rate)：数字视频帧率从30fps向60fps、120fps甚至240fps的应用场景升级;l高压缩率(Higher Compression rate)：传输带宽和存储空间一直是视频应用中最为关键的资源，因此，在有限的空间和管道中获得最佳的视频体验一直是用户的不懈追求。背景（2）4由于数字视频应用在发展中面临上述趋势，如果继续采用H.264编码就出现的如下一些局限性：(1)宏块个数的爆发式增长，会导致用于编码宏块的预测模式、运动矢量、参考帧索引和量化级等宏块级参数信息所占用的码字过多，用于编码残差部分的码字明显减少。(2)由于分辨率的大大增加，单个宏块所表示的图像内容的信息大大减少，这将导致相邻的4x4或8x8块变换后的低频系数相似程度也大大提高，导致出现大量的冗余。(3)由于分辨率的大大增加，表示同一个运动的运动矢量的幅值将大大增加，H.264中采用一个运动矢量预测值，对运动矢量差编码使用的是哥伦布指数编码，该编码方式的特点是数值越小使用的比特数越少。因此，随着运动矢量幅值的大幅增加，H.264中用来对运动矢量进行预测以及编码的方法压缩率将逐渐降低。(4)H.264的一些关键算法例如采用CAVLC和CABAC两种基于上下文的熵编码方法、deblock滤波等都要求串行编码，并行度比较低。针对GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU，H.264的这种串行化处理越来越成为制约运算性能的瓶颈。H.265应运而生5基于以上应用发展趋势和H.264的局限性，面向更高清晰度、更高帧率、更高压缩率的高效视频编码标准(HighEfficiencyVideoCoding）HEVC(H.265)协议标准应运而生。HEVC的:l核心目标：在H.264/AVChighprofile的基础上，保证相同视频质量的前提下，视频流的码率减少50%。在提高压缩效率的同时，允许编码端适当提高复杂度（三倍计算复杂性下）。l编码框架：沿用H.263的混合编码框架，即用帧间和帧内预测编码消除时间域和空间域的相关性，对残差进行变换编码以消除空间相关性，熵编码消除统计上的冗余度。HEVC在混合编码框架内，着力研究新的编码工具或技术，提高视频压缩效率。l技术创新：基于大尺寸四叉树结构的分割技术，多角度帧内预测技术，运动估计融合技术，高精度运动补偿技术，自适应环路滤波技术以及基于语义的熵编码技术。H.265（HEVC）标准完成时间点6l2010年1月，ITU-TVCEG(VideoCodingExpertsGroup)和ISO/IECMPEG(MovingPictureExpertsGroup)联合成立JCT-VC(JointCollaborativeTeamonVideoCoding)了联合组织，统一制定下一代编码标准：HEVC(HighEfficiencyVideoCoding)。l2012.2：委员会草案（标准草案完成稿）；HEVC委员会草案获得通过。l2012.7：HEVC国际标准草案获得通过；l2013.1：国际标准最终获得通过；Agent7n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频H.265关键技术(1)四叉树编码结构8该结构使用编码单元(CodingUnit,CU)，预测单元(PredictionUnit,PU)和变换单元(Transformunit,TU)3个概念描述整个编码过程。l编码单元：HEVC定义了5种类型的编码元:128128(LCU)，6464，3232，1616，88(SmallestCodingUnit,SCU)。l对于每个CU，HEVC使用PU来实现该CU单元的预测过程，对于帧内预测，HEVC定义了34种帧内预测方向（H.264为9种），对于帧间预测，HEVC采取了运动矢量方案(MVR)、差值滤波(IF)、运动共享(MS)、运动向量竞争(MVC)和基于块的照明竞争(B-BIC)来提高编码性能。l变换单元，则是针对正交变换和量化。对于正交变换，HEVC采用包含了1616，3232和6464等尺寸块的变换矩阵、旋转变换和基于模式的方向性变换来提高编码性能。H.265关键技术(1)四叉树编码结构9 LCU的树形结构示意图的树形结构示意图(a)2N2N(b)N2N(c)2NN(d)NN 4种种PU分割类型分割类型6464CU所支持的所支持的4种种AMP分割形态分割形态HEVC的变换结构突破了原有的变换尺寸限制，可支持44至3232的编码变换，以TU为基本单元进行变换和量化。为提高大尺寸编码单元的编码效率，DCT变换同样采用四叉树型的变换结构。下图为编码单元、变换单元的四叉树结构关系图，其中虚线为变换单元四叉树分割，实线为编码单元四叉树分割，编号为各编码单元的编码顺序。H.265关键技术(1)四叉树编码结构10左图是传统的H.264标准，每个宏块大小都是固定的；右图是H.265标准，编码单元大小是根据区域信息量来决定的H.265关键技术(1)四叉树编码结构11H.265关键技术(2)预测编码技术12HEVC的帧间、帧内预测的基本框架与H.264基本相同：采用相邻块重建像素对当前块进行帧内预测，从相邻块的运动矢量中选择预测运动矢量，支持多参考帧预测等。HEVC改进之处：帧内预测将原有的8种预测方向扩展至33种，增加了帧内预测的精细度。另外，帧内预测模式保留了DC预测，并对Planar预测方法进行了改进。目前HM模型中共包含了35种预测模式，下图只显示了34种，未显示Planar预测方法。n多角度帧内预测多角度帧内预测H.265关键技术(2)预测编码技术13n帧间预测技术帧间预测技术 l广义B预测技术：HEVC仍然采用了H.264中的B预测方式，同时还增加了广义B(GeneralizedPandBpicture，GPB)预测方式。GPB预测结构对传统P帧采取双向预测方式进行预测，前向和后向参考列表中的参考图像都必须为当前图像之前的图像，且两者为同一图像，这种运动预测方式增加了运动估计的准确度，提高了编码效率。l高精度运动补偿技术：a.HEVC的编码器内部增加了像素比特深度，最大可支持12bit的解码图像输出，提高了解码图像的信息精度。b.HM模型采取了高精度的双向运动补偿技术，即无论最终输出图像比特深度是否增加，在双向运动补偿过程中都将使用14bit的精度进行相关计算。l运动融合技术：将以往的跳过预测模式(SkipMode)和直接预测模式(DirectMode)的概念进行了整合。采用融合模式时，当前PU块的运动信息(包括运动矢量、参考索引、预测模式)都可以通过相邻PU的运动信息推导得到。编码时，当前PU块只需要传送融合标记(MergeFlag)以及融合索引(MergeIndex)，无需传送其运动信息l自适应运动矢量预测技术：为一般的帧间预测PU服务，通过相邻空域相邻PU以及时域相邻PU的运动矢量信息构造出一个预测运动矢量候选列表，PU遍历运动矢量候选列表，在其中选择最佳的预测运动矢量。利用AMVP技术可充分发掘时域相关性和空域相关性。H.265关键技术(3)环路滤波141个HEVC环路滤波包括3个环节：l去块滤波：在H.264的去块滤波技术的基础上发展而来的，但为了降低复杂度，目前的HM模型取消了对44块的去块滤波l采样点自适应偏移(Sample Adaptive Offset，SAO)：HEVC采用的新技术，SAO在编解码环路内，位于Deblock之后，通过对重建图像的分类，对每一类图像像素值加减一个偏移，达到减少失真的目的，从而提高压缩率，减少码流。分为带状偏移(BandOffset，BO)和边缘偏移(EdgeOffset，EO)两大类l自适应环路滤波(Adaptive Loop Filter，ALF)：HEVC采用的新技术，在编解码环路内，位于Deblock和SAO之后，用于恢复重建图像以达到重建图像与原始图像之间的均方差(MSE)最小。H.265关键技术(4)熵编码15H.264的熵编码CABAC编码器采用串行处理的方式，解码端需要非常高频率的计算能力；而H.265选用了两种并行商编码方案，提高并行处理能力，降低对解码端芯片的频率要求：l可支持上下文自适应变长编码(CAVLC)：用于低复杂度的编码场合l基于语法元素的上下文自适应二进制算术编码(SB-CABAC)：用于高效的编码场合。H.265关键技术(5)细粒度slice分块边界16H.265的熵编码slice边界划分不以LCU为单位，而是以更小的CU为单位，每个slice的大小都可以精确控制，同时解决了码率控制和负载均衡的问题。但是带来的代价是slice边界处理更为复杂。片的分割如图：H.265关键技术(6)比H.264改进之处17相对于H.264，H.265标准的算法复杂性有了大幅提升，以此获得较好的压缩性能。H.265在很多特性上都做了较大的改进，具体各项改进如表所示：H.264H.265MB/CU大小441616446464亮度插值Luma-1/2像 素 1,-5,20,20,-5,1Luma-1/4像素1,1Luma-1/2像素-1,4,-11,40,40,-11,4,-1Luma-1/4像 素-1,4,-10,57,19,-7,3,-1Luma-1/4像 素-1,3,-7,19,57,-10,4,-1MVP预测方法空域MVP预测空域+时域MVP预测AMVPMerge亮度Intra预测44/88/1616:9/9/4模式34种角度预测+Planar预测DC预测色度Intra预测DC,Horizontal,Vertical,PlaneDM,LM,planar,Vertical,Horizontal,DC,diagonal变换DCT44/88DCT44/88/1616/3232DST44去块滤波器44和88边界Deblock滤波较大的CU尺寸，44边界不进行滤波Agent18n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频编码能力对比19图像大小-帧数场景视频质量PSNRY主观同等质量下的码率(kbps)码率降低比率H.264H.265D1-24fps简单4353835134.8%风景45.8120575037.8%运动38.5123078036.6%720P-24fps简单42.583553735.7%风景45.4207013593.5%运动39.52252144236.0%分别采用不同的编码技术编出D1和720P的视频，在同等分辨率下每种编码技术码率对比如下表所示：编码能力对比20l相同质量情况下，H.265编码比H.264编码的码率减少25%35%。l质量越高，编码后的码率差别越大。编码能力对比21编码能力对比22编码标准码率降低的平均值H.264/MPEG-4AVCHPMPEG-4ASPH.263HLPH.262/MPEG-2MPHEVCMP35.4%63.7%65.1%70.8%H.264/MPEG-4AVCHP-44.5%46.6%55.4%MPEG-4ASP-3.919.7%H.263HLP-16.2%相同PSNR时，几种不同视频编码标准的对比：压缩能力对比23Agent24n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频H.265的产品实现编码器251.编码器（硬件）：2.编码器（软件）：l2013年1月8日，VanguardVideo发表了V.265，一个专业的纯软件HEVC编码器，能达到实时的编码性能。同年6月，V.265专业HEVC编码器加入了Main10profile的支持，成为第一个支持Main10profile的实时HEVC软件编码器。l2013年8月8日，日本电信电话发布了他们的HEVC-1000SDK软件编码器，能支持Main10profile、分辨率最高7680 x4320以及祯率最高到120fps。l2013年9月，北京瑞普图视发布其国内首款H.265实时编码软件，可以轻松地分别实现1路1080p、2路720p、4路480p的实时输入、编码压缩、实时输出，延时小于1秒以内，画面清晰流畅l2013年10月，Ateme正式发布HEVC编码器，能够以60fps、平均15Mbit/s的码率编码3840 x2160p分辨率的视频l2012年8月22日，Ericsson发表了世界第一个HEVC编码器EricssonSVP5500，可做到实时编码视频，并首先用于在移动网络上提供电视节目。H.265的产品实现解码器（硬件）26l2012年9月，法国AllegroDVT推出了全球首款HEVC广播配件：AL1200HD-SDI解码器与AL2200IP转码器，并于2013年7月改进了其HEVC解码器IP，增加Main10profile的支持。l2013年1月8日，博通发表了一个UHD解码芯片BCM7445，能够运行解码HEVC至最高4096x2160p分辨率于60fps。BCM7445采用28纳米ARM架构，能达到21,000Dhrystone的每秒百万指令，预计在2014年中批量生产。l2013年2月11日，MIT于国际固态电路研讨会(ISSCC)上，展示了世界第一个HEVCASIC解码器。他们的芯片能够实时解码3840 x2160p30fps的视频流，并消耗低于0.1瓦的电力lARM不仅在其Mali-T600GPU上实现了1080P的HEVC解码，2013年10月，ARM还发布其全球第一个4Kx2K实时硬解H.265的GPU芯片Mali-T764，可支持OpenGLES3.0和OpenCL1.2。Mali-T764最大特点是采用第三代MIDgard架构。H.265的产品实现解码器（软件）27l2012年2月29日，世界移动通信大会上，高通展示了一个HEVC解码器运行在Android平板上，使用了QualcommSnapdragonS4双核心处理器运行在1.5GHz，将同一个视频以H.264/AVC和HEVC同时并发播放，HEVC展现了较H.264/AVC几乎节省了50%的比特率l2013年3月，NTTDoCoMo开始授权其HEVC解码软件，能够在个人计算机上拨放4KUHDTV的视频于60fps以及在智能手机上拨放1080p的视频，在一个JCT-VC文件内，该软件解码器能够在2.7GHz四核心IvyBridgeCPU的平台上，以3个线程解码3840 x2160于60fpsl2013年4月3日，Ateme发布了第一个开放源代码实现的HEVC软件播放器，基于OpenHEVC解码器和GPAC视频播放器(两者都基于LGPL授权)。OpenHEVC解码器支持HEVCMainprofile，能够用宏内核的CPU来解码1080p30fps的视频，同时还有一个支持HEVC的实况转码器搭配GPAC视频拨放器。H.265的产品实现编解码器28l2012年9月6日，RoviCorporation发表一个HEVC适用的MainConceptSDK，HEVCMainConceptSDK包含了一个解码器、编码器及传输多任务器，可在MicrosoftWindows、MacOS、Linux、iOS及Android上运行。l2013年3月14日，IttiamSystems发布了一个HEVC视频编码器及解码器，其中编码器是基于Intelx86软件，能编码高清(HD)放送质量的视频。而解码器软件可在基于ARMCortex-A9以及Cortex-A15的SoC上运行，允许大部分现存的消费性电子设备譬如智能手机、平板电脑、智能电视、机上盒来拨放高解析的HEVC内容。l2013年9月6日，ThomsonVideoNetworks展示了一个试验式的UHD传输用的HEVC编解码器，并且被人造卫星传输营运商HISPASAT所采用。H.265的产品实现转码器及其他29l2013年9月11日，ViXSSystems了XCode6400SoC，在HEVCMain10profile下支持4K分辨率于60fps，以及Rec.2020色彩空间。并于2013年12月18日正式出货。l2013年8月21日，Microsoft发布了一个用于HEVC的DXVA（DirectXVideoAcceleration）规范，支持Main、Main10及MainStillPictureprofile。DXVA2.0可进行HEVC解码的硬件加速，兼容的解码器可使用DXVA2.0进行以下操作：比特流解析、去区块、反量化缩放、反转换以及运动补偿。l2013年9月，DivX在DivX10.0中提供了DivXHEVCPlug-in，激活后即可播放或将其他格式视频转换为HEVC视频。DivX10.1Beta版的解码器能分别以210.9fps、101.5fps、29.6fps的速度来解码720p、1080p、4K的视频。l2013年1月，三星电子在F8500等离子电视支持HEVC解码。H.265的产品实现云网行CR12 30l采用最新的瑞芯微RK3288芯片。lCPU：四核Cortex-A17构架处理器，最高主频达到1.8GHz。lGPU：最新、最强的8核MaliT76X。l强劲的CPU、GPU，支持4K*2K视频H.265硬解。l通过HDMI2.0展现完美的4K视频播放输出。云网行2014年6月推出的新品-云网行CR12：Agent31n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频H.265应用实测（迅雷）32测试配置：AthlonIIX46403.0GHz；DDR313336GB（DC+enabled）；Windows764bit测试仅用一个场景片段，一个码率预设值，来测试迅雷HEVC编码器的速度与压缩效率，同时与H264作对比。测试参数配置：编码测试结果：CPU基本满载编码，HEVC用时83分钟，H.264用时10分钟左右。（绝对数值与硬件配置有关）解码测试结果：从启动播放器到播放到30秒处的CPU时间分别如下：HEVC:27秒；H264:19秒测试片源：1280X720，时长1分33秒编码软件：LentoidHEVCEncoder（北京视骏）；解码软件：Lentoid Codec,版本是2.0.02013年3月30日迅雷看看独家首发了H.265升级版客户端，成为行业内首个将H.265技术标准从试验阶段正式大规模投入商用的企业。H.265应用实测（迅雷）33HEVC在控制block方面做得很不错。线条方面，HEVC的线条走样远小于AVC方案，但水面细节涂抹的很严重。高动态下的效果，HEVC对细节的涂抹非常严重，甚至x264都保留了更多背景的粒子特效源片H.265/HEVCH.264/AVCH.265应用测试（PPS）34臻高清测试环境：Windows7旗舰版、AMDFX-5000(4核)、显卡GTX-260、内存DDR34GB2013年4月，PPS发布了支持H.265技术的“PPS影音”客户端，并以“臻高清”命名成为独立品牌，成为国内首家自主研发支持H.265技术，并掌握核心技术的视频应用公司，实现在线视频1080P画质。2012年9月，PPS正式成立了H.265研发团队。这个由有8人组成的团队，经过半年的时间开发，推出了国内首家支持H.265技术的客户端产品。H.265应用测试（PPS）35PPS普通画质版-见龙卸甲截图，刘备眼部模糊PPS高清画质版-见龙卸甲截图，刘备面部略灰PPS超清画质版-见龙卸甲截图，刘备面部比较清晰PPS臻高清画质版-见龙卸甲截图，刘备目光锐利、面部栩栩如生测试一：画质清晰度对比H.265应用测试（PPS）36测试二：四种画质流量占用统计：测试影片来源清晰度下载文件大小（MB）我知女人心PPS普通423高清601影片时长超清10281小时56分钟臻高清（1080P）1728其他渠道1080P4446臻高清服务，画质级达1080P视频时，远远小于其他下载渠道1080P级别影片大小，PPS流量占用1728M仅为第三方下载流量占用4446M的38.9%，实际节省流量达61.1%。H.265应用测试（PPS）37测试3：流畅度测试某高清播放器（720P）PPS臻高清播放器（1080P）流畅度主要取决于两个方面：在一定画质下，缓冲速度、前后快进响应速度。Agent38n H.265的发展背景和历程n H.265的关键技术n H.265编码能力对比n H.265的产品实现n H.265应用实测n H.265与4K视频H.265与4K39l4K是新兴的分辨率标准，其中：UHDTV为：38402160电视4K，16:9画面比例FullAperture为40963112电影，DCI4KNative（画面比例1.90:1）。4K分辨率远胜目前主流的720p/1080p数据量也达高清的4倍以上l对比1080p的19201080，4K能够提供4倍以上的清晰度。“4K”成了高档电视的标签H.265与4K40020406080100120140PSNR(DB)码率（Mbps)鸭子4K电视鸭子片段3840X21602012年，爱立信对4K电视所做H.265与H.264编码效果对比：H.264H.265测试结果：1.HEVC可以以比AVC低53%码率，达到同样的客观画面品质。2.相同码率下，H.265编码的客观画质要好很多。3.曲线反映了压缩后要达成某级别的画面品质所需要的码率。H.265与4K41编码标准相比H.264/AVC平均码率降低量480P720P1080P4KUHDH.265/HEVC52%56%62%64%2014年5月，BBC和西苏格兰大学也对H.265/HEVC和H.264/AVC做了比较测试，对一组视频分别用HM-12.1HEVC和JM-18.5H.264/MPEG-4AVC进行编码。结果显示，用H.265编码，码率平均降低59%，针对不同分辨率的码率降低如表：H.265 RoadMap