本科毕业设计--基于h264压缩格式的数字视频传输技术研究.doc

河南科技学院 2009 届本科毕业论文（设计） 论文（设计）题目：基于H.264压缩格式的数字视频传输技术研究 学生姓名： 田利乐 所在院系： 信息工程学院 所学专业： 计算机科学与技术 导师姓名： 白林峰 完成时间： 2009-05-25 毕业论文（设计）任务书题目名称： 基于单片机的三车道交通信号系统的设计学生姓名田利乐所学专业计算机科学与技术班级053班指导教师姓名白林峰所学专业计算机职称高级实验师完成期限2009年2月5日至2009 年5月 15日一、论文（设计）主要内容及主要技术指标主要内容： 论文主要研究了基于H.264压缩格式的数字视频传输技术。包括三大部分： 1、H.264视频压缩标准及其编解码的分析；2、基于H.264的视频传输抗误码技术的研究：（1） 数字视频传输技术 ； （2） 基于H.264的抗误码技术的研究； （3） 应用设计及结果分析；3、H.264视频流传输模型设计。二、 毕业论文（设计）的基本要求(1)毕业设计报告或论文一份；(2)不少于2000汉字的与本专业有关的翻译资料一份； (3)开题报告和中期检查表一份。三、毕业论文（设计）进度安排2009年2月16日起收集与课题相关的文献资料2009年3月6日前交论文开题报告2009年3月9日起做毕业设计2009年4月20日进行毕业设计中期检查2009年5月5日开始写毕业论文2009年5月22日提交毕业论文河南科技学院本科生毕业论文（设计）开题报告题目名称： 基于H.264压缩格式的数字视频传输技术研究学生姓名田利乐专业计算机科学与技术学号20051014316指导教师姓名白林峰所学专业计算机职称高级实验师完成期限2009年2月 5日至2009年5月22日一、选题的目的意义 近年来，随着数字通信技术和各种网络技术的迅猛发展以及宽带Internet在全球的迅速普及，尤其是第三代移动网络和未来的带宽无线网络的使用，使得多媒体通信越来越成为人们研究的热点。因此，各种视频技术的研究和应用一直吸引着国内外广大科技人员的关注。由于信道噪声的影，视频信息在传输过程中会发生改变或丢失，这种传输误码会一导致视频重建质量严重下降。因此视频传输中的抗误码技术的研究是一个十分重要的课题。二、国内外研究现状AVS是我国具备自主知识产权的第二代信源编码标准。AVS视频当中采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧间预测、变换、量化和嫡编码等。由于包含了目前最新的视频压缩技术，从压缩效率比较:AVS与H.264/AVC相当，是MPEG-2的两倍以上。AVS适用的范围有数字地面电视广播(DTTB)、有线电视(CATV)、交互存储媒体、直播为卫星电视、分组网络的多媒体业务(MSPN)，实时通信业务(视频会议、可视电话等)等等。视频压缩编码的国际标准主要有MPEG系列标准和H系列标准。目前，MPEG系列标准主要包括:MPEG-1、MPEG-2、MPEG-4、MPEG-7等。它主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。H系列标准是由ITU-T的视频编码专家组制定的视频压缩标准，包括H.261、H.263以及H.264/AVC。它主要应用于实时视频通信领域。三、主要研究内容1、研究H.264标准及其编解码的方法；2、研究视频传输技术；3、研究H.264的抗误码技术。四、毕业论文（设计）的研究方法或技术路线分析H.264标准及其编解码的方法找出更好的数字视频传输方法。分析现有数字视频传输技术，找出适合H.264标准的技术。并研究H.264的抗误码技术。五、 主要参考文献与资料1 沈兰荪，卓力，田栋，汪孔桥.视频编码与低速率传输M.电子工业出版社，2001:17-502 黄贤武等.数字图像处理与压缩编码技术M.电子科技大学出版社，2000:449-4563 毕厚杰. 新一代视频压缩编码标准一H.264/AVM.北京:人民邮电出版社，20054 钟玉琢等.基于对象的多媒体数据压缩编码国际标准M.科学出版社，2000:14-365 沈兰荪等. 视频编码与低速率传输M.电子工业出版社，2001.6 艾达,常义林,罗忠等.基于对象的H.264视频编码抗分组丢失方法J.西安电子科技大学学报, 2006, 33(4):524-528.7 齐谊娜，徐海龙，王晓月.H.264与MPEG一4压缩编码标准的分析与比较J，计算机测量与控制，2006(14):1720-17228 魏聪颖等.基于实时流媒体传输系统的H.264组包算法研究.计算机科学，2007(34):41-449 王健，毕厚杰.H.264视频编码传输的QoS特性分析J.中国多媒体视讯，2005(l):61-6510 陆晓鹏，王鹰，王寿武.H.261视频数据流的RTP封装J.微电子学与计算机，2005(22):166-169六、 指导教师审批意见签名： 年 月 日摘 要本文基于H.264标准分析了视频压缩、视频传输、抗误码等技术。由于H.264标准主要面对IP和无线环境的，抗误码性能也就成了关键问题，所以本文对基于H.264标准的视频传输抗误码技术进行了分析。本文首先对视频图像编码发展史、视频图像压缩编码技术及视频编码国际标准作了简单介绍，并给出了图像/视频编码领域的基本概念、发展历史和当前状况，着重介绍了视频编码国际标准H.264的发展情况，及其目前相关研究动态。并且进一步阐明了本文选题的理论依据，并为随后展开深入的分析提供了线索与思路。最后分析了基于H.264的视频传输抗误码技术，提出了在H.264中引入了基于算术编码的具有连续检错和自动重传能力的综合抗误码方案，以获得较好的压缩效果和抗信道误码能力。关键词 H.264标准,整数变换,视频传输,抗误码技术Digital video transmission technology based on H.264compression formatAbstractBased on H.264 standards，this article analyses video compression, video transmission, error resilient techniques. H.264 standards mainly due to the face of IP and wireless environment, error resilient techniques will become key issues, so this article Based H.264 standards error resilient video transmission technology is analyzed. First，This article Made a brief introduction to history of the development of video coding, video coding video compression video coding technology, international standards.AND gives the image / video coding field of the basic concepts, history and current status of development, focused on international standards for video coding the development of H.264, and its current research developments. And further sets out theoretical basis for this article topics, and then to conduct in-depth analysis of the clues and ideas. Finally, an analysis of H.264-based error resilient video transmission technology, put forward in the introduction of H.264 based arithmetic coding for error detection with ARQ capacity and integrated error resilient program to obtain better compression effects and the ability of error resilient techniques.Keywords H.264 standards ,integer transform ,video communication , Error resilient techniques目 录1绪 论11.1 技术研究背景11.1.1国内的研究现状11.1.2国外研究21.2论文研究目的与意义22 H.264视频压缩标准32.1 H.264编码新特性42.1.1 帧内编码预测42.1.2 帧间编码预测42.1.3 整数变换和量化52.1.4 熵编码62.1.5 H.264的分层设计62.2 H.264的视频编码、解码72.2.1 H.264的视频编码器72.2.2 H.264的视频解码器83 基于H264的视频传输抗误码技术的研究83.1 数字视频传输技术83.1.1 TCPIP协议83.1.2 IP组播技术93.1.3 多媒体通信模型103.2基于H.264的抗误码技术的研究103.2.1 传输误码的分类及抗误码的基本方法103.2.2 基于上下文的二进制算术编码(CABAC)123.2.3 基于AC的具有CED的ARQ方案133.3 应用设计及结果分析144 H.264视频流传输模型设计174.1视频传输的一般模型174.2 RTP/RTCP协议分析174.2.1实时传输协议RTP174.2.2 实时传输控制协议RTCP184.2.3 RTP工作机制184.3 H.264视频流实时传输方案19总 结21致 谢22参考文献23目 录1绪 论11.1 技术研究背景11.1.1国内的研究现状11.1.2国外研究21.2论文研究目的与意义22 H.264视频压缩标准32.1 H.264编码新特性42.1.1 帧内编码预测42.1.2 帧间编码预测42.1.3 整数变换和量化52.1.4 熵编码62.1.5 H.264的分层设计62.2 H.264的视频编码、解码72.2.1 H.264的视频编码器72.2.2 H.264的视频解码器83 基于H264的视频传输抗误码技术的研究83.1 数字视频传输技术83.1.1 TCPIP协议83.1.2 IP组播技术93.1.3 多媒体通信模型103.2基于H.264的抗误码技术的研究103.2.1 传输误码的分类及抗误码的基本方法103.2.2 基于上下文的二进制算术编码(CABAC)123.2.3 基于AC的具有CED的ARQ方案133.3 应用设计及结果分析144 H.264视频流传输模型设计174.1视频传输的一般模型174.2 RTP/RTCP协议分析174.2.1实时传输协议RTP174.2.2 实时传输控制协议RTCP184.2.3 RTP工作机制184.3 H.264视频流实时传输方案19总 结21致 谢22参考文献231绪 论随着全球跨入数字化、网络化、全球一体化的信息时代，人们之间的信息交流越来越频繁，方式越来越多样。从原始的纸笔书信，到传统的语音通信，再到新兴的数字通信，无不体现着人们对通信方式多样化的追求。视觉是人类获取信息的最重要的方式，这使得通信的可视化需求越来越高。视频通信刚起步之时，仅仅是少数人能够享受的奢侈品，设备昂贵、成本高，产品再好，人们也只能望而却步。而计算机技术、多媒体技术的迅猛发展以及互联网的日趋普及，让这个尴尬的问题迎刃而解。1.1 技术研究背景近年来，随着数字通信技术和各种网络技术的迅猛发展以及带宽Internet在全球的迅速普及，尤其是第三代移动网络和未来的带宽无线网络的使用，使得多媒体通信越来越成为人们研究的热点。因此，各种视频技术的研究和应用一直吸引着国内外广大科技人员的关注。同时，作为多媒体通信系统中的一个关键技术-视频压缩编码技术，它可广泛应用于视频存储、会议系统、视频点播、监控系统、远程教学、IPTV等方面。视频信息经过数字化后，其数据量是十分巨大的，它给信息的存储和传输带来很大困难。因此，如何有效对视频数据进行压缩编码并使其标准化是多媒体通信中的一个关键问题。从1984年CCITT公布第一个视频压缩编码国际标准以来，国际标准化组织(ISO)和国际电信联盟(ITU-T)相继推出了一系列图像、视频压缩编码国际标准，如:JPEG、H.26l、H.263、MPEG-l、MPEG-2、MPEG-4等等，分别针对不同的应用场合(静止图像或活动视频、广播电视或桌面视频)。虽然这些视频编码技术可以较好的满足各自应用领域的需求，大大推进了视频通信和数字电视广播的发展，但是随着多媒体、无线通信技术的发展，这些视频编码技术又面临着新的挑战，如:要求码率更低、容错性更高。于是，2003年3月，ISO和ITU-T再次联手，推出了新一代视频压缩标准-H.264/AVC，其主要目标就是提高编码效率和网络适应性。在相同的图像质量下，与H.263或MPEG-4相比，其编码比特率可以节省一倍左右。H.264/AVC标准不仅吸取了以往视频编码标准中的经验，而且在此基础上研究开发和采用了许多先进的技术，对于今后的网络视频传输(无线网络和Internet网络)，数字电视等领域带来深远的影响。同时，H.264/AVC标准可以支持各种视频应用，如:低延迟模式的视频会议、高清晰度电视(HDTv)、高处理延迟的视频存储等。可以这样说，H.264/AVC标准在许多方面已经超越了现有的所有视频编码标准，在工业界得到广泛应用已经成为大势所趋。1.1.1国内的研究现状AVS是我国具备自主知识产权的第二代信源编码标准全称是数字音视频编解码技术标准工作组，该工作组是由国家信息产业部科学技术司于2002年6月批准成立。该工作组的任务是面向我国的信息产业需求，联合国内外企业和科研机构，制(修)定数字音视频的压缩、解压缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经济的编解码技术，服务于高分辨率数字广播、高密度激光数字存储媒体、无线带宽多媒体通讯、互联网带宽流媒体等重大信息产业应用。AVS视频当中采用了一系列技术来达到高效率的视频编码，包括帧内预测、帧间预测、变换、量化和嫡编码等。帧间预测使用基于块的运动矢量来消除图像间的冗余;帧内预测使用空间预测模式来消除图像内的冗余。再通过对预测残差进行变换和量化消除图像内的视觉冗余。最后，运动矢量、预测模式、量化参数和变换系数用嫡编码进行压缩。由于包含了目前最新的视频压缩技术，从压缩效率比较:AVS与H.264/AVC相当，是MPEG-2的两倍以上。由于AVS是我国自主开发的音视频编码标准，收费低廉，且它注意了与国际标准的共存，所以得到了广大设备厂商、运营商的青睐，增加了产品的竞争力。Avs适用的范围有数字地面电视广播(DTTB)、有线电视(CATV)、交互存储媒体、直播为卫星电视、分组网络的多媒体业务(MSPN)，实时通信业务(视频会议、可视电话等)等等。1.1.2国外研究视频压缩编码的国际标准主要有MPEG系列标准和H系列标准。MPEG是在1988年由国际标准化组织ISO和国际电工委员会IEC联合成立的专家组，负责开发电视图像数据和声音数据的编码、解码和它们的同步等标准。目前，MPEG系列标准主要包括:MPEG-1、MPEG-2、MPEG-4、MPEG-7等。它主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。H系列标准是由ITU-T的视频编码专家组制定的视频压缩标准，包括H.261、H.263以及H.264/AVC。它主要应用于实时视频通信领域。目前，MPEG系列和H系列的后续标准制定工作仍在进行当中。1.2论文研究目的与意义由于信道噪声的影，视频信息在传输过程中会发生改变或丢失，这种传输误码会一导致视频重建质量严重下降。因此视频通信中的抗误码技术的研究是一个十分重要的课题。H.264标准采取了一些抵御传输差错的措施，视频流中的时间同步可以通过采用帧内图像刷新来完成，空间同步由条结构编码(slice structured coding)来支持。同时为了便于误码以后的再同步，在一幅图像的视频数据中还提供了一定的重同步点。另外，帧内宏块刷新和多参考宏块允许编码器在决定宏块模式的时候不仅可以考虑编码效率，还可以考虑传输信道的特性。然而，由于H.264的高效率编码，使得视频码流对信道误码率非常敏感，即使单个原发性错误，也可能会造成重构视频质量的急剧下降。并且H.264标准中采用普通的可变长码(UVLC)和基于上下文的二进制算术编码(CABAC)的方法来编解码。在视频传输中一旦遇到桑声干扰、出现传输误码，就会造成误码扩散，将严重影响重建视频的质量。因此从宏块嫡编码模式出发，帧内编码宏块的抗误码性能需要较大的增强。本文在H.264编码算法基础上，采用视频抗误码方法，来保证恢复图像的质量。根据H.264编解码的特点，在H.264测试版中引入了一种基于算术编码(AC)能连续检错(CED)的自动重传请求(ARQ)方案，使得当H.264码流在有噪信道中传输时，加入新的检错机制后能连续检错并能发出重传请求，这大大提高了H.264在视频传输时的抗误码能力，并在增加冗余量和提高检错性能之间取得较好的折衷，获得较好的压缩效果和抗信道误码能力。2 H.264视频压缩标准H.264视频压缩标准，是由ITU-TVCEG和IS0/IEC MPEG成立的联合视频专家组共同开发的新一代的视频压缩标准。H.264的编解码框架与以前提出的标准，如H.261，H.263及MPEG-1/2/4并无显著变化，也是基于混合编码的方案。但它采用“回归基本”的简洁设计，不用众多的选项，获得比H.263更好的压缩性能;加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和丢包的处理;应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输(存储)场合的需求。技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与H.263 v2(H.263+)或MPEG-4简单类相比，H.264在使用与上述编码方法类似的最佳编码器时，在大多数码率下最多可节省50%的码率。H.264在所有码率下都能持续提供较高的视频质量。H.264能工作在低延时模式以适应时实通信的应用(如视频会议)，同时又能很好地工作在没有延时限制的应用，如视频存储和以服务器为基础的视频流式应用。H.264提供包传输网中处理包丢失所需的工具，以及在易误码的无线网中处理比特误码的工具。在系统层面上，H.264提出了一个新的概念，在视频编码层(Video CodingLayer,VCL)和网络提取层(Network Abstraction Layer,NAL)之间进行概念性分割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制。NAL引入了面向IP包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。H.264具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。H.264支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。H.264能适应于不同网络中的视频传输，网络亲和性好。H.264定义了3个档次:基本档次、主档次、扩展档次。基本档次主要包含低复杂度、低延时的技术特征，利用I片和P片支持帧内和帧间编码，不支持加权预测方式。它选择用CAVLC而不是以CABAC对变换量化后的残差数据进行嫡编码。它最多支持将一帧分成8个片组，这样在网络上传输时，对每个片组分别打包可使一个包丢失时不会引起整个帧的丢失。主要用于可视电话、会议电视、无线通信等实时视频通信。主要档次主要针对更高编码效率的应用，不支持多个片组、任意片序、数据分割、冗余图像这.些可用于对付网络丢包的措施。支持基于上下文的自适应的算术编码(CABAC)。主要用于数字广播电视和数字视频存储。扩展档次主要针对流媒体的应用，除了不能支持上下文自适应二进制算术编码外，其支持的范围最为广泛，包括对数据分割，SI/SP的支持，以及所有的容错技术。因此，对网络视频电话以及视频会议这类对实时交互性要求高的应用而言，使用基本档次是最好、最自然的选择。对于实时性要求相对宽松的网络流媒体而言，选择扩展档次较为合适，既提供抗丢包措施，又可利用B类型预测帧获得更高压缩效率。而对于DVD、高清晰度数字电视等不通过包交换网络传输的高码率应用，利用主档次支持的上下文自适应二进制算术编码技术可获得最高的压缩效率。2.1 H.264编码新特性2.1.1 帧内编码预测 在以往标准中，预测编码主要用于帧间。H.264在帧内编码方面，提出了帧内预测技术，与变换编码一起用于减少空间冗余。对于亮度块，提供了Intra4X4和Intra16X16两种帧内编码模式，前者对每个4X4亮度块分别进行预测，适于表现图像细节部分;后者对整个16Xl6亮度块进行预测，适合平滑图像区.2.1.2 帧间编码预测帧间预测是H.264相对于以前编码标准压缩效率提高最大的一个模块，对许多现有技术进行了改进。P帧利用前面己编码的帧作为参考图像，B帧利用双向的参考图像进行预测。对于实时视频传输系统，由于编码速度的要求，一般只选择I帧和P帧，不采用B帧，所以仅分析P帧的帧间预测工具和方法。第一种方法是树状结构运动补偿。每个P宏块按照一定的方式划分，用于运动补偿预测。图2.1说明了亮度块的划分情况。这种分区下的运动补偿，称为树状结构运动补偿。每个分区或子块都有独立的运动补偿。宏块的色度成分为相应亮度的一半，采用和亮度块相同的分区方式，只是尺寸减半。如图2.1所示。16x1616x1616x1616x1616x16Type8x88x88x88x88x8 type Type图2.1 宏块及子宏块的划分第二种方法是亚像素运动矢量。H264标准中采用亮度1/4像素精度，色度1/8像素精度的运动矢量，这一技术进一步提高了运动估计的精确度。亚像素位置的亮度和色度像素在参考图像中并不存在，需要利用邻近整像素点进行内插获得。第三种方法是H264支持多图像运动补偿预测，也就是说，运动补偿可以参考多个已编码图像，如图2.2所示。=4=2=1图2.2 H.264的多参考帧当前帧多参考帧运动补偿预测，需要编码器和解码器在多图像缓存中存储像。解码器根据码流中的控制信息与编码器同步(复制编码器的多图像缓存)。除非多图像缓存的大小设置1，否则就必须要传送参考图像在缓存中的索引号。每一个运动补偿的16X16、16X8、8Xl6亮度块的参考索引参数都要发送。小于8X8的所有小区域使用该8X8块的参考索引。2.1.3 整数变换和量化与以往标准类似，H.264对预测残差进行变换编码。但H.264没有采用传统的离散余弦变换(DCT)，而是采用与离散余弦变换特性相似的整数变换，通常被称为整数DCT变换。传统DCT进行的是实数运算，解码时会不可避免的出现偏差，即图像漂移现象。H.264采用整数DCT变换，通过整数的加减和移位操作就能完成，所以反变换没有偏差，不会出现数据失配的问题。此外，H.264的变换编码基于4X4块，而不是以往常用的8X8块。因为用于变换块的尺寸缩小，运动物体的划分更精确。这样不但变换计算量比较小，而且在运动物体边缘处的衔接误差也大为减小。H.264中对变换系数的量化依据量化参数来进行，量化步长Qstep共有52个值。量化参数QP是量化步长的序号，QP值每增加1，代表量化步长增加12%。色度编码一般使用与亮度编码同样的量化步长，为避免在较高量化步长时出现颜色量化人工效应，最后的草案规定，亮度QP的最大值是51，色度QP的最大值是39。2.1.4 熵编码视频编码处理的最后一步就是嫡编码，在H.264中采用了两种不同的嫡编码方法:基于上下文的自适应可变长编码CAVLC和基于上下文的自适应二进制算术编码CABAC。CAVLC根据已编码语法元素的情况动态调整编码中使用的码表，并充分利用残差经过整数变换、量化后数据的特性进行压缩，取得了极高的压缩比。如果使用CABAC，嫡编码的效率将会有更大的提高。一方面，算术编码的应用允许给每一个字母符号指定非整数比特位，这样非常适合大于0.5的符号概率。另一方面，自适应编码的应用可以为非固定的符号统计提供适应性。与CAVLC相比，CABAC可以减少5%一10%的码率，对于隔行扫描视频，增益效果更加明显。但CABAC复杂度比较高，因此在H.264的基本应用中，通常采用CAVLC编码。2.1.5 H.264的分层设计H.264在系统层面上与以往标准有很大不同，它提出了一个新的概念，即提出两个概念性的编码层:视频编码层(VCL，VidooCodingLayer)和网络提取层(NAL，Netwo众AbstraetionLayer)。如图3所示。块宏块片面VCL层图 2.3 H.264的层次结构NAL层传输层NALU片H.320MP4FFH.323/IPMPEG-2Etc为了获得更高视频编码效率、更好的图像质量以及更强的网络适应性，H.264标准在设计上将速个编/解码系统分为视频编码层（VCL）和网络提取层（NAL）两层，VCL中包括VCL编码器与VCL解码器，主要功能是视频据压缩编码和解码，它包括运动补偿、变换编码、熵编码等压缩单元。NAL则用于为VCL提供一个与网络无关的统一接口，它负责对视频数据进行封装打包后使其在网络中传送，它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。VCL可以传输按当前的网络情况调整的编码参数。2.2 H.264的视频编码、解码2.2.1 H.264的视频编码器H.264的视频编码器的结构框图如图2.4所示，主要由编码器前向支路和编码器重构支路组成。Fn当前F|n-1参考F|n重构MEMC帧内预测选择帧内预测TQDn滤波帧内XQ-1T-1Dn图2.4 H2.64编码器帧间P重排序熵编码NAL第一部分为编码器前向支路。输入的视频序列包括大量的图像序列，而每一幅图像又被分成16xl6像素的宏块。编码时这些像素被组合成宏块片，片被作为独立的编码单元，他们在解码的时候不需要参考帧内其它的片。通过一个有效的时序安排，编码器可进行高效的平行处理。简要的编码过程:输入当前需编码帧Fn，该帧是由一组宏块(16Xl6的原始图像)表示，每个宏可用帧内或帧问模式来编码。基于重构帧得到预测帧P,在帧内模时，P由帧n中已经编码部分再解码重构所得(图中的UFn，注意到P是由未滤波的值组成);在帧间模式时，P由几个参考帧用运动补偿预测的方式得到。参考帧可以是己编码重构的前几帧或后几帧(时间顺序)。当前宏块减去预测块得到残差块Dn，然后将其进行变换量化得到一组变换系数X。这些系数被重排列和嫡编码。嫡编码系数和其他一些信息(宏块预测模式，量化步长，运动补偿，运动向量等)组成了压缩比特流。它将被送到网络提取层用来传输或存储。第二部分为编码器重构支路。量化后的宏块系数x被解码用来重构帧，以便进一步编码下面的宏块。系数x经过反量化，反变换得到残差宏块Dn、，由于量化过程带来了损失，Dn与Dn，并不相同。预测宏块P加到Dn上得到重构宏块uFn(原始宏块的失真块)。使用滤波器可以减少块失真的影响并由一系列宏块已。来产生重构参考帧。2.2.2 H.264的视频解码器H.264解码器结构框图，如图2.5所示。F|n-1参考F|n重构MCQ-1T-1XNAL滤波帧内预测帧内P帧间图2.5 H2.64解码器重排序熵编码H.264解码器从NAL中获得一个压缩比特流。数据元素经过嫡解码和重排序来获得一组量化系数X。在经过反量化和逆变换来获得Dn。(这与编码器中的Dn相同)。根据从比特流中解码获得的头信息，解码器产生一个预测宏块P，与编码器中的P相同。P和Dn相加得到UFn、然后再解码得到宏块Fn可见，编码器的重构路径的作用是保证编码器和解码器使用同样的参考帧来产生预测P。如果小是这样，预测P在编码器和解码器中就会不同，这将在编解码器之间引入误差和漂移。3 基于H264的视频传输抗误码技术的研究3.1 数字视频传输技术3.1.1 TCPIP协议在实际中，一般用到的网络传输协议是TCP/IP协议，TCP/IP分层模型有四层，由下至上分别是网络接口层、网络协议层(IP层)、传输层以及应用层。在这四层协议中，传输层建立在IP层之上，有两种协议，分别是TCP协议和UDP协议。TCP与UDP的主要差别为：(1)TCP协议是面向连接的。使用TCP协议交换数据前必须先建立通信主机之间的连接关系。在此连接之上传送TCP分组数据并维护此连接，用户数据传送完毕后要撤除连接。UDP协议是面向无连接的，每个UDP分组都是独立的数据单元；(2)在TCP传输中，高层数据可以以字节流的形式传送给TCP，字节流被TCP缓冲，直到累积到一定的长度时启动一次发送操作。而在UDP协议中，UDP传递给UDP的是对应于UDP数据的数据块，(3)TCP协议提供可靠传输服务，包括报文序列、流控制、差错检验、优先级等，而UDP则不提供以上控制，是不可靠的服务。在远程视频监控系统中，控制数据对可靠性要求非常高，故需要应用TCP协议，当检测到数据报丢失或错误时，就会要求发送端重新发送，通过数据重传来恢复丢失的组块并提供有序的数据帧。但TCP协议具有的错误重传机制、拥塞控制机制、报文头比较大、以及启动需要建立连接等原因，不可避免的引起了传输延时和占用网络的带宽，一旦数据丢帧就会带来比较严重的延迟，无法保证实时性，很难适应音视频通信，特别是连续的媒体流(如视频流)通信的要求，使得利用TCP协议进行视频或音频通信几乎没有可能。UDP是一种无连接的数据报投递服务，虽然没有TCP那么可靠，并且不能保证实时视音频传输业务的服务质量(Qos)，但由于UDP的传输延时低于TCP，所以往往用来在远程视频监控系统中传输视频图像数据。3.1.2 IP组播技术前面提到过，对于远程视频监控系统，视频数据的传输一般选用UDP网络通讯协议，而采用UDP的IP传送方式有单播传送、广播传送、组播传送三种方式。比较这三种方式，单播传送是一对一的传送，即每次传送的数据只能被一台主机接收。广播传送是一对多的传送，即广播的数据将同时传送到局域网内的所有主机。假如需要向n台主机发送相同的数据，如果采用单播传送的方式，则需要n次的点对点传送，这种传送方式的效率很低；而如果采用广播方式，数据会发送到局域网内的所有主机，这使得大量的主机收到与自己无关的数据，会造成主机资源和网络资源的浪费，这对本来数据量就很大的视频数据的传输来说尤其是很不合适的。IP组播虽然和广播一样也是一对多的传送方式，但接收端往往不是一个局域网内的所有主机，而是那些对收发数据报感兴趣的主机，传输端通过一次传输就可以将信息同时传送到一组接收者，因此，采用IP组播技术可以有地减轻网络负担，避免网络资源的浪费。此外，由IP组播技术一台主机可以同时加入一个或多个组播组的特点，可以实现监控中心同时对多个现场的监控。由此可见，利用IP组播技术可以很方便地实现“多点对多点”的传送功能，并且还可以实现广域网的通信，这比较符合视频监控系统多点、多机监控、跨局域范围的远程监控的要求。3.1.3 多媒体通信模型第一种类型为CS结构。客户机/服务器(Clinet/SerVer、简称C/S)体系结构是一种分布式的处理模式。服务器通常采用高性能的PC机、工作站或小型机，并采用如Oracle、Sybase、Informix或SQL Server等大型数据库系统。客户端需要安装专门的客户端软件。客户机和服务器之间通过网络协议进行通讯。首先，客户机向服务器发出数据请求，服务器将数据传送给客户机进行处理，客户机处理后将结构返回给服务器。C/S结构通常建立在专用的网络上，其突出的优点是能够充分发挥客户端PC机的处理能力，客户端响应速度比较快。由于C/S结构一般面向固定的用户群，因而对信息安全的控制能力比较强，适宜高度机密的信息系统。第二种类型为B/S结构。浏览器服务器(Browser/SerVer、简称B/S)体系结构是随着Intemet技术的发展，对C/S机构的一种变化和改进。它利用不断成熟的WWW浏览器技术，结合浏览器的多种Script语言和ActiveX技术，用通用浏览器实现了原来需要复杂的软件才能实现的强大功能。BS架构于广域网