听觉系统的感知特性(P132).ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,第九章,MPEG,声音,听觉系统的感知特性（,P132）,9.1.1.对响度的感知,9.1.2.对音高的感知,9.1.3.掩蔽效应,第九章,MPEG,声音,MPEGAudio,与感知特性（,P136）,心理声学模型,(其余内容不作为考试范围）,第十章,MPEG,电视,Mpeg-1;Mpeg-2,均采用图像块单元，进行变换、量化、移动补偿等处理,电视图像的数据率（,P154）,ITU-R BT.601,标准数据率,VCD,电视图象数据率的估算,DVD,电视图象数据率的估算,第十章,MPEG,电视,数据压缩算法（10.2）,电视图象压缩利用的各种冗余信息（,P156,表）,MPEG,专家组定义的三种图象：帧内图象,I(intra)，,预测图象,P(predicted),和双向预测图象,B(bidirectionally,interpolated)，,典型的排列如图10-01所示（,P156）,第十章,MPEG,电视,帧内图象,I(intra),帧内图象,I,不参照任何过去的或者将来的其他图象帧，压缩编码采用类似,JPEG,压缩算法，它的框图如图10-02所示。,如果电视图象是用,RGB,空间表示的，则首先把它转换成,YCrCb,空间表示的图象。每个图象平面分成88的图块，对每个图块进行离散余弦变换,DCT(Discrete Cosine Transform)。DCT,变换后经过量化的交流分量系数按照,Zig-zag,的形状排序，然后再使用无损压缩技术进行编码。,DCT,变换后经过量化的直流分量系数用差分脉冲编码,DPCM(Differential Pulse Code Modulation)，,交流分量系数用行程长度编码,RLE(run-length encoding)，,然后再用霍夫曼(,Huffman),编码或者用算术编码。,第十章,MPEG,电视,图10-02,第十章,MPEG,电视,预测图象,P,的压缩编码算法,预测图象的编码也是以图象宏块(,macroblock,),为基本编码单元，一个宏块定义为,IJ,象素的图象块，一般取1616。预测图象,P,使用两种类型的参数来表示：一种参数是当前要编码的图象宏块与参考图象的宏块之间的,差值,，另一种参数是宏块的移动矢量,要使预测图象更精度，就要求找到与参考宏块,MRJ,最佳匹配的预测图象编码宏块,MPI,。所谓最佳匹配是指这两个宏块之间的差值最小。,第十章,MPEG,电视,假设编码图象宏块,M,PI,是参考图象宏块,M,RJ,的最佳匹配块，它们的差值就是这两个宏块中相应象素值之差。对所求得的差值进行彩色空间转换，并作4:1:1的子采样得到,Y，Cr,和,Cb,分量值，然后仿照,JPEG,压缩算法对差值进行编码，计算出的移动矢量也要进行霍夫曼编码,。,第十章,MPEG,电视,10-04,第十章,MPEG,电视,双向预测图象,B,的压缩编码算法,10.2.5,电视图象的结构,MPEG,编码器算法允许选择,I,图象的频率和位置。,I,图象的频率是指每秒钟出现,I,图象的次数，位置是指时间方向上帧所在的位置。一般情况下，,I,图象的频率为,2,。,MPEG,编码器也允许在一对,I,图象或者,P,图象之间选择,B,图象的数目。,I,图象、,P,图象和,B,图象数目的选择依据主要是根节目的内容。例如，对于快速运动的图象，,I,图象的频率可以选择高一些，,B,图象的数目可以选择少一点；对于满速运动的图象,I,图象的频率可以低一点，而,B,图象的数目可以选择多一点。此外，在实际应用中还要考虑媒体的速率。,一个典型的,I,、,P,、,B,图象安排如图所示。编码参数为：帧内图象,I,的距离为,N=15,，预测图象,(P),的距离为,M=3,。,10.3 MPEG-2,的配置和等级,在,MPEG-2,标准化阶段，考虑到要适应不同数据速率设备的应用，,MPEG,专家组定义了三种质量不同的编码方式：信噪比可变性,(SNR/Signal-to-Noise Scalability),，空间分辨率可变性,(Spatial Scalability),和时间分辨率可变性,(Temporal Scalability),。,信噪比可变性,SNR(Signal,-to-Noise scalability),是指图象质量的折中，对于数据率比较低的解码器使用比较低的信噪比，而对数据率比较高的解码器则使用比较高的信噪比；,空间分辨率可变性,(Spatial scalability),是指图象的空间分辨率的折中，对于低速率的接受器使用比较低的图象分辨率，而对于数据率比较高的接受器使用比较高的图象分辨率；,时间分辨率可变性,(Temporal Scalability),是指图象在时间方向上分辨率的折中，与空间分辨率类似。,MPEG-2,为此引入了“配置,(Profiles)”,和参数“等级,(Levels),的概念。每种配置定义一套新的算法，而每一个等级指定一套参数范围,(,如图象大小、帧速率和位速率,),。,10.4 MPEG-4,电视图象编码,MPEG Video,专家组建立了一个用来开发图象和电视图象编码技术的模型，叫做“试验模型,(Test Model)”,或者叫做“验证模型,(VMVerification Model)”,。这个模型描述了一个核心的编码算法平台，包括编码器、解码器以及位流,(,bitstream,),的语法和语义,.,10.4.1,电视图象对象区的概念,MPEG-4 Video,编码算法支持由,MPEG-1,和,MPEG-2,提供的所有功能，包括对各种输入格式下的标准矩形图象、帧速率、位速率和隔行扫描图象源的支持。,MPEG-4 Video,算法的核心是支持内容基,(content-based),的编码和解码功能，也就是对场景中使用分割算法抽取的单独的物理对象进行编码和解码。,MPEG-4 Video,还提供管理这些电视内容的最基本方法。,为了实现预想的内容基交互等功能，,MPEG-4 Video,验证模型引进了一个叫做“电视图象对象区,(VOPVideo Object Plane)”,的概念。,MPEG-4 Video,验证模型不像,MPEG-1/-2 Video,那样把电视图象都认为是一个矩形区，而是假设每帧图象被分割成许多任意形状的图象区，每个区都有可能覆盖描述场景中感兴趣的物理对象或者内容，这种区被定义为图象对象区,VOP,。,编码器输入的是任意形状的图象区，图象区的形状和位置也可随帧的变化而改变。属于相同物理对象的连续的电视图象对象区,(VOP),组成电视图象对象,(VO,V,ideo,O,bjects),。,MPEG-4,可单独对属于相同电视图象对象,(VO),的电视图象区,(VOP),的形状、移动,(motion),和纹理,(texture),信息进编码和传送，或者把它们编码成一个单独的电视图象对象层,(VOL,V,ideo,O,bject,L,ayer),。,此外，需要标识每个电视图象对象层,(VOL),的信息也包含在编码后的位流,(,bitstream,),中，这些信息包括各种电视图象对象层,(VOL),的电视图象在接收端应该如何进行组合，以便重构完整的原始图象序列。这样就可以对每个电视图象对象区,(VOP),进行单独解码，提供了管理电视图象序列的灵活性。,10.4.2,电视图象编码方案,MPEG-4 Video,验证模型对每个电视图象对象,(VO),的形状、移动和纹理信息进行编码形成单独的,VOL,层，以便能够单独对电视图象对象,(VO),进行解码。,如果输入图象序列只包含标准的矩形图象，就不需要形状编码，在这种情况下，,MPEG-4 Video,使用的编码算法结构也就与,MPEG-1,和,MPEG-2,使用的算法结构相同。,MPEG-4 Video,验证模型对每个电视图象对象区,(VOP),进行编码使用的压缩算法是在,MPEG-1,和,MPEG-2 Video,标准的基础上开发的，它也是以图象块为基础的混合,DPCM,和变换编码技术,(hybrid DPCM/Transform coding),。,MPEG-4,编码算法也定义了帧内电视图象对象区,I-,VOP(Intra,-Frame VOP),编码方式和帧间电视图象对象区预测,P-,VOP(Inter,-frame VOP prediction),编码方式，它也支持双向预测电视图象对象区,B-VOP(B-directionally predicted VOP),方式。在对电视图象对象区,(VOP),的形状编码之后，颜色图象序列分割成宏块进行编码,.,图描绘了,MPEG-4 Video,的编码算法，用来对矩形和任意形状的输入图象序列进行编码。这个基本编码算法结构图包含了移动矢量,(motion vector),的编码，以及以离散余弦变换为基础的纹理编码。,10.4.3,电视图象分辨率可变编码,“电视图象分辨率”是指电视图象空间分辨率,(spatial resolution),和时间分辨率,(temporal resolution),。空间分辨率是指一帧图象包含的行数与每行显示的象素数之乘积，而时间分辨率是指每秒种显示或者传输的图象帧数。设置电视图象分辨率可变编码功能的一个重要目的是为了能够灵活支持性能不同,(,例如不同带宽,),的各种电视接收或显示设备，或者支持要求浏览电视数据库等方面的应用。另一个目的是提供分层次的电视图象数据位流，这样可按应用所要求的先后次序进行传输。,MPEG-2,也有电视图象分辨率可变编码功能，但它是以图象的帧为基础进行编码。而,MPEG-4,电视图象分辨率可变编码是以任意形状的电视图象对象区,(VOP),为基础进行编码。对那些没有能力或者不愿意接收高分辨率图象的接收器，它可以接收分辨率比较低的电视图象，降低空间分辨率或者时间分辨率意味降低图象的质量。,空间分辨率可变性,(Spatial Scalability),和时间分辨率可变性,(Temporal Scalability),的实现方法类似。图描述了多种分辨率电视图象编码,(,multiscale,video coding),方案。该方案提供三个层次的编码,/,解码，每一层都支持在不同空间分辨率下进行编码,/,解码。从图中可以看到，多种空间分辨率的实现是通过降低输入电视信号的采样率来获得的。,10.5 HDTV,格式,现在我们使用的电视格式再加上新制定的电视格式归纳在图,10-16,中。美国把,1280720,格式称为高级电视,ATV(,a,dvanced,t,ele,v,ision),，把,19201035,称为高清晰度电视,HDTV(,h,igh,d,efinition,t,ele,v,ision),。,1995,年,11,月,28,日美国高级电视委员会,ATSC(Advanced Television Systems Committee),向,FCC,咨询委员会,(FCC Advisory Committee),提交了数字电视标准,(Digital Television Standard),，并推荐作为高级电视广播标准。,电视图象压缩以,MPEG-2 Video,标准为基础，采样基本型配置,(Main Profile),，等级从基本级（,Main Level),到高级,(High Level),。声音压缩以,AC-3,系统为基础，采样频率为,48kHz,，支持,5,个环绕声和,1,个超低频声道。该规格是,1996,年介绍的，由于近年来,MPEG,电视和声音标准的研究已有新的进展，因此该规格有可能在实行过程中会作修改。,电视图象数据压缩的依据是什么？,MPEG-1,编码器输出的电视图象的数据率大约是多少？,MPEG,专家组在制定,MPEG-1/-2 Video,标准时定义了哪几种图象？哪种图象的压缩率最高？哪种图象的压缩率最低？,有人认为“图象压缩比越高越好”。你对这种说法有何看法？,有人说“,MPEG-1,编码器的压缩比大约是,200:1”,。这种说法对不对？为什么？,说明电视规格,MPML,和,HPHL,各自的含义。,电视图象的空间分辨率和时间分辨率是什么意思？,