DVIP04 信源编码和率失真理论.ppt

,单击此处编辑母版标题样式,*,北京邮电大学信息与通信工程学院多媒体技术中心门爱东,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,D,igital,V,ideo and,I,mage,P,rocessing,信源编码和率失真,Men Aidong,Multimedia Telecommunication Centre,BUPT,第,04,章 源编码和率失真理论,Source Code and Rate-Distortion Theory,门爱东教授,menad,内容提要,Outline,信源编码定理,信源压缩方法,图像冗余,率失真理论,无记忆信源的率失真理论,有记忆信源的率失真理论,2,信源,编码,信源,信道,编码,调制,信道,解调,噪声,干扰,信道,解码,信源,解码,信宿,二进制符号,用二进制符号流表示信源,适应传输信道的特性,数字传输系统,3,信源的原始信号绝大多数是模拟信号，因此，信源编码的第一个任务是模拟和数字的变换，即：,A/D,、,D/A,。,取,样,频,率取决于原始信号的带宽：,f,c,=2,w,，,w,为信号带宽,取,样点的比特数,决定编解码后的信号质量：,SNR,6,L(dB),，,L,为量化位数,但是，由于传输信道带宽的限制，又由于原始信源的信号具有很强的相关性，则信源编码不是简单的,A/D,、,D/A,，,而是要进行压缩。为通信传输而进行,的,信源编码，主要是,压缩编码,。,信源编码要考虑的因素：,信源的统计特性。,传输信道引入的损伤，如误码。,信宿,的质量要求。,数字传输系统概述,4,信源编码定理：,对于给定的失真率,D,，,总可以找到一种信源编码方法，只要信源速率,R,大于,率失真,R(D),，,就可以在平均失真任意接近,D,的条件下实现波形重建。,说明1：,R(D),称为率失真函数，它是单调非增函数，速率越高，平均失真越小。,说明,2,：为了保证在一定速率下的失真，必需采用信源编码，因而会引入编码延时。,信道编码定理：,如果信源速率,R,小于信道容量,C,，,总可以找到一种信道编码方法，使得信源信息可以,在有噪声信道上进行无差错传输，即：,R,C,，,无差错传输条件。,说明1：信道容量,C,是根据仙侬定理得到,的,C,W,log,2,(1+S/N),说明,2,：为了保证无差错传输，必需采用信道编码，因而会引入编码延时。,数字传输系统信源和信道编码,5,信息传输定理：,将信源编码定理和信道编码定理综合，就得到信息传输定理。,即：,为保证无差错传输及失真度，必需满足：,R(D)RC,，即,C,R(D),。,说明1：,在一般数字通信系统中，信源编码和信道编码可以分开考虑。,信道编码定理给出无差错的速率上限,RC,，否则产生误码,；,信源编码定理给出无失真的速率下限,R(D)R,(,D,),，只要信源序列长度足够长，一定存在一种编码方式，其解码失真,D+,，,为任意小的正数。,逆定理：,当码率,R,D,max,时，,R,（,D,）,=0,。即,D,max,为所有满足,R(D)=0,的,D,中最小值，即,选择几个,b,k,，使其失真,d,k,最小者即为,D,max,。,D,max,H(X),D,R(D),0,38,率失真函数的性质：定义域,D,max,的计算,R,(,D,),0,就是,I,(,X,;,Y,),0,，这时编码器的,输入与输出是互相独立的,，所以条件概率,Q(b,k,|a,j,),与,a,j,无关。即,此时平均失真为,求出满足条件 的,D,中的最小值，即,39,率失真函数的性质：定义域,从上式观察可得：在,k=1,2,3,n,中，可找到使,值最小的,k,，当该,k,对应的,Q(b,k,)=1,，而其余,Q(b,k,),为零时，上式右边达到最小，这时上式可简化成,40,例题：,设输入输出符号表为,X=Y 0,1,，输入概率分布为,失真矩阵为,则当,D,min,=0,时，,比特,/,符号，这时信源编码器无失真，所以该编码器的条件概率为,率失真函数的性质：定义域,41,当,R(D,max,)=0,时，,此时输出符号概率,所以这时的编码器的条件概率为,率失真函数的性质：定义域,对应,k,=2,，此时,Q(b,2,)=1,其他,Q(b,k,),为,0,42,率失真函数的性质：函数值,在定义域,D,min,DD,max,内，,R,(,D,),是,正的、连续的下凸函数（单调递减）。,容许的失真度越大，所要求的码率越小。,反之亦然。,H(X),：,信源的熵,R(0),：,刚刚察觉质量失真时的码率,D,R(D),D,max,H(X),R(0)H(X),D,R(D),0,43,无记忆高斯信源的率失真函数,信源：,0,均值、方差为,2,的高斯分布,失真函数（平方误差）：,d(x,y,)=(x-y),2,失真限制（均方误差）：,E(X-Y),2,D,方法：,找到互信息,I(X;Y),的下界,证明该下界是可以实现的,互信息：,微分熵：,44,无记忆高斯信源的率失真函数,最小化互信息,I(X;Y),h(X,),h(X,-Y),可最大化,h(X,-Y),当,(X-Y),为高斯分布时，熵最大。,而失真限制为,E(X-Y),2,D,所以当,h(X,-Y),是,方差为,D,的高斯分布,的微分熵时，下界为,上述下界：,Y,为,0,均值、方差为,2,-D,的高斯分布，且,方差相同时，高斯分布的熵最大,45,高斯信源,非高斯信源,无记忆高斯信源的率失真函数,当,D,2,时，,Y=0,，则,I(X;Y)=0,且,E(X-Y),2,=,2,D,所以无记忆高斯信源的率失真函数为,对于具有相同方差,2,的非高斯信源的,R(D),通常位于这个,R(D),曲线之下。,(,因为在一定功率下，高斯分布信源的熵最大）,无记忆高斯信源代表了最不利于编码的情况，,因为绝大多数图象既不是高斯分布，也不是不相关的象素。,也就是说，对于非高斯分布和相关的信源，在同样的失真度下，所需要的比特率低于上述值。,斜率为,6dB/bit,的直线，码字长度每增加,1,位，,SNR,增加,6dB,。,46,有记忆高斯信源的,R(D),函数,图象中相邻象素间的相关系数可由图象的自相关函数确定，也可以由它的,功率谱（自相关函数的傅立叶变换）确定,。,虽然相关的高斯信源的率失真函数不能表示成一个最终的表达式，但失真度和数据率都可表示成另一个参数,的函数。,具有功率谱,uu,(w,),的联合高斯信源,均方误差失真,D=E(X-Y),2,R(D),函数的参数公式,具有相同功率谱密度的非高斯信源的,R(D),通常更低,。,当,取遍整个范围，这两公式就确定了率失真函数。,47,视频信号的率失真函数,信号模型：高斯,pdf,信源，其自相关函数按指数递减,:,功率谱密度,相邻象素间的相关系数,48,视频信号的率失真函数,均方误差失真,D=E(X-Y),2,在较大比特率时它的率失真,SNR,曲线就落在了不相关曲线下方,2.3bit,的位置，,就是说，可以利用相邻象素之间的相关性将比特率降低,2bit/,象素。但率失真理论没有指出如何实现这个结果。,49,小结：率失真理论,码率和失真是一对矛盾体,率失真函数,R(D),：在允许一定失真,D,的情况下，所需的最少码率。,率失真函数计算：计算互信息的下界，且该下界可实现,Shannon,下界（,Shannon lower bound,SLB,）,：,假定失真和重建信号之间统计独立,50,小结,：,率失真理论,无记忆高斯信源的,R(D*),和,MSE,：,6dB/bit,对于有记忆非高斯信源,，在同样的失真度下，所需要的比特率低于无记忆高斯信源,。,在视频信号中利用谱冗余可以获得的理论增益：,2.3bit/,样值。,率失真理论没有给出达到理论比特率下限的方法，但指明了方向：在给定信号允许失真度的条件下，为了减少视频传输的比特率，应尽量减少传输信号的方差，下面要介绍的有损编码就是据此对原始视频信号进行适当处理，使其方差减少，达到压缩编码的目的。,51,谢谢！,menad,