第4章_信息率失真函数.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,4,章 信息率失真函数,4.1,基本概念,4.1.1,失真函数与,平均失真度,4.1.2,信息率失真函数,4.1.3,信息率失真函数的性质,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,1,无失真信道传输问题,无失真信源编码定理和有噪信道编码定理,无论无噪信道还是有噪信道，只要信息传输率,R,小于信道容量,C,，,总可以找到一种编码方法，使得编码后的信息传输率,R,可以任意接近信道容量,C,（,即,R,C,），,且信道产生的错误译码概率任意小。反之，如果,R,C,，,在任何信道上都不可能实现错误译码概率任意小的无失真的传输，或者说，要实现错误译码概率任意小，在任何信道上传输都必然产生失真。,问题,：,信道传输是否能无失真？是否需要完全无失真？,2,传送每秒,25,帧的图像就能满足人类通过视觉感知信息的要求，而不必占用更大的信息传输率；,人类的听觉对大多数人只能听到几千赫兹到十几千赫兹，对于经过专业训练的音乐家，一般也不过听到,20kHz,的声音。,结论：,实际应用要求在保证一定质量前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下允许信源输出存在一定的失真。,信道传输允许一定失真,3,实际通信系统的例子,在实际的通信系统中，信道容量有限，要求对信源进行压缩，如,GSM,通信：,收话器,采样,压缩,编码,无线,基站,4,本章讨论的问题,需要解决的问题,：,对于给定的信源（即给定信源熵,H(X),），,在允许的失真条件下，信源熵所能压缩的极限（即信息率失真函数,R(D),）,理论值是多少？,信息率失真理论是研究信源熵的压缩问题，采用研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。,信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。,5,第,4,章 信息率失真函数,4.1,基本概念,4.1.1,失真函数,与平均失真度,4.1.2,信息率失真函数,4.1.3,信息率失真函数的性质,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,6,失真测度,-,失真函数,7,失真函数举例,4.1.1,8,失真函数举例,4.1.2,9,失真函数举例,(,续）,特点：当,i=,j,X,与,Y,取值一样，表示没有误差，失真度为,0,，,i j,时，失真一样，为常数,a,。,当,a=1,时，失真函数称为汉明失真函数。,失真函数举例,4.1.3,：平方误差失真函数,特点：一般用于表示由幅度变化引起的失真，幅度失真越大，引起的错误越严重，严重的程度用平方表示。多用于连续信源。,10,失真函数的定义推广到矢量传输,11,，,失真函数举例,4.1.4,12,失真函数举例,2-,续,类似可以得到其它元素数值，矢量失真矩阵为,13,第,4,章 信息率失真函数,4.1,基本概念,4.1.1,失真函数与,平均失真度,4.1.2,信息率失真函数,4.1.3,信息率失真函数的性质,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,14,平均失真,15,平均失真定义,16,平均失真定义,-,矢量传输,17,第,4,章 信息率失真函数,4.1,基本概念,4.1.1,失真函数与平均失真度,4.1.2,信息率失真函数,4.1.3,信息率失真函数的性质,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,18,D,失真许可信道,(,试验信道,),19,信息率失真函数的定义,20,信息率失真函数,R(D),的意义,21,第,4,章 信息率失真函数,4.1,基本概念,4.1.1,失真函数与平均失真度,4.1.2,信息率失真函数,4.1.3,信息率失真函数的性质,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,22,信息率失真函数,R(D),的性质,R(D),的定义域,R(D),是关于,D,的下凸函数,R(D),在区间,(0,D,max,),上是严格递减函数,23,1.R(D),的定义域,24,R(D),的定义域,(,续,),25,R(D),的定义域,-,上限定义方法,26,R(D),的定义域例子,27,2.R(D),是关于,D,的下凸函数,28,3.R(D),在区间,(0,D,max,),上是严格递减函数,29,R(D),三点结论（三个性质）,30,离散信源信息率失真函数,R(D),的一般曲线,31,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.2.1,离散信源信息率失真函数的参量表达式,4.2.2,二元及等概离散信源的信息率失真函数,4.2.3,信息率失真函数的性质,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,32,信息率失真函数,R(D),对于离散信源来说，求信息率失真函数,R(D),与求信道容量,C,类似，是一个在有约束条件下求平均互信息极值的问题，只是约束条件不同。,C,是求平均互信息的条件极大值 而,R(D),是求平均互信息的条件极小值。,33,信息率失真函数的计算,已知信源的概率分布,p(x),和失真函数,d(x,y),，,就可以确定信源的信息率失真函数,R(D),，,它是在约束条件，即保真度准则下，求极小值问题。,一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。,34,R(D),参量表示法求解,35,R(D),参量表示法求解,-,续,36,R(D),参量表示法求解,-,续,37,R(D),参量表示法求解,-,续,38,R(D),参量表示法求解,-,续,R(D),D,S(D),39,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.2.1,离散信源信息率失真函数的参量表达式,4.2.2,二元,及等概,离散信源的信息率失真函数,4.2.3,信息率失真函数的性质,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,40,二元对称信源的信息率失真函数,R(D),41,（略）二元对称信源的,R(D)-,续,1,42,（略）二元对称信源的,R(D)-,续,2,43,（略）二元对称信源的,R(D)-,续,3,44,（略）二元对称信源的,R(D)-,续,4,45,二元离散信源的信息,率失真函数曲线,不同,p,值对应的二元信息率失真函数,46,二元离散信源的信息率失真函数曲线分析,从,R(D),的曲线可以看出，对于不同,p,值可以得到一组,R(D),的曲线。,对于给定的平均失真度,D,信源分布越均匀（,p,值接近,1/2,），,R(D),就越大，即可压缩性越小；,信源分布越不均匀，,R(D),就越小，即可压缩性越大。,47,等概离散信源的信息率失真函数,48,等概离散信源的信息,率失真函数曲线,不同,n,值对应的等概离散信源信息率失真函数,R(D),D,0 0.2 0.4 0.6 0.8 1.0,3,2,1,n=8,n=4,n=2,49,等概离散信源的信息率失真函数分析,上式中第一项是等概率信源的熵，即无失真传送信源所必须的信息率，后两项则是由于容忍一定失真可以压缩的信息率。,对于同一失真度,D,，,n,越大，,R(D),越大，压缩率（可能性）越小；反之，,对于同一失真度,D,，,n,越小，,R(D),越小，压缩率（可能性）越大。,当,n=2,，,=1,时，,R(D)=H(p)-H(D)=,ln,n,-H(D),如果信源的符号数目为,n,，,那么在满足保真度准则下，符号数越多，信源的可压缩性越小；反之，符号数越少，信源的可压缩性越大。,50,小结,提出失真测度的概念，定义了失真函数,d(x,i,y,i,),、,和平均失真度，给出了保真度准则。,给出了信息率失真函数,R(D),，,并分析了,R(D),的性质，画出了,R(D),曲线。,率失真函数一旦找到，就与求极值过程中选择的试验信道不再有关，而只是信源特性的参量。不同的信源其,R(D),是不同的。,给出了二进制对称信源和,n,进制对称信源等概率分布时的信息率失真函数,R(D),，,并分析了其意义。,51,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.3.1,连续信源信息率失真函数,的参量表达式,4.3.2,高斯信源的信息率失真函数,4.3.3,信息率失真函数与信息价值,4.3.4,信道容量与信息率失真函数的比较,4.4,保真度准则下的信源编码定理,52,连续信源的信息率失真函数,一般情况下，信息在传输过程中必然会存在一定的噪声和干扰，使得信源的消息在传输过程中存在一定的误差和失真。对于连续信源，在传输过程中总会有波形失真，连续信源的信息率失真理论就是在一定意义上定量分析信号的失真程度。,本节主要讨论连续信源的信息率失真函数，连续信源的率失真理论与离散信源情况基本相同。,53,平均失真度定义,定义,：,设连续信源（随机变量）,X,其概率密度为,p,X,(x,),设另一变量,Y,，且,X,和,Y,之间失真函数是某一非负的二元函数,d(x,y),则,平均失真度定义为,54,连续信源的信息率失真函数相关定义,55,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.3.1,连续信源信息率失真函数的参量表达式,4.3.2,高斯信源的信息率失真函数,4.3.3,信息率失真函数与信息价值,4.3.4,信道容量与信息率失真函数的比较,4.4,保真度准则下的信源编码定理,56,连续信源的信息率失真函数推导,57,连续信源的信息率失真函数求法,有两种方法可求（略）：,1.,应用拉格朗日算子，与离散的算法类似。,2.,用反向信道。,其结果是,58,R(D),函数曲线,连续信源的信息率失真函数曲线,59,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.3.1,连续信源信息率失真函数的参量表达式,4.3.2,高斯信源的信息率失真函数,4.3.3,信息率失真函数与信息价值,4.3.4,信道容量与信息率失真函数的比较,4.4,保真度准则下的信源编码定理,60,信道容量与率失真函数的比较（对偶问题）,平均互信息的上凸性,-,信道容量；,信道容量,C,一旦求出以后，就只与信道转移概率分布（密度）有关，反映信道特性，与信源特性无关；,研究信道容量是为了解决通信的可靠性问题，是信息传输的理论基础，通过信道编码增加信息的冗余度来实现。,平均互信息的下凸性,-,信息率失真函数。,信息率失真函数一旦求出后，就只与信源概率分布（密度）有关，反映信源特性，与信道特性无关。,信息率失真函数则是为了解决通信的有效性问题，是信源压缩的理论基础，通过信源编码减少信息的冗余度来实现。,61,第,4,章 信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,62,限失真信源编码定理,63,