第四章：信息率失真函数.ppt

,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第四章 信息率失真函数,胡君红,jhhu,信息率失真理论,连续信源的信息量无限大，不可能无失真地传送连续信源的信息。,现实生活中允许一定的失真存在。,信息率失真理论主要研究信息率与允许失真之间的关系。,连续信源的率失真理论是连续信源量化、压缩的理论基础。,I(X,;,Y),性质回顾,I,(,X,;,Y,),是,p,(,x,),和,p,(,y,/,x,),的二元函数,I,(,X,;,Y,),是,p,(,x,),的上凸函数,I,(,X,;,Y,),是,p,(,y,/,x,),的下凸函数,信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,4.1,基本概念,失真函数与平均失真度,信息率失真函数的定义,信息率失真函数的性质,信息率失真函数,失真函数与平均失真度,基本概念,失真函数,常用的失真函数,平均失真度,离散无记忆信道的,N,次扩展信道的平均失真,失真函数,基本概念,对任一,指定一个非负数,称 为单个符号的,失真度或失真函数,。,常用的失真函数,常用的失真函数,汉明失真函数,平方误差失真函数,基本概念,平均失真度,平均失真度,基本概念,保真度准则,N,次扩展信道的平均失真,基本概念,N,次扩展信道的平均失真,N,次扩展信道的平均失真,基本概念,失真函数与平均失真度,信息率失真函数的定义,信息率失真函数的性质,信息率失真函数,信息率失真函数的定义,试验信道,信息率失真函数,信息率失真函数和信道容量的区别,试验信道,当信源固定，单个符号失真度也给定时，选择信道使其满足保真度准则 。凡满足要求的信道称为,D,失真许可的试验信道，简称试验信道。,试验信道,对于离散无记忆信源的,N,次扩展信源和离散无记忆信道的,N,次扩展信道，其试验信道为：,信息率失真函数,对于离散无记忆信源的,N,次扩展信源和离散无记忆,信道的,N,次扩展信道：,信息率失真函数,在研究,R,(,D,),时，引用的条件概率,p,(,y,/,x,),并没有实际信道的含义。只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反映的仅是不同的有失真信源编码或信源压缩。所以改变试验信道求平均互信息的最小值，实质上是选择一种编码方式使信息传输率最小。,信道容量和信息率失真函数,R,(,D,),是在允许失真,D,和信源概率分布已给定的条件下，求平均互信息的极小值问题；,是在信道特性已知的条件下求平均互信息的极大值问题。,是假定信道固定的前提下，选择一种试验信源，使信息率最大，反映的是信道传输信息的能力，即信道可传送的最大信息率；,R,(,D,),是假定信源给定的情况下，在用户可以容忍的失真度内再现信源消息所必须获得的最小平均信息量，反映的是信源可压缩的程度。,研究信道是为了解决在已知信道中传送最大信息率问题，目的是充分利用已给信道，使传输的信息量最大而发生错误的概率任意小，这是信道编码问题；研究信息率失真函数是为了解决在已知信源和允许失真度,D,的条件下，使信源必须传送给信宿的信息率最小，即用尽可能少的码符号尽快地传送尽可能多的信源消息，以提高通信的有效性，这是信源编码问题。,基本概念,失真函数与平均失真度,信息率失真函数的定义,信息率失真函数的性质,信息率失真函数,信息率失真函数的性质,定义域：,R,(,D,),是,D,的下凸函数,R,(,D,),的单调递减性和连续性,R(D),的定义域,D,min,和,R,(,D,min,),D,max,和,R,(,D,max,),D,min,和,R(D,min,),D,max,和,R(D,max,),D,max,和,R(D,max,),假定所有,D,j,中，,D,s,最小，令,R(D),的定义域,R,(,D,),的定义域为,(,D,min,，,D,max,),D,min,=0,时，,R,(,D,min,)=,H,(,X,),D,D,max,时，,R,(,D,)=0,D,min,D,R,(,D,)0,R(D),对允许平均失真度的下凸性,R,(,D,),是允许平均失真度,D,的下凸函数,R(D),对允许平均失真度的下凸性,R(D),对允许平均失真度的下凸性,R(D),对允许平均失真度的下凸性,定义新试验信道：,R(D),对允许平均失真度的下凸性,由,I,(,X,;,Y,),对,p,(,y,j,/,x,i,),的下凸性,：,率失真函数的单调递减和连续性,D,H(x),R(D),信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,离散信源的信息率失真函数,二元信源的,R(D),函数,等概率离散信源的,R(D),函数,二元信源的,R(D),函数,二元信源,信宿,。失真矩阵为：,二元信源的,R(D),函数,(1),求 ，：,满足该最小失真的试验信道的信道矩阵为：,二元信源的,R(D),函数,(2),求 ，：,达到最大允许失真度的试验信道为：,二元信源的,R(D),函数,选取任一信道使,(3),求一般情况下 时的,，平均互信息为：,二元信源的,R(D),函数,为此，必须找到一个试验信道，使,根据费诺不等式，当,n,=2,时有：,所以：,且,二元信源的,R(D),函数,引进一个“反向”的试验信道：,计算可以得到：,即所设的反向试验信道是存在的。,二元信源的,R(D),函数,在所设试验信道的条件下：,二元信源的,R(D),函数,在该试验信道中：,即所,选择,的试验信道正是满足,，,而平均互信息达到最小值的信道。,综上所述，在汉明失真测度下二元信源的,R(D),为：,离散信源的信息率失真函数,二元信源的,R(D),函数,等概率离散信源的,R(D),函数,等概率离散信源的,R(D),函数,信源,，,信宿,失真函数为汉明失真函数，即：,等概率离散信源的,R(D),函数,经过计算，可以得到：,R(D),的定义域为：,等概率离散信源的,R(D),函数,选取任一信道使,，平均互信息为：,为此，必须找到一个试验信道，使,根据费诺不等式有：,所以：,且,等概率离散信源的,R(D),函数,引进一个“反向”的试验信道：,计算可以得到：,即所设的反向试验信道是存在的。,等概率离散信源的,R(D),函数,在所设试验信道的条件下：,等概率离散信源的,R(D),函数,在该试验信道中：,即所,选择,的试验信道正是满足,，,而平均互信息达到最小值的信道。,综上所述，在汉明失真测度下,n,元对称信源的,R(D),为：,信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,连续信源的信息率失真函数,连续信源信息率失真函数的参量表达式,高斯信源的信息率失真函数,信息率失真函数与信息价值,连续信源信息率失真函数的参量表达式,定义：,定义,P,D,为满足保真度准则 的试验信道集合,Inf,:,下确界,连续信源信息率失真函数的参量表达式,高斯信源的信息率失真函数,高斯信源的信息率失真函数,(,条件方差,),高斯信源的信息率失真函数,根据詹森不等式：,高斯信源的信息率失真函数,高斯信源的信息率失真函数,0.0,0.2,0.4,0.6,0.8,1.0,D,/,2,R(D),当,D,2,时，,R(D),0,。,即：,如果允许失真等于信源的方差，则只需用均值,m,来表示信源输出，而不需要传送信源的任何实际输出。,当,D,0,时，,R(D),。,即：,在连续信源情况下，要毫无失真地传送连续信源必须要求信道具有无限大的容量。,当,D,0.25,2,时,R(D)=1,。即：,允许均方误差小于或等于,2,/4,时，连续信号的每个样本值最少需要用一个二元符号来传输。,1.2,1.4,0.2,0.4,0.6,0.8,1.0,1.2,高斯信源在均方误差准则下的,R(D),函数,信息率失真函数与信息价值,平均损失,例：合格品,x,1,，,废品,x,2,，,生产过程抽象成信源,把,检验过程看作信道，检验结果即为信道输出。,信息率失真函数与信息价值,y1,：,检验合格,y2,：,检验不合格,合格品报废：,废品出厂：,信息率失真函数与信息价值,1,、不经检验全部出厂：,2,、不经检验全部报废,：,信息率失真函数与信息价值,3,、检验完全正确,：,信息率失真函数与信息价值,4,、检验不十分可靠,：,比,最大损失减少了：,0.99-0.199=0.791,元,信息率失真函数与信息价值,信息率失真函数与信息价值,定义：,信息率,R,的价值为：,价值率：,信息率失真函数,4.1,基本概念,4.2,离散信源的信息率失真函数,4.3,连续信源的信息率失真函数,4.4,保真度准则下的信源编码定理,保真度准则下的信源编码定理,香农第三定理,设一离散平稳无记忆信源,X,=(,X,1,X,2,X,L,),，若该信源,的信息率失真函数为,R,(,D,),，并选定有限的失真函数。,对于任意允许平均失真度,D0,和任意小的,0,，当,信息率,R,R,(,D,),，只要信源序列长度,L,足够长，一定存,在一种编码方式,C,，使译码后的平均失真度,反之，若,R,R,(,D,),，则无论用什么编码方式，必有,保真度准则下的信源编码定理,香农第三定理,是一个存在性定理，没有给出如何寻找最佳压缩编码方法。在实际应用中，存在两大类问题：,符合实际信源的,R,(,D,),函数的计算相当困难。,需要对实际信源的统计特性有确切的数学描述,需要对符合主客观实际的失真给予正确的度量,即便对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，率失真函数,R,(,D,),的计算也较困难,即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值,R,(,D,),。,定理说明，在允许失真,D,的条件下，信源最小的、可达的信息传输率失信源的,R,(,D,),。,当信源给定后，无失真信源压缩的极限值是信源熵,H,(,X,),；而有失真信源压缩的极限值是信息率失真函数,R,(,D,),。在给定某,D,后，一般有,R,(,D,),H,(,X,),。,香农三大定理的关系和比较,无失真信源编码定理,限失真信源编码定理,信源冗余度压缩编码,信源的熵压缩编码,无失真、保熵,有失真、熵压缩,信源压缩的极限值：,信源熵,H(S),信源压缩的极限值：,率失真函数,R(D),存在性,存在性定理,香农三大定理的关系和比较,信道编码定理,限失真信源编码定理,给定信道特性,p,(,y,|,x,),给定信源,p,(,x,),及失真测度,d,(,x,y,),对于假设的信源,p,(,x,),对于假设的试验信道,p,(,y,|,x,),寻求最优的信道编码,C,2,寻求最优的限失真编码,C,3,产生的误码率,p,e,产生的最大失真,D,信道编码存在的条件,R,C,限失真信源编码存在的条件,R,R,(,D,),信道容量公式,率失真函数公式,存在符合条件的,C,2,使,p,e,0,存在符合条件的,C,3,，,使,D,D,思考题,某信源,X,的熵为,H,(,X,),，规定失真函数，选定允许失真度,D,，,求得信息率失真函数,R,(,D,),。根据限失真信源编码定理，总,可以找到一种压缩编码方法，使其平均失真度,且其输出信息率为,R,。,R,和,R,(,D,),的关系为（）。当,信道容量,C,和,R,满足（）时，根据抗干扰信道编码定,理，总能找到一种信道编码，使其平均错误译码概率无限,地接近于,0,，在接收端再现信源消息时，总的失真不会超,过允许失真度,D,。即在（）情况下，通过信,源编码、信道编码，总能使通信达到既有效、又可靠，实,现通信系统的最优化。,