第四章-信道率失真函数后续习题课.ppt

第四章 信息,率失真函数,*,Department of Communication China,Ji,Liang,University,*,4.1 平均失真和信息率失真函数,4.2 离散信源和连续信源的,R(D),计算,信息率失真函数,4.1.1 失真函数,4.1.2 平均失真,4.1.3 信息率失真函数,R(D),4.1.4 信息率失真函数的性质,4.1 平均失真和信息率失真函数,“消息完全无失真传送”的可实现性,信道编码定理,：无论何种信道，只要信息率,R,小于信道容量,C,，,总能找到一种编码，使在信道上能以任意小的错误概率和任意接近于,C,的传输率来传送信息。反之，若,R,C,，,则传输总要失真。,4.1.1 失真函数,完全无失真传送不可实现,：,实际的信源常常是连续的，信息率无限大，要无失真传送要求信息率,R,为无穷大；,实际信道带宽是有限的，所以信道容量受限制。要想无失真传输，所需的信息率大大超过信道容量,R,C,。,4.1.1 失真函数,实际中允许一定程度的失真,实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。,例如打电话：即使语音信号有一些失真，接电话的人也能听懂。人耳接收信号的带宽和分辨率是有限的。,放电影：理论上需要无穷多幅静态画面，由于人眼的“视觉暂留性”，实际上只要每秒放映24幅静态画面。,随着科学技术的发展，数字系统应用得越来越广泛，这就需要传送、存储和处理大量的数据。为了提高传输和处理效率，往往需要对数据压缩，这样也会带来一定的信息损失。,4.1.1 失真函数,问题：,在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？,香农信息率失真理论指出：,在允许一定失真度,D,的情况下，信源输出的信息率可压缩到,R,(,D,)。,R,(,D,),是定义的信息率失真函数。,为了描述失真度,D，,我们先来引入失真函数。,4.1.1 失真函数,定义失真函数：,信源编码器,输入,X,a,1,a,2,a,i,a,n,输出,Y,b,1,b,2,b,j,b,m,称,d,(,x,i,y,j,),为,单个符号的,失真函数。表示信源发出一个符号,x,i,，,在接收端再现,y,j,所引起的误差或失真。,4.1.1 失真函数,失真矩阵,失真度还可表示成矩阵的形式,称,d,为失真矩阵。它是,n,m,阶矩阵,。,如例题：41,4.1.1 失真函数,信源符号,X,取自0，1,编码器输出符号取自0,1,2,规定失真函数为：,d(0,0)=d(1,1)=0,d(0,1)=d(1,0)=1，d(0,2)=d(1,2)=0.5,则失真矩阵为：,失真函数是根据人们的实际需要和失真引起的损失、风险、主观感觉上的差别大小等因素,人为规定的,。,4.1.1 失真函数,4.1.2 平均失真,平均失真定义,d,(,x,i,y,j,),只能表示两个特定的具体符号,x,i,和,y,j,之间的失真。,平均失真,：平均失真为失真函数的数学期望，,4.1.2 平均失真,平均失真的意义,是在平均意义上，从总体上对整个系统失真情况的描述。它是信源统计特性,p,(,x,i,),、,信道统计特性,p,(,y,j,/,x,i,),和失真度,d,(,x,i,y,j,),的函数。当,p,(,x,i,)，,p,(,y,j,/,x,i,),和,d,(,x,i,y,j,),给定后，平均失真度就不是一个随机变量了，而是一个确定的量。,如果信源和失真度一定，就只是信道统计特性的函数。信道传递概率不同，平均失真度随之改变。,保真度准则,人们所允许的失真指的都是平均意义上的失真。,保真度准则,：规定平均失真度 不能超过某一限定的值,D,，,即 ，则,D,就是允许失真的上界。该式称为保真度准则。,4.1.2 平均失真,4.1.3 信息率失真函数,R(D),信源编码器,输入,X,x,1,x,2,x,i,x,n,输出,Y,y,1,y,2,y,j,y,m,假想信道,图42 将信源编码器看作信道,这样就可以用分析信道传输的方法来研究限失真信源编码问题。,4.1.3 信息率失真函数,R(D),对于信息容量为,C,的信道传输信息传输率为,R,的信源时，如果,RC,就必须对信源压缩，使其压缩后信息传输率小于,C,，,但同时要保证压缩所引入的失真不超过预先规定的限度,D,，,所以信息压缩问题就是对于给定的信源，在满足保真度准则 下，使其,R,值尽可能小。,R,值就是所需要输出的有关信源,X,的信息量，对应到信道，即为接收端,Y,需要获得的有关,X,的信息量，亦是互信息,I（X；Y）。,这样就将,选择信源编码方法的问题,转化为,选择假想信道的问题,，符号转移概率,p,(,y,j,/x,i,),对应信道转移概率。,4.1.3 信息率失真函数,R(D),试验信道,平均失真 是信源统计特性,p,(,x,i,),、,信道统计特性,p,(,y,j,/,x,i,),和失真度,d,(,x,i,y,j,),的函数。当,p,(,x,i,),和,d,(,x,i,y,j,),给定后，则可以求出满足保真度准则 下的所有转移概率分布,p,ij,，,构成一个信道集合,P,D,，,那么,P,D,称为,D,允许试验信道。,4.1.3 信息率失真函数,R(D),信息率失真函数,在信源和失真度给定以后，,P,D,是满足保真度准则 的试验信道集合，平均互信息,I,(,X,;,Y,),是信道传递概率,p,(,y,j,/,x,i,),的下凸函数，所以在,P,D,中一定可以找到某个试验信道，使,I,(,X,;,Y,),达到最小，即,这个最小值,R,(,D,),称为信息率失真函数,，简称,率失真函数,。,对无记忆离散信源，有：,4.1.3 信息率失真函数,R(D),应当注意：,在研究,R(D),时，我们引用的条件概率 并没有实际信道的含义，只是为了求平均互信息的最小值而引用的、假想的可变试验信道。实际上这些信道反应的仅是不同的有失真信源编码，或称信源压缩。,4.1.3 信息率失真函数,R(D),例如：,司令员发布命令：“请各部队官兵做好武器、弹药和行装等方面的准备，于今日晚上十一时准时向对面山上的敌军发动进攻，希望各部队做好思想政治工作，一定要取得这次战役的全面胜利。”,通信兵：“今晚十一点发动进攻，必夺胜利。”,结果是：取得了胜利。,说明：信源所需输出信息率是可以压缩的。,4.1.3 信息率失真函数,R(D),例题42：,4.1.3 信息率失真函数,R(D),1.,R(D),的定义域(,D,的取值范围),（1）,因为,D,是非负函数,d(x,y),的数学期望，因此,D,也是非负函数，其下界为0。此时，意味着不允许失真，所以信道的信息率等于信源的熵，即,4.1.4 信息率失真函数的性质,（2）平均失真,D,也有一上界值 。根据,R(D),的定义，,R(D),是在一定的约束条件下，平均互信息量,I(X;Y),的最小值，其下界为0。,R(D),和,D,的关系曲线一般如下图所示。当,D,大到一定程度，,R(D),就达到其下界0，我们定义这时的,D,为 。,4.1.3 信息率失真函数,R(D),的计算,：,设当平均失真 时，,R(D),以达到其下界0。当允许,更大失真时，即 时，,R(D),仍只能继续是0。因为当,X,和,Y,统计独立时，平均互信息,I(X;Y)=0，,可见当 时，,信源,X,和接收符号,Y,已经统计独立了，,因此 与,x,i,无关。,4.1.3 信息率失真函数,R(D),因此，就是在,R(D)=0,的条件下，看在什么,分布下，能够得到的平均失真,D,的最小值，即,4.1.3 信息率失真函数,R(D),也就是说要求,d(y),的数学期望最小值。,这个最小值是一定存在的。比如 这样分布：当某一个 使得,d(,y,j,),为最小时，就取 ，而其余的 ，此时求得的,d(y),的数学期望一定是最小的。此时，有,例题43,：,设输入输出符号表为,X=Y=0,1，,输入概率分布为 ，失真矩阵为,4.1.3 信息率失真函数,R(D),求 ，。,解：,4.1.3 信息率失真函数,R(D),4.1.3 信息率失真函数,R(D),例题44,输入输出符号表同上题，失真矩阵为,求 ，。,解,：,4.1.4 信息率失真函数的性质,结 论,R,(,D,),的定义域为,(,D,min,D,max,),；,一般情况下,D,min,=0，,R,(,D,min,)=,H,(,X,),；,当,D,D,max,时，,R,(,D,)=0,；,当,D,min,D,D,max,时，,0,R,(,D,),H,(,X,),。,2,.,R(D),的下凸性和连续性,（1）率失真函数对允许平均失真度的下凸性,对任一,0,1,和任意平均失真度,D,，,D,D,max,，,有,R,D,+(1,),D,R,(,D,)+(1,),R,(,D,),4.1.4 信息率失真函数的性质,（2）,率失真函数的连续型,由于函数,R,(,D,),具有凸状性，保证了它在定义域内是连续的。,R(D),的单调递减性,在,D,min,D,D,max,范围内,R,(,D,),单调递减,。,允许的失真越大，所要求的信息率就可以越小。根据,R(D),的定义，他是在平均失真度小于或等于允许失真度,D,的所有试验信道集合,P,D,中，取,I(X;Y),的最小值。,当允许失真,D,扩大，则,P,D,的集合也扩大，当然仍然包含原来满足条件的所有信道。这是在扩大了的,P,D,集合中找,I(X;Y),的最小值，显然或者是最小值不变，或者是变小了，所以,R(D),是非增的。,4.1.4 信息率失真函数的性质,4.1.4 信息率失真函数的性质,图说明：,R,(0),=,H,(,X,)=,H,(,P,),，,R,(,D,max,),=0，,决定了曲线边缘上的两个点；,在0和,D,max,之间，,R,(,D,),是单,调递减的下凸函数；,在连续信源时，当,D,0,时，,R,(,D,),，,曲线将不与,R,(,D,),轴相交。,给定信源概率,p(xi),和失真函数,d(x,y)，,就 可以求出该信源的,R(D),函数。它是在约束 条件下，即保真度准则下,，,求极小值的问题。,求解的一般方法有变分法、拉氏乘子法、凸规划方法等等。,几种特殊情况下的,R(D),4.2 离散信源和连续信源的,R(D),计算,4.2 离散信源和连续信源的,R(D),计算,4.2 离散信源和连续信源的,R(D),计算,限失真，,D0.1,时，压缩比,1）信源概率分布越不均匀，压缩比越大；,2),D,越大，压缩比也越大。,4.2 离散信源和连续信源的,R(D),计算,定理：,对任一连续非正态信源，若已知其方差为 ，,熵为 ，并规定失真函数为 ，则其,R(D),满足下列不等式：,可见，在平均功率,2,受限条件下，正态分布,R(D),函数值最大，它是其他一切分布的上限值，也是信源压缩比中最小的。所以人们往往将它作为连续信源压缩比中最保守的估计值。,4.2 离散信源和连续信源的,R(D),计算,分析,PCM,编码及其压缩潜力,:,现有,PCM,编码是8,KHz,采样率，8位编码，8*8=64,Kb/s，,它认为,样点间独立,，且每个样点8,bit,，,这时信噪比可达到入公用网26,dB,的要求，在语音编码中信噪比是 ,其中,D,为噪声（允许失真）功率，由正态分布的信息率失真函数的公式：,实际语音的,R(D),值要小于4.3,bit,，,因为语音不遵从正态分布。考虑样点间相关性。,4.2 离散信源和连续信源的,R(D),计算,作业：,p75 4.1,本章总结,问题：,在允许一定程度的失真条件下，信源信息能够压缩到何种程度？至少需要多少比特的信息率才能描述信源？,香农信息率失真理论指出：,在允许一定失真度,D,的情况下，信源输出的信息率可压缩到,R,(,D,)。,本章总结,定义失真函数：,本章总结,失真矩阵,失真度还可表示成矩阵的形式,称,d,为失真矩阵。它是,n,m,阶矩阵,。,本章总结,本章总结,平均失真定义：,平均失真为失真函数的数学期望，,保真度准则,人们所允许的失真指的都是平均意义上的失真。,规定平均失真度 不能超过某一限定的值,D,，,即 ，则,D,就是允许失真的上界。该式称为保真度准则。,本章总结,信源编码器,输入,X,x,1,x,2,x,i,x,n,输出,Y,y,1,y,2,y,j,y,m,假想信道,图42 将信源编码器看作信道,这样就可以用分析信道传输的方法来研究限失真信源编码问题。,本章总结,试验信道,平均失真 是信源统计特性,p,(,x,i,),、,信道统计特性,p,(,y,j,/,x,i,),和失真度,d,(,x,i,y,j,),的函数。当,p,(,x,i,),和,d,(,x,i,y,j,),给定后，则可以求出满足保真度准则 下的所有转移概率分布,p,ij,，,构成一个信道集合,P,D,，,那么,P,D,称为,D,允许试验信道。,本章总结,结 论,R,(,D,),的定义域为,(,D,min,D,max,),；,一般情况下,D,min,=0，,R,(,D,min,)=,H,(,X,),；,当,D,D,max,时，,R,(,D,)=0,；,当,D,min,D,D,max,时，,0,R,(,D,),H,(,X,),。,本章总结,R(D),的下凸性和连续性,（1）率失真函数对允许平均失真度的下凸性,对任一,0,1,和任意平均失真度,D,，,D,D,max,，,有,R,D,+(1,),D,R,(,D,)+(1,),R,(,D,),（2）,率失真函数的连续型,由于函数,R,(,D,),具有凸状性，保证了它在定义域内是连续的。,R(D),的单调递减性,在,D,min,D,D,max,范围内,R,(,D,),单调递减,。,本章总结,本章总结,习 题,4。2,解:,习 题,