有关信息率失真函数的基本概念.ppt

,单击此处编辑母版标题,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,4,章,信息率失真函数,2026/10/4,1,信息率失真函数,主要内容：,限失真信源编码定理,信息率失真函数,保真度准则下的信源编码定理,教学基本要求：,掌握率失真函数的定义、性质、计算,掌握保真度准则下的信源编码定理,重点和难点：,率失真函数,(,离散信源，连续信源,),的计算,保真度准则下的信源编码定理,2026/10/4,2,本章主要内容,4,.,1,基本概念,4,.,2,离散无记忆信源,R(D),的计算,4.3,连续无记忆信源的,R(D),的计算,2026/10/4,3,理论上“消息完全无失真传送”的可实现性,信道编码定理：无论何种信道，只要,H(X)=,信息速率,R=C,则传输必失真。,实际上“消息完全无失真传送”的不可实现性,要做到无失真信源编码，要求,H(X)RC,；实际的信源常常是连续信源，连续信源的绝对熵无穷大,要求,信息率,R,也无限大,，要无失真传送，也就要求,信道容量,C,必须为无穷大,。,而,实际信道带宽是有限的,，所以,信道容量受限制,。因此无法满足无失真传输的条件，因此传输质量必然受影响。,2026/10/4,4,有些失真没有必要完全消除（限失真信源编码）,实际生活中，人们一般并不要求获得完全无失真的消息，通常只要求近似地再现原始消息，即允许一定的失真存在。,打 ，即使语音信号有一些失真，接 的人也能听懂。,放电影：理论上需要无穷多幅静态画面，由于人眼的视觉暂留性，实际上只需要每秒放映24幅静态画面。,信息率失真理论信息率失真函数,香农定义了信息率失真函数R(D),定理指出：,在允许一定失真度D的情况下，信源输出的信息率可以压缩到R(D).,2026/10/4,5,信息率失真函数极小值问题,I(X;Y),是,P,（,X,）和,P,（,Y/X,）的二元函数。,在讨论信道容量时：,固定,P,（,Y/X,）,I(X;Y),是,P,（,X,）的函数。离散情况下，,I(X;Y),是 的,上凸函数,，因此必有,I(X;Y),的极大值。,在讨论信息速率时：,固定,I(X;Y),是 的,下凸函数,，因此必有,I(X;Y),的极小值。,但是若,X,和,Y,统计独立，即这样极小值就变成,0,，此时极小值就没有意义了。,引入一个失真函数,R(D),，计算在失真度,D,一定的情况下，信息率,R,的极小值,2026/10/4,6,平方误差失真函数或均方失真函数,实际的信源常常是连续信源，连续信源的绝对熵无穷大,要求信息率R也无限大，要无失真传送，也就要求信道容量C必须为无穷大。,对于连续信源，因为绝对熵为无穷大，所以当D=0时，相当于无噪信道，此时,信息率失真函数的基本性质,=D,平均失真：平均失真为失真函数的数学期望。,描述失真度大小和信息速率关系的定理称为：保真度准则下的信源编码定理，也叫信息率失真理论。,3 连续无记忆信源的R(D)的计算,反之，若RC,平均失真,只能表示两个特定的具体符号 之间的失真。,平均失真,：平均失真为,失真函数的数学期望,。可以表示信道平均传输每个符号所引起的失真的大小，是从总体上对整个系统失真情况的描述。,它是信源统计特性，信道统计特性和失真度的函数，当以上三个量 给定后，平均失真度就不再是一个随机量了，而变成一个确定的量。,人们所允许的失真都是,平均意义上的失真,。,2026/10/4,17,平均失真,单符号离散无记忆信源,的平均失真,N,次扩展信源,的平均失真（传输每条消息引起的平均失真）,2026/10/4,18,所以，,N,次扩展信源的平均失真为（前提为：无记忆信源）,说明：,离散无记忆信源的,N,次扩展信源通过,N,次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的,N,倍,2026/10/4,19,连续信源的平均失真,因为离散信源的平均失真：,2026/10/4,20,信息率失真函数,定义：给定信源和失真函数，要使信源的平均失真,(D,为给定的失真上限,),，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的,信息速率达到最小,，这个最小的信息速率称为信息率失真函数，记作,R(D),。,信息率失真函数示意图,2026/10/4,21,单符号离散无记忆信源的信息率失真函数,其中,2026/10/4,22,单符号离散无记忆信源的,N,次扩展信源的信息率失真函数,2026/10/4,23,信息率失真函数的基本性质,率失真函数的定义域,(0,D,max,),1,、,当平均失真,D=0,时，率失真函数,R(D)=R(0)=H(X),说明,，没有失真时，信源的全部信息量,H(X),都将传入信道。,对于连续信源,，因为绝对熵为无穷大，所以当,D=0,时，相当于无噪信道，此时,H(X)=,而实际信道传输容量有限，所以要实现连续信源的无失真传送是不可能的，只有允许一定的失真，使,R(D),变为有限值，传送才有可能,2026/10/4,24,2,、,当,D=D,max,时，,R(D,max,)=0,。,分析：失真值,D,越大，,R(D),越小，,D,大到一定程度，,R(D)=0,现在将所有满足,R(D)=0,中,D,的最小值，定义为,R(D),定义域的上限,D,max,。,即,故：,R(D),的定义域为（,0,，,Dmax,）,2026/10/4,25,相当于求,D,j,的最小数学期望,若,D,s,是所有,D,j,中最小的一个，则取,p(y,s,)=1,，其它,p(y,j,)=0,此时,D,j,的数学期望必然最小,2026/10/4,26,例：已知二元信源,解：（,1,）,求,D,max,2026/10/4,27,2026/10/4,28,（,1,）,2026/10/4,29,例：已知二元信源,解：（,2,）,求,D,min,2026/10/4,30,(2),已知：,分析：,达到,D,min,时，即平均失真最小。需使每输入一个符号，选取失真矩阵该行的最小失真元素，令该位置对应的输出概率最大（取,1,），该行其它转移输出概率均为,0,，此时得到平均失真才为最小。,所以：,R(D,min,)=R(0)=H(X),2026/10/4,31,二、,R(D),是定义域,(0,D,max,),上的严格单调递减连续下凸函数,2026/10/4,32,保真度准则下的信源编码定理,设一离散平稳无记忆信源的信息率失真函数为,R(D),，当实际信息率,RR(D),时,只要信源序列长度足够长，一定存在一种编码方式，使得译码后的平均失真度,=D,反之，若,R=D,。,（因为,R(D),是允许失真,D,准则下的最小信息速率，,实际速率比,R(D),还小的话，则译码失真度必然大于允许失真度）,2026/10/4,33,Thank You!,2026/10/4,34,