第五章离散信源的限失真信源编码.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五章 离散信源的限失真信源编码,5.1,引言,信息率失真理论的基本概念：在允许传输消息出现一定的失真条件下，传输该消息所需的信息率,(,最小值,),将会比不允许失真时小，并且允许的失真度越大，则信息率,(,最小值,),允许减小的程度就越大,5,.2,失真函数和信息率失真函数,一,.,失真函数,设离散信源的符号集合,X,a,1,，,a,2,，,，,a,N,，且各个符号都在信道上传输；信宿收到的符号集合,Y,b,1,，,b,2,，,，,b,N,若,X,和,Y,消息符号集合相同，即,X,Y,a,1,，,a,2,a,N,当信源发出符号,X,a,i,，而信宿收到符号,Y,a,j,时，失真函数,d(,x,i,y,j,),为：,d(,x,i,y,j,),d(,x,y,)|,x,a,i,y,a,j,简化起见，,d(,x,i,y,j,),简写成,d,ij,i,j,时，,x,和,y,的消息符号都是,a,i,，收发之间没有失真，,d,ij,0,ij,时，发出符号,a,i,，收到,a,j,，传输时出现失真，,d,ij,0,一般,d,ij,值的大小表示失真的程度，表征了接收消息,y,j,与发送消息,x,i,之间的定量失真度,d,ij,0 i,j,0,ij,若,X,和,Y,集合都由,N,个不同符号构成的，那么可组成,N,2,个不同的,(,i,j,),对，相对应的失真函数也有,N,2,个,d,ij,表示方法有两种，一是失真矩阵,D,，二是消息传输图,例：已知,X,Y,a,1,，,a,2,，且有,d,11,d,22,0,，,d,12,d,21,1,，用两种方法表示失真函数,解：失真矩阵,D,为：,消息传输图为：,为了估计全体信源发出的消息符号与接收符号之间的失真程度,需要计算各个失真函数的统计平均值,(,数学期望,),。平均失真函数定义为：,若,X,和,Y,都是,n,维矢量消息的集合，也可以定义两个矢量消息之间的失真函数为：,其平均失真函数为：,该式中 是,n,维矢量的第,r,个分量上的平均失真函数,二,信息率失真函数,当给定信源的各符号概率分布时，若要求平均失真函数不超过某个给定的值,D(,即,D,为允许失真度,),，这就需要对假想的试验信道的传输概率,P(,y,j,|,x,i,),施加一定的限制,先把,P(,y,j,|,x,i,),集合的各种可能值代入式,求出各个 ，再根据 ，把,P(,y,j,|,x,i,),分成两类,的一类用,P,D,表示，,P,D,是能使实际失真在允许失真度范围内的那些假想试验信道的,P(,y,j,|,x,i,),的一类称为禁用集合,例：设信源具有一百个以等概率出现的符号,a,1,，,a,2,，,，,a,99,，,a,100,，并以每秒发出一个符号的速率从信源输出试求在允许失真度,D,0.1,条件下，传输这些消息所需要的最小信息率,解：在不失真传输条件下的信息率,R,为：,因为允许失真度,D,0.1,，可设想信源,100,个符号经过假想的试验信道只输出,a,1,，,a,2,，,，,a,89,，,a,90,，即输出,90,个符号，而余下的,a,91,，,，,a,100,都用,a,90,代替,失真矩阵,D,为：,bit/s,除,a,1,，,a,2,，,，,a,89,，,a,90,对应位置上的元素为,0,外，其余元素为,1,或，假想试验信道传输概率,P(,y,j,|,x,i,),为零时，所对应的,d,ij,为无限大,这个失真信源的组合方案的平均失真函数为：上式中,X,1,Y,1,a,1,，,a,2,，,，,a,89,，,a,90,，属于不失真的符号集合，对应,d,ij,0,，其中,i,j,1,，,2,，,，,90,X,2,a,91,，,，,a,100,，,Y,2,a,90,，属于失真集合，对应,d,ij,1,，其中,i,91,，,9,2,，,，,100,，,j,90,据题意，,P(,x,i,),1/100,，,i,1,，,2,，,，,100,所以，有：,可见，这样设想的失真信源的组合方案能满足对失真度的要求,在试验信道的输出端，,a,1,，,a,2,，,，,a,89,的出现概率仍为,1/100,而,a,90,的出现概率,P(a,90,),11/100,所以，相应的信息率为：,比较,R,与,R,可知在,D,0.1,的条件下，信息率可减小，减小了,6.644,6.264,0.38 bit/s,同理，在,D,0.5,的条件下,(,假定,50,个符号产生失真,),信息率,R,”,为：,信息率可减小,6.644,3.751,2.893 bit/s,bit/s,bit/s,信息率失真函数,R(D),定义为：,在给定信源消息的概率分布,P(,x,i,),及平均失真函数允许值,D,的条件下，传输这些信源消息，并使失真程度在允许范围内时，所需要的信息率的最小值,，其定义式为：,R(D),又称作率失真函数,信息率失真函数与信道容量的关系：,信源与信道的对偶关系反映在信息率失真函数与信道容量之间的对偶关系。信道容量,C,是给定信道传输概率集合（或信道矩阵）的条件下，信道所允许的最大信息传输速率。也就是说，信道容量,C,是在给定传输特性的条件下，平均互信息量,I,（,X,；,Y,）在信源消息概率矢量上的一个极大值。信息率失真函数,R,（,D,）是在给定信源消息概率分布的条件下，,I,（,X,；,Y,）在试验信道的信道传输概率矢量,P(,y,j,|,x,i,),上一个极小值,三,.,限失真信源编码定理,(,香农第三定理,),限失真信源的信息率用,R(D),描述，所采用的信道的信道容量为,C,时，若,CR(D),时，则限失真信源的有效性编码存在；反之，若,C,D,max,也有,R(D),0,X,和,Y,相互独立的条件下，对各个,x,i,，有,P(,y,j,|,x,i,),P(,y,j,),，这时平均失真函数可写成：,因为当,D,D,max,时，有,R(D),0,所以，,D,max,应在满足,I(X,；,Y),0,的条件下，取,Y,集合中所有 值中的最小值，故定义,D,max,为：,例：已知信源的消息集合,X,中包含,x,0,和,x,1,两个消息，并设它们的概率为,P(,X,1,),p,1/2,，,P(,X,2,),1,p,，,而信宿符号集合,Y,也包含两个符号,y,0,和,y,1,，失真矩阵为 ，试求,D,max,解：接收符号,y,0,的平均失真函数 为：,接收符号,y,1,的平均失真函数 为：,因为,p,1/2,所以,3.,在,(0,，,D,max,),范围内，,R(D),是,D,上的凹函数,4.R(D),是,D,上的单调递减的连续函数,