信息率失真函数.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,大家好,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,普通高等教育“十五”国家级规划教材信息论与编码 曹雪虹等编著,*,第,4,章信息率失真函数,本章主要讨论在信源允许,一定失真,情况下所需的,最少,信息率，从分析失真函数、平均失真出发，求出信息率失真函数,R(D),主要内容,4.1,平均失真和信息率失真函数,4.2,离散信源和连续信源的,R(D),的计算,1,大家好,4.1,平均失真和信息率失真函数,4.1.1,失真函数,4.1.2,平均失真,4.1.3,信息率失真函数,R(D),4.1.4,信息率失真函数的性质,2,大家好,4.1.1,失真函数,假如某一信源,X,，输出样值为,x,i,，,x,i,a,1,a,n,经过有失真的信源编码器，输出,Y,，样值为,y,j,，,y,j,b,1,b,m,。如果,x,i,y,j,，则认为没有失真；如果,x,i,y,j,，那么就产生了失真。失真的大小，用一个量来表示，即失真函数,d,(,x,i,，,y,j,),，以衡量用,y,j,代替,x,i,所引起的失真程度。一般失真函数定义为,3,大家好,失真矩阵,单个符号的失真度的全体构成的矩阵 ，称为失真矩阵,4,大家好,Example,设信源符号序列为,X=0,1,，接收端受到符号序列为,Y=0,1,2,，如前面介绍的二元删除信道，规定失真函数为：,其失真矩阵为,5,大家好,均方失真：,相对失真：,误码失真：,绝对失真：,前三种失真函数适用于连续信源，后一种适用于离散信源。,最常用的失真函数,6,大家好,推广到,序列,编码,如果假定离散信源输出符号序列,X,=(,X,1,X,2,X,l,X,L,),，其中,L,长符号序列样值,x,i,(,x,i,1,x,i,2,x,il,x,i,L,),，经信源编码后，输出符号序列,Y,=(,Y,1,Y,2,Y,l,Y,L,),，其中,L,长符号序列样值,y,j,(,y,j,1,y,j,2,y,jl,y,j,L,),，则失真函数定义为：,其中,d,(,x,il,，,y,jl,),是信源输出,L,长符号样值,x,i,中的第,l,个符号,x,il,时，编码输出,L,长符号样值,y,j,中的第,l,个符号,y,jl,的失真函数。,序列失真函数,7,大家好,平均失真,x,i,和,y,j,都是随机变量，失真函数,d,(,x,i,，,y,j,),也是随机变量,限失真时的失真值，只能用它的数学期望或统计平均值，因此将失真函数的数学期望称为,平均失真,，记为,8,大家好,平均失真,对于连续随机变量同样可以定义平均失真,对于,L,长序列编码情况，平均失真为,9,大家好,4.1.3,信息率失真函数,R(D),信源编码器,X,Y,假想信道,将信源编码器看作信道,10,大家好,4.1.3,信息率失真函数,R(D),信源编码器的目的,使编码后所需的信息传输率,R,尽量小,R,越小，引起的平均失真就越大,给出一个失真的限制值,D,，在满足平均失真,D,的条件下，选择一种编码方法使信息率,R,尽可能小。,信息率,R,就是所需输出的有关信源,X,的信息量。,将此问题对应到信道，,接收端,Y,需要获得的有关,X,的信息量，也就是互信息,I,(,X,;,Y,),。,这样，选择信源编码方法的问题就变成了选择假想信道的问题，符号转移概率,p,(,y,j,/,x,i,),就对应信道转移概率。,11,大家好,1,、,D,允许试验信道,平均失真由信源分布,p,(,x,i,),、假想信道的转移概率,p,(,y,j,/,x,i,),和失真函数,d,(,x,i,，,y,j,),决定，若,p,(,x,i,)和,d,(,x,i,，,y,j,),已定，则可给出满足,x,下式条件的所有转移概率分布,p,ij,，它们构成了一个信道集合,P,D,称为,D,允许试验信道,。,12,大家好,2,、,信息率失真函数,R(D),互信息取决于信源分布和信道转移概率分布,当,p,(,x,i,),一定时，互信息,I,是关于,p,(,y,j,/,x,i,),的,U,型凸函数，存在极小值。,在上述允许信道,P,D,中，可以寻找一种信道,p,ij,，使给定的信源,p,(,x,i,),经过此信道传输后，互信息,I,(,X,；,Y,),达到最小。,该最小的互信息就称为信息率失真函数,R(D),，即,13,大家好,对于离散无记忆信源，,R(D),函数可写成,p,(,a,i,),，,i,1,，,2,，,，,n,是信源符号概率分布；,p,(,b,j,/,a,i,),，,i,1,，,2,，,，,n,，,j,1,，,2,，,，,m,是转移概率分布；,p,(,b,j,),，,j,1,，,2,，,，,m,是接收端收到符号概率分布。,14,大家好,例,4-1-3,设信源的符号表为,A,a,1,，,a,2,，,，,a,2n,，概率分布为,p,(,a,i,),1/2n,，,i,1,，,2,，,，,2n,，失真函数规定为,即符号不发生差错时失真为,0,，一旦出错，失真为,1,，试研究在一定编码条件下信息压缩的程度。,15,大家好,4.14,信息率失真函数的性质,R(D),函数的定义域,Dmin,和,R(Dmin),Dmin,0,对于连续信源,16,大家好,(2)D,max,和,R(D,max,),选择所有满足,R(D),0,中,D,的最小值，定义为,R(D),定义域的上限,D,max,，即,因此可以得到,R(D),的定义域为,17,大家好,D,max,是这样来计算的。,R(D),0,就是,I,(,X,;,Y,),0,，这时试验信道,输入与输出是互相独立,的，所以条件概率,p,(,y,j,/,x,i,),与,x,i,无关。即,18,大家好,求出满足条件 的,D,中的最小值,，即,此时平均失真为,19,大家好,从上式观察可得：在,j=1,，,，,m,中，可找到 值最小的,j,，当该,j,对应的,p,j,1,，,而其余,p,j,为零时，上式右边达到最小，这时上式可简化成,20,大家好,例,4-1-4,设输入输出符号表为,X,Y,0,，,1,，输入概率分布,p,(,x,)=1/3,，,2/3,，失真矩阵为,21,大家好,解：,当,D,min,0,时，,R(D,min,),H(,X,),H(1/3,，,2/3),0.91,比特,/,符号，这时信源编码器无失真，,所以该编码器的转移概率为,22,大家好,当,R(D,max,),0,时,此时输出符号概率,p,(b,1,),0,，,p,(b,2,),1,，,所以这时的编码器的转移概率为,23,大家好,2,、,R(D),函数的下凸性和连续性,3,、,R(D),函数的单调递减性,容许的失真度越大，所要求的信息率越小。反之亦然。,24,大家好,结论：,R(D),是非负的实数，即,R(D),0,。,定义域为,0,Dmax,，其值为,0,H(,X,),。,当,DDmax,时，,R(D),0,。,R(D),是关于,D,的下凸函数，因而也是关于,D,的连续函数。,R(D),是关于,D,的严格递减函数。,25,大家好,对一般,R(D),曲线的形态可以画出来：,R(D),H(X),R(D),0 D D,max,D,R(D),0 D,max,D,信息率失真曲线,26,大家好,4.2,离散信源和连续信源的,R(D),计算,某些特殊情况下,R,（,D,）的表示式为：,（,1,）当,d,(,x,y,)=(,x,-,y,),2,，时,，,27,大家好,(2),当,d,(,x,y,)=|,x,-,y,|,，时,，,(3),当,d,(,x,y,)=,(,x,y,),，,p,(,x,=0)=p,，,p,(,x,=1)=1-p,时，,R(D)=H(,p,),H(D),28,大家好,这些,R,（,D,）可画成三条曲线,0 D,max,D,R(D),H,(3),(1),(2),图,4-5,信息率失真函数,R(D),29,大家好,例,4-2-1,设输入输出符号表为,X,Y,0,，,1,，输入概率分布,p,(,x,)=(,p,，,1-,p,),，,0,p,1/2,，失真矩阵为,求信息率失真函数,R(D),。,30,大家好,0.1 0.2 0.3 0.4 0.5,D,1.0,0.8,0.6,0.4,0.2,0.0,R(D)/bit,p,=0.5,p,=0.3,p,=0.2,p,=0.1,图,4,6 R(D)=H(,p,),H(D),，,p,为参数,31,大家好,本章小结,失真函数,平均失真,信息率失真函数,R(D),的定义,R(D),的性质,定义域,值域,下凸性,连续性,单调性,32,大家好,结束,大家好,