资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。感谢您,信息率失真函数,第,4,章,第1页,1,4.1,平均失真和信息率失真函数,4.2,离散信源和连续信源R(D)计算,内容,第2页,2,重点与难点,重点,：失真函数、平均失真、信息率失真函数R(D)、信息率失真函数计算。,难点,：信息率失真函数R(D)、信息率失真函数计算。,第3页,3,第2章所讲信源熵，是针对不失真情况。而在实际信息处理过程中，往往允许有一定失真，比如连续信源发出消息，因为其可能取值有没有限各种，信源熵无穷大，要想传输这么信息，必须经过A/D转换，这就引发量化失真。,引 言,第4页,4,人们视觉和听觉都允许有一定失真，电影和电视就是利用了人视觉残留，使人没有发觉影片是由一张张画面快速连接起来。耳朵频率响应也是有限，在一些实际场所中只需保留信息主要特征就够了。所以，普通能够对信源输出信息进行失真处理，降低信息率，提升传输率。那么在允许一定程度失真条件下，能够把信源,信息压缩到什么程度,，最少需要多少比特信息率才能描述信源呢？本章主要讨论,在一定程度失真情况下所需最少信息率,，从分析失真函数、平均失真出发，求出,信息率失真函数,。,第5页,5,4.1 平均失真和信息率失真函数,第6页,6,在实际问题中，信号有一定失真是能够容忍。不过当失真大于某一程度后，信息质量将被严重损伤，甚至丧失其实用价值。,要要求失真程度，必须先有一个定量失真测度。,为此引入,失真函数,。,第7页,7,4.1.1 失真函数,假如某一信源X,输出样值,x,i,x,i,a,1,a,2,a,n,经信道传输后变成,y,j,y,j,b,1,b,2,b,m,假如:,x,i,y,j,没有失真,x,i,y,j,产生失真,失真大小,用一个量来表示,即失真函数,d,(,x,i,y,j,),以衡量用,y,j,代替,x,i,所引发失真程度。,失真函数定义为,：,第8页,8,失真函数,将全部,d,(,x,i,y,j,)排列起来,用矩阵表示为:,失真矩阵,例：设信源符号序列为X=0,1,编码器输出符号序列为Y=0,1,2,要求,失真函数,为,d(0,0)d(1,1)=0,d(0,1)d(1,0)=1,d(0,2)d(1,2)=0.5,失真矩阵,m=n或mn,0 1 2,0,1,第9页,9,失真函数,注意：,失真函数,d,(,x,i,y,j,)数值是依据实际情况，用,y,j,代替,x,i,所造成失真大小是人为决定。,比如上例中，用,y=,2代替,x=,0和,x=,1所造成失真程度相同，用0.5表示；而用,y=,0代替,x=,1所造成失真程度要大，用1表示。,第10页,10,失真函数形式能够依据需要任意选取,最惯用有:,均方,失真:,绝对,失真:,相对,失真:,误码,失真:,适于,连续,信源,适于,离散,信源,失真函数,第11页,11,失真函数,均方失真和绝对失真只与,x,i,-,y,j,相关，而不是分别与,x,i,和,y,j,相关，在数学上处理比较方便；相对失真与主观特征比较匹配，因为主观感觉往往与客观量对数成正比，但在数学处理中就要困难得多。实际选择一个适当、完全与主观特征匹配失真函数是非常困难，更不用说还要易于数学处理。当然不一样信源应有很好失真函数，所以在实际问题中还可提出许多其它形式失真函数。,第12页,12,失真函数,汉明失真矩阵,对于二元对称信源(m=n),X=0,1,Y=0,1,汉明失真矩阵:,第13页,13,序列编码情况失真函数,第14页,14,补充知识数学期望,第15页,15,补充知识数学期望,第16页,16,4.1.2 平均失真,x,i,和,y,j,都是随机变量,所以失真函数,d,(,x,i,y,j,)也是随机变量,限失真时失真值只能用数学期望表示,将失真函数数学期望称为,平均失真,：,平均失真,对给定信源分布,p,(,a,i,)经过某一个转移概率分布为,p,(,b,j,|,a,i,)有失真信源编码器后产生失真,总体量度,。,第17页,17,失真函数,d,(,x,i,y,j,)：,描述了,某个信源,符号,经过传输后失真大小,平均失真,：,描述,某个,信源,在某一试验信道传输下失真大小,它对,信源和信道进行了统计平均,是从,总体,上描述,整个系统失真,。,4.1.2 平均失真,转移概率分布为,p,(,y,j,|,x,i,)信源编码器,x,i,信源编码器,y,j,p,(,y,j,|,x,i,),第18页,18,L长序列编码情况平均失真,假如假定离散信源输出符号序列X,X,1,X,2,X,l,X,L,其中L长符号序列,x,i,=,x,i1,x,i2,x,iL,经信源编码后,输出符号序列Y=,Y,1,Y,2,Y,l,Y,L,其中L长符号序列,y,j,=,y,j1,y,j2,y,jL,则,失真函数,定义为,平均失真,第19页,19,4.1.3,信息率失真函数R(D),如图所表示，信源,X,经过有失真信源编码器输出,Y,，将这么编码器看作存在干扰假想信道，,Y,看成接收端符号。这么就可用分析信道传输方法来研究限失真信源问题。,X,信源编码器,Y,假想信道,将信源编码器看作信道,第20页,20,4.1.3,信息率失真函数R(D),信源编码器目标是使编码后所需信息传输率R尽可能小，然而R越小，引发平均失真 就越大。给出一个失真限制值D，在满足平均失真条件下，选择一个编码,方法使信息率R尽可能小。信息率R就是所需输出相关信源X信息量。将此问题对应到信道，即为接收端Y需要取得相关X信息量，也就是互信息I(X;Y)。这么，选择信源编码方法问题就变成了选择假想信道问题，符号转移概率,p,(,y,j,|,x,i,)对应信道转移概率。,第21页,21,4.1.3 信息率失真函数R(D),不论是无噪信道还是有噪信道:,RC,总能找到一个编码使在信道上能以任意小错误概率,以任意靠近C传输率来传送信息,RC,就必须对信源压缩,使其压缩后信息传输率R小于信道容量C,但同时要确保压缩所引入失真不超出预先要求程度。,信息压缩问题,就是对于给定信源,在满足平均失真 前提下,使信息率尽可能小。,第22页,22,信息率失真函数R(D),若平均失真度 小于我们所允许失真,即,则称此为,保真度准则,当信源,p,(,x,i,)给定,单个符号失真度,d,(,x,i,y,j,),给定时,选择不一样试验信道,p,(,y,j,|,x,i,),相当于不一样编码方法,其所得平均失真度不一样。,试验信道,第23页,23,信息率失真函数R(D),满足 条件全部转移概率分布p,ij,组成了一个信道集合,D失真允许试验信道,：,满足保真度准则试验信道。,P,D,：,全部,D失真允许试验信道,组成一个集合。,第24页,24,信息率失真函数R(D),因为互信息取决于信源分布和信道转移概率分布，依据2.2节所述，当,p,(,x,i,)一定时,互信息I是关于,p,(,y,j,|,x,i,),U型函数,存在极小值。因而在上述允许信道,P,D,中能够寻找一个信道,p,ij,，使给定信源,p,(,x,i,)经过此信道传输后，互信息I(X;Y)到达最小。该最小互信息就称为,信息率失真函数R(D),，即,第25页,25,信息率失真函数R(D),R(D),：,在限定失真为D条件下信源输出最小信息速率。,在信源给定后,我们希望在满足一定失真情况下,使信源必须传输给收信者,信息传输率,R,尽可能地小。,若从接收端来看,就是在满足保真度准则下,寻找再现信源消息所必须取得,最低平均信息量,。即在满足保真度准则条件下寻找平均互信息,I(X;Y),最小值。,第26页,26,信息率失真函数,P,D,是全部满足保真度准则试验信道集合,因而能够在集合P,D,中寻找某一个信道p,ij,使I(X;Y)取极小值。,离散无记忆信源,第27页,27,由互信息关系式,I(X;Y)=H(Y)-H(Y|X)=H(X)-H(X|Y),可了解为互信息是信源发出信息量H(X)与噪声干扰条件下消失信息量H(Y|X)之差。应该注意，这里讨论是相关,信源,问题，普通不考虑噪声影响。信息在存放和传输时需要去掉冗余，或者从一些需要出发认为可将一些次要成份去掉，也就是说，对信源原始信息在允许失真程度内能够进行压缩。因为这种压缩损失了一定信息，造成一定失真，,把这种失真等效成由噪声而造成信息损失,，看成一个,等效噪声信道(又称为试验信道),，所以,信息率失真函数物理意义,是：对于给定信源，在平均失真不超出失真程度D条件下，信息率允许压缩最小值为R(D)。,信息率失真函数,第28页,28,例,已知编码器输入概率分布为,p,(,x,)=0.5,0.5,信道矩阵,求互信息,第29页,29,编码器输入概率分布为,p,(,x,)=0.5,0.5,信道矩阵,求互信息,可见当,p,(,x,)一定时,I,(,X;Y,)随,p,(,y,j,|x,i,)而变。,因为p(x)分布一定时,信道受干扰不一样所能传递信息量是不一样。,当,p,(,x,)一定时,I,(,X;Y,)是关于,p,(,y,j,|x,i,)下凸函数。,所以当改变,p,(,y,j,|x,i,)时,I,(,X;Y,)有一极小值。,第30页,30,平均互信息,平均互信息,I,(,X;Y,)：,p,(,y,j,|x,i,)一定，信源概率分布,p,(,x,i,)上凸函数。,p,(,x,i,)一定，信道传递概率,p,(,y,j,|x,i,)下凸函数。,信道容量,：,信息率失真函数：,第31页,31,信道容量,信道容量：,假定信道固定前提下,选择一个,试验信源,使,信息传输率最大,。,它所反应是信道传输信息能力,是信道可靠传送最大信息传输率。,一旦找到了信道容量,它就与信源不再相关,而是信道特征参量,随信道特征改变而改变,不一样信道其信道容量不一样。,第32页,32,信息率失真函数,信息率失真函数：,假定信源给定情况下,用户能够容忍失真度内再现信源消息所必须取得,最小平均信息量,。,它反应是信源能够,压缩,程度,是在满足一定失真度要求下,信源可压缩最低值,。,率失真函数一旦找到,就与求极值过程中选择试验信道不再相关,而只是信源特征参量。,不一样信源其R(D)不一样。,第33页,33,信道容量与信息率失真函数,研究信道容量,：,充分利用已给信道,使传输信息量最大,而发生,错误概率任意小,为提升通信,可靠性,服务。,研究信息率失真函数,：,处理在已知信源和允许失真度D条件下,使信源必须传送给信宿信息率最小。即,用尽可能少码符号尽快地传送尽可能多信源消息,以提升通信,有效性,。,第34页,34,例4-2：,设信源符号表为A=,a,l,a,2,a,2n,概率分布为,p,(,a,i,)=1/2n,i=,1,22,n,失真函数要求为,信源熵,即不发生差错时失真为0,犯错失真为1。试研究在一定编码条件下信息压缩程度。,第35页,35,例4-2：,.,.,a,n,a,2,.,a,1,a,1,a,2,a,n,a,n+1,a,2n,图4-3 等效试验信道,假如对信源进行不失真编码,平均每个符号最少需要log2n个二进制码元。,现在假定允许有一定,失真,假设失真程度为,D=1/2，构想采取下面,编码方案：,a,1,a,1,，,a,2,a,2,，,a,n,a,n,a,n+1,a,n,a,n+2,a,n,a,2n,a,n,第36页,36,由该信道模型图4-3看出,它是一个确定信道(每个输入都对应一个输出)，,p,ij,=1(或0)，噪声熵,H,(,Y,|,X,)=0，无噪有损信道。,平均失真,信道输出概率分布为,因为从,a,n,起，以后全部符号都编成,a,n,，所以概率分布为,第37页,37,则输出熵,H,(,Y,),压缩,n-1个,1个,第38页,38,由以上结果可知，经压缩编码以后，信源需要传输信息率由原来log2n，压缩到log2n-(n+1)/2n)log(n+1)。也就是说，信息率压缩了(n+1)/2n)log(n+1)。这是采取上述压缩编码方法结果，所付出代价是容忍了1/2平均失真。假如选取对压缩更为有利编码方案，则压缩效果可能更加好。但一旦到达最小互信息这个极限值，就是R(D)数值(此处D=1/2)，或超出这个极限值，那么失真就要超出失真程度。假如需要压缩信息率更大，则可容忍平均失真就要更大。,第39页,39,4.1.4,信息率失真函数性质,1、,R,(,D,)定义域,率失真定义域问题就是在信源和失真函数已知情况下,讨论允许,平均失真度D,最小,和,最大,取值问题。,因为平均失真度是非负实数,d,(,x,i,y,j,)数学期望,所以也是非负实数,即,下界是0,。,允许平均失真度能否到达其下限值0,与单个符号失真函数相关。,第40页,40,R(D)定义域,（1）,D,min,和,R,(,D,min,),信源最小平均失真度：,只有当失真矩阵每一行最少有一个0元素时,信源,平均失真度,才能到达下限值,0。,当,D,min,=0,即信源不允许任何失真时,信息率最少应等于信源输出平均信息量信息熵。即,R,(,D,min,)=,R,(0)=,H,(,X,),遍历j,p(y,j,|x,i,)=1(或0)无失真,第41页,41,R(D)定义域,因为实际信道总是有干扰,其容量有限,要无失真地传送连续信息是不可能。,当允许有一定失真时,R,(,D,)将为,有限值,传送才是可能。,对于连续信源，因为其信源只有相对意义，而真正熵为 ，当,D,min,=0时相当于严格无噪声信道，经过无噪声信道熵是不变，所以,第42页,42,R(D)定义域,（2）,D,max,和,R,(,D,max,),因为,I(X;Y),是非负函数，而,R,(,D,),是在约束条件下,I(X;Y),最小值，所以,R,(,D,),是也是一个非负函数，它,下限值是零,。当,R,(,D,),为0，意味着不需要传输任何信息。显然,D,越大，直至无限大都能满足这么情况，这里选择全部满足,R,(,D,),=0中,D,最小值，定义为,R,(,D,),定义域上限,D,max,，即,所以能够得到,R,(,D,),定义域为,。,第43页,43,R(D)定义域,R(D)定义域为,D,min,，D,max,。,通常,D,min,=0，,R,(,D,min,)=,H,(,X,),当,D,D,max,时,R,(,D,)=0,不需传输任何信息,当 0,D,D,max,时,0,R,(,D,),H,(,X,),由此，得到R(D)定义域为,0，D,max,第44页,44,R(D)定义域,D,max,：定义域,上限,。,D,max,是满足,R,(,D,)=0时全部平均失真度中,最小值,。,因为,I,(,X;Y,)是非负函数,而,R,(,D,)是在约束条件下,I,(,X;Y,)最小值,所以,R,(,D,)也是一个非负函数,它下限值是零。,R,(,D,)0,第45页,45,R(D)定义域,R,(,D,)=0，就是,I,(,X;Y,)=0，其充要条件是X与Y统计独立,即：,这时平均失真为,现在需要求出满足 条件D最小值，即,第46页,46,R(D),定义域,分析上式可知，在,j,=1,m,中，能够找到,值最小,j,，当该,j,对应,p,j,=1，而其余,p,j,为零时，上式右边到达最小，这时上式可化简成,第47页,47,例4-3,:设输入输出符号表示为X=Y=0,1,输入概率分布,p,(,x,)=1/3,2/3,失真矩阵,求：D,min,、R(D,min,)和D,max,、R(D,max,)，以及两种情况下对应转移概率。,失真矩阵每一行最少有一个,0,元素时,D,min,=0,此时，R(D,min,)=H(X)=H(1/3,2/3)=0.91bit/符号，这时信源编码器无失真，a1,b1，a2b2，所以这时编码器转移概率为,第48页,48,此时输出符号概率p(b,1,)=0，p(b,2,)=1，a1,b2，a2b2，所以这时编码器转移概率为,当,R(D,max,)=0时，由书中式,(4-1-13),得,第49页,49,例4-4,:,设输入输出符号表,示,为X=Y=0,1,输入概率分布,p,(,x,)=1/3,2/3,失真矩阵,求：D,min,和D,max,失真矩阵行元素无0，故平均失真度达不到下限值0,第50页,50,信息率失真函数性质,1,、,R,(,D,),是非负实数,R(D)0。,其定义域为0D,max,其值为0H(X)。,当DD,max,时,R(D)0,2、,R,(,D,)是关于D下凸函数,也是关于D连续函数,。,3、,R,(,D,)单调递减性及连续性,允许失真度越大，所要求信息率越小。反之亦然。,第51页,51,信息率失真函数性质,信息率失真曲线,第52页,52,4.2 离散信源和连续信源R(D)计算,给定信源概率,p,i,和失真函数,d,ij,就能够求得该信源R(D)函数。,它是在保真度准则下求极小值问题。,但要得到它显式表示式,普通比较困难通惯用参量表示式。,即使如此,除简单情况外实际计算还是困难,只能用迭代逐层迫近方法。,第53页,53,一些特殊情况下R(D),连续信源,离散信源,第54页,54,一些特殊情况下R(D),这些R(D)可画成如右图所表示3,条曲线。他们都有一最大失真值D,max,，对应R(D)=0。,当允许平均失真D大于最大值时，R(D)当然也是零，也就是不用传送信息已能到达要求。,上述3种情况D,max,分别为,第55页,55,二元对称信源R(D)函数,设二元对称信源X=0,1,其概率分布,p,(,x,)=p,1-p,接收变量Y=0,1,汉明失真矩阵,因而最小允许失真度D,min,=0。,并能找到满足该最小失真试验信道,且是一个无噪无损信道,其信道矩阵为,第56页,56,二元对称信源R(D)函数,计算得：R(0)=I(X;Y)=H(,p,),最大允许失真度为,要到达最大允许失真度试验信道,唯一确定为,第57页,57,二元对称信源R(D)函数,这个试验信道能正确传送信源符号,x,=1,而传送信源符号,x,=0时,接收符号一定为y=1,凡发送符号,x,=0时,一定都错了。而,x,=0出现概率为,p,所以信道平均失真度为,p,。,在这种试验信道条件下，可计算得,R(D,max,)=R(,p,)=0,第58页,58,本章小结,本章讨论了离散消息失真函数和信息率失真函数，同时对连续消息也做了对应讨论。在实际应用中，符合实际信源R(D)函数计算相当困难。首先，需要对实际信源统计特征有确切数学描述；其次，需要对符合主观、客观实际失真给予正确度量，不然不能求得符合主观、客观实际R(D)函数。率失真函数是研究限失真信源编码定理基础。,第59页,59,本章小结,失真函数,：,平均失真,：,信息率失真函数R(D),：,给定信源,p,(,x,i,)，在小于平均失真D中寻找一个信源编码,p,ij,，使互信息I(X;Y)到达最小。,第60页,60,本章小结,R,(,D,)函数定义域,：,D,min,=0，,R,(,D,min,)=,R,(0)=,H,(,X,),R,(,D,)函数性质：,下凸性、连续性、单调递减性。,R,(,D,)与C含有对偶关系。,第61页,61,习题,4-1,4-2,第62页,62,
展开阅读全文
浙ICP备2021020529号-1 | 浙B2-20240490 
