信息率失真理论及其应用.pptx

东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件1第八章第八章信息率失真理论及其应用信息率失真理论及其应用东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件2本章内容提要本章内容提要失真函数和平均失真度失真函数和平均失真度信息率失真函数信息率失真函数信息率失真函数信息率失真函数R(D)的计算的计算保真度准则下的信源编码定理保真度准则下的信源编码定理信息率失真函数与信息价值信息率失真函数与信息价值东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件3在前面几章的讨论中，其基本出发点都是如何保证信在前面几章的讨论中，其基本出发点都是如何保证信息的息的无失真传输无失真传输。但在许多实际应用中，人们并不要求完全无失真地恢但在许多实际应用中，人们并不要求完全无失真地恢复消息，而是复消息，而是只要满足一定的条件，近似地恢复信源只要满足一定的条件，近似地恢复信源发出的消息就可以了发出的消息就可以了。然而，什么是然而，什么是允许的失真允许的失真？如何对失真进行描述如何对失真进行描述？信？信源输出信息率源输出信息率被压缩的最大程度被压缩的最大程度是多少？是多少？信息率失真信息率失真理论理论回答了这些问题，其中回答了这些问题，其中香农的限失真编码定理香农的限失真编码定理定定量地量地描述描述了失真，研究了了失真，研究了信息率与失真的关系信息率与失真的关系，论述，论述了在限失真范围内的信源编码问题，已成为量化、数了在限失真范围内的信源编码问题，已成为量化、数据转换、频带压缩和数据压缩等现代通信技术的据转换、频带压缩和数据压缩等现代通信技术的理论理论基础基础。第第8章章信息率失真理论及其应用信息率失真理论及其应用东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件4定义定义8.1 对于图对于图8.1所示的系统，对应于每一对（所示的系统，对应于每一对（ai,bj）（n=1,2,r；j=1,2,s），定义一个非负实值函数），定义一个非负实值函数（8.1）表示信源发出符号表示信源发出符号ai而经信道传输后再现成信道输出符而经信道传输后再现成信道输出符号集合中的号集合中的bj所引起的所引起的误差或失真误差或失真，称之为，称之为ai和和bj之间的之间的失真函数失真函数。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数图图8.1消息通过信道的传输消息通过信道的传输 东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件5失真函数的值可人为地规定。失真函数的值可人为地规定。例如，若例如，若i=j时，时，bjai；i j时，时，bjaj ai，则可规定，则可规定规定的合理性。规定的合理性。(1)当当i=j时，时，x和和y的消息符号都是的消息符号都是ai，说明收发之间没有失，说明收发之间没有失真，所以失真函数真，所以失真函数dij=0；(2)反之，当反之，当i j时，信宿收到的消息不是信源发出的符号时，信宿收到的消息不是信源发出的符号ai，而是，而是bj，出现了失真，所以失真函数，出现了失真，所以失真函数dij 0，而，而dij值的大值的大小可以表示这种失真的程度。小可以表示这种失真的程度。(3)更确切地说，失真函数更确切地说，失真函数d(x,y)能够表征接收消息能够表征接收消息y与发送与发送消息消息x之间的之间的定量失真度定量失真度，因此这样的规定是合理的。，因此这样的规定是合理的。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件6失真矩阵失真矩阵D 输入符号集输入符号集X:a1,a2,ar中有中有r种种不同的符号不同的符号ai(i=1,2,r)；输出符号集输出符号集Y:b1,b2,bs中有中有s种种不同的符号不同的符号bj(j=1,2,s)；失真函数失真函数d(ai,bj)(i=1,2,r;j=1,2,s)共有共有(r s)个个具体值具体值，按，按ai和和bj的对应关系，排列的对应关系，排列成一个成一个(r s)阶矩阵阶矩阵，如下式所示，如下式所示8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数称为信道称为信道X-P(Y/X)-Y的失真矩阵的失真矩阵。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件7例例8.1 已知已知X:a1,a2,ar，Y:a1,a2,ar，若它们，若它们的的交叉传输概率相等交叉传输概率相等，求其失真矩阵。，求其失真矩阵。解解根据题意可得图根据题意可得图8.2所示的所示的香农线图香农线图。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数图图8.2例例8.1的香农线图的香农线图东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件8本题特点本题特点是：信源、信宿的是：信源、信宿的符号集合相同符号集合相同，每个符号，每个符号的的交叉传输概率相等交叉传输概率相等，故可，故可规定失真函数规定失真函数为为 d(ai,bj)=由此由此得其失真矩阵得其失真矩阵为为通常称上式的失真矩阵为通常称上式的失真矩阵为汉明失真矩阵汉明失真矩阵。当当r=2时，有时，有8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数(8.5)(8.6)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件9例例8.2 已知已知X:a1,a2,ar，Y:a1,a2,ar,ar+1。如果信宿端接收到的消息与发送端的。如果信宿端接收到的消息与发送端的相同，则为相同，则为无失真无失真；如果不同但不是；如果不同但不是ar+1，则，则为为有失真有失真；如果信宿端译码为；如果信宿端译码为ar+1，则为有，则为有失真，但失真，但其影响只是其他失真情况的一半其影响只是其他失真情况的一半。请给出该种信道的失真函数和失真矩阵。请给出该种信道的失真函数和失真矩阵。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件10解解这是这是多进制删除信道多进制删除信道的情况，其中输出符号的情况，其中输出符号ar+1为删除符为删除符号号。根据题意，可。根据题意，可规定失真函数规定失真函数为为（8.7）8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件11故该种信道的故该种信道的失真矩阵失真矩阵为为 （8.8）若若r=2则为二进制删除信道则为二进制删除信道，其失真矩阵为，其失真矩阵为 （8.9）8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件12例例8.3 已知已知X:a1,a2,ar，Y:b1,b2,br。如果信宿端。如果信宿端接收到的消息有失真，则失真所产生的影响程度需要用接收到的消息有失真，则失真所产生的影响程度需要用收收发符号之差的平方来表示发符号之差的平方来表示，试给出该种信道的失真函数和，试给出该种信道的失真函数和失真矩阵。失真矩阵。解解根据题意，可根据题意，可规定失真函数规定失真函数为为 （8.10）式中式中i,j=1,2,r。由此。由此可得失真矩阵可得失真矩阵为为（8.11）8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件13它说明它说明失真的数值越大，后果越严重。失真的数值越大，后果越严重。若若X:0,1,2,3,Y:0,1,2,3，则有，则有（8.12）这相当于这相当于四进制的情况四进制的情况。对于二进制情况则和式。对于二进制情况则和式（8.6）相同。）相同。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件14结论：结论：（1）失真函数）失真函数d(ai,bj)是是人为规定的人为规定的，给出其规定，给出其规定时应该考虑解决问题的时应该考虑解决问题的需要需要以及失真可能引起的以及失真可能引起的损失、风险损失、风险和主观上和主观上感觉的差别等因素感觉的差别等因素。（2）d(ai,bj)是一个是一个随机变量随机变量，它应该与，它应该与P(ai bj)有有关，因此有必要找出在关，因此有必要找出在平均意义上信道每传送一平均意义上信道每传送一个符号所引起失真的大小个符号所引起失真的大小。8.1失真函数和平均失真度失真函数和平均失真度8.1.1失真函数失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件151.平均失真度的定义平均失真度的定义定义定义8.2 若信源和信宿的消息集合分别为若信源和信宿的消息集合分别为X:a1,a2,ar和和Y:b1,b2,bs，其概率分别为，其概率分别为P(ai)和和P(bj)(i=1,2,r;j=1,2,s)，信道的转移概率，信道的转移概率为为P(bj/ai)，失真函数为，失真函数为d(ai,bj)，则，则称随机变量称随机变量X和和Y的联合概率的联合概率P(ai bj)对失真函数对失真函数d(ai,bj)进行加进行加权的统计平均值为该通信系统的平均失真度权的统计平均值为该通信系统的平均失真度。8.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件16可将定义可将定义8.2用公式表示用公式表示为为8.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度物理含义是物理含义是平均意义上信道每传送一个符号所引起的失真平均意义上信道每传送一个符号所引起的失真。(8.13)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件178.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度2.N次扩展信源的情况次扩展信源的情况若图若图8.1中的信源中的信源X有有r个不同的符号，则其个不同的符号，则其N次扩展次扩展信源信源XN=X1X2XN有有r N个不同的符号个不同的符号。N次扩展信源的一个符号次扩展信源的一个符号 i可以表示为可以表示为(8.14)式中式中；接收符号集接收符号集YN=Y1Y2YN有有s N个不同的符号个不同的符号，其中，其中 j为为(8.15)式中式中 东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件18将定义将定义8.1进行扩展，进行扩展，可得可得N次扩展的信源和信宿符号次扩展的信源和信宿符号序列序列 i与与 j之间的失真函数为之间的失真函数为8.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度(8.16)对应的失真矩阵为对应的失真矩阵为(8.17)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件198.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度平均失真度平均失真度为为(8.18)对无记忆信源对无记忆信源有有(8.19)式中式中(8.20)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件20是是同一信源同一信源X在在N个单位时刻通过同一信个单位时刻通过同一信道所造成的平均失真度道所造成的平均失真度，都为，都为8.1失真函数和平均失真度失真函数和平均失真度8.1.2平均失真度平均失真度所以所以即：离散无记忆信源即：离散无记忆信源X的的N次扩展信源次扩展信源XN=X1X2XN通过信道传输后的平均失真度通过信道传输后的平均失真度，是未扩展情况的是未扩展情况的N倍倍。(8.21)(8.22)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件21定义定义8.3 从平均意义上来说，信道每传送一个符号所引从平均意义上来说，信道每传送一个符号所引起的平均失真，不能超过某一给定的限定值起的平均失真，不能超过某一给定的限定值D，即要求，即要求称这种对于失真的限制条件为称这种对于失真的限制条件为保真度准则保真度准则。保真度准则指出，给定的失真限定值保真度准则指出，给定的失真限定值D是平均失真度是平均失真度的的上限值上限值。在实际中，在实际中，D是通信系统的重要指标之一是通信系统的重要指标之一，实质上它就，实质上它就是是针对具体应用而给出的保真度要求针对具体应用而给出的保真度要求，为了达到这个，为了达到这个要求，就应该使所设计系统的平均失真度不大于要求，就应该使所设计系统的平均失真度不大于D。8.2信息率失真函数信息率失真函数8.2.1保真度准则保真度准则东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件22平均失真度取决于如下几个因素平均失真度取决于如下几个因素（1）信源的统计特性，即式）信源的统计特性，即式(8.13)中的中的（2）信道统计特性，即式）信道统计特性，即式(8.13)中的中的（3）失真函数，即式）失真函数，即式(8.13)中的中的其中:8.2信息率失真函数信息率失真函数8.2.1保真度准则保真度准则这这3个参量对平均失真度个参量对平均失真度都可产生影响。分析中可侧重于都可产生影响。分析中可侧重于某个参量的影响而暂时将其他参量固定不变。某个参量的影响而暂时将其他参量固定不变。例如为分析信道特性对例如为分析信道特性对的影响，可假设信源的统计特的影响，可假设信源的统计特性、失真函数为已知，将性、失真函数为已知，将仅看作是仅看作是P(bj|ai)的函数，即的函数，即(8.23)在给定信源在给定信源X的概率分布、规定失真函数的概率分布、规定失真函数d(ai,bj)条件下，通条件下，通过选择适当信道，可使平均失真度过选择适当信道，可使平均失真度满足保真度准则满足保真度准则东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件23定义定义8.4凡是能满足保真度准则凡是能满足保真度准则的信道，称之为的信道，称之为D失真许可的失真许可的试验信道试验信道（TestChannel）。符合定义符合定义8.4的的D失真许可的试验信道可以有若干个，它们失真许可的试验信道可以有若干个，它们能够组成一个集合，表示为能够组成一个集合，表示为在在BD中，人们最感兴趣的是能否找到这样一个试验信道，中，人们最感兴趣的是能否找到这样一个试验信道，在同样的保真度准则下它能使信道的信息传输率尽可能小。在同样的保真度准则下它能使信道的信息传输率尽可能小。也就是说，在满足给定的保真度条件下，也就是说，在满足给定的保真度条件下，能使用小的信息能使用小的信息传输速率就不要用大的信息传输速率传输速率就不要用大的信息传输速率。由此可见，试验信。由此可见，试验信道把道把信息传输速率与失真函数联系了起来信息传输速率与失真函数联系了起来。8.2信息率失真函数信息率失真函数8.2.2失真许可的试验信道失真许可的试验信道(8.24)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件241.信息率失真函数的定义信息率失真函数的定义定义定义8.5用给定的失真用给定的失真D为自变量来为自变量来描述的信息传输速率，称为描述的信息传输速率，称为信息率信息率失真函数失真函数，用，用R(D)表示。表示。8.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件25R(D)的表示式及其关系的表示式及其关系信息传输速率信息传输速率R本质上是描述信源输出的信息速率。本质上是描述信源输出的信息速率。一方面，一方面，R=R(D)，是，是D的函数；的函数；另一方面，信道上的信息传输速率另一方面，信道上的信息传输速率R=I(X;Y)，因此，因此，R(D)又可以用平均互信息量又可以用平均互信息量I(X;Y)来表示。来表示。I(X;Y)是是P(bj|ai)的的U型凸函数，故总可以在型凸函数，故总可以在BD集合中找集合中找到某一试验信道，使到某一试验信道，使R=I(X;Y)达到最小值，亦即找到达到最小值，亦即找到某一个某一个I(X;Y)而使而使R达到最小，这个最小值就是达到最小，这个最小值就是R(D)，故有故有8.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数(8.25)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件26图8.3信息率失真函数的示意图8.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件278.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数2.信息率失真函数的物理意义信息率失真函数的物理意义信息率失真函数是在的前提下，信宿必须获得的信息率失真函数是在的前提下，信宿必须获得的平均信息量的最小值，是平均信息量的最小值，是信源必须输出的最小信息率信源必须输出的最小信息率。信息传输速率本质上是描述信源特性的，因此信息传输速率本质上是描述信源特性的，因此R(D)也应也应该是该是仅仅用于描述信源仅仅用于描述信源。若信源消息经无失真编码后的信息传输速率为若信源消息经无失真编码后的信息传输速率为R，则在，则在保真度准则下信源编码输出的信息率就是保真度准则下信源编码输出的信息率就是R(D)，且，且R(D)R（8.26）说明在保真度准则条件下的信源编码比无失真情况说明在保真度准则条件下的信源编码比无失真情况得到得到了压缩了压缩，同时，同时R(D)是保真度条件下对信源进行压缩的极是保真度条件下对信源进行压缩的极限值，亦即限值，亦即信源信息率可压缩的最低限度，它仅取决于信源信息率可压缩的最低限度，它仅取决于信源特性和保真度要求，与信道特性无关信源特性和保真度要求，与信道特性无关。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件288.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数3.R(D)与与C的比较的比较信道容量定义信道容量定义为。它表示信道的最大传为。它表示信道的最大传输能力，反映的是信道本身的特性，应该输能力，反映的是信道本身的特性，应该与信源无关与信源无关。但平均互信息量与信源的特性有关，为排除信源特性但平均互信息量与信源的特性有关，为排除信源特性对信道容量的影响，在所有的信源中以那个能够使平对信道容量的影响，在所有的信源中以那个能够使平均互信息量达到最大的信源为参考，从而均互信息量达到最大的信源为参考，从而使信道容量使信道容量仅与信道特性有关仅与信道特性有关，信道不同，信道不同，C亦不同。亦不同。信息率失真函数。它也信息率失真函数。它也应该与信应该与信道无关道无关。为此在所有信道中以能够使平均互信息量达。为此在所有信道中以能够使平均互信息量达到最小的信道为参考，从而到最小的信道为参考，从而使信息率失真函数仅与信使信息率失真函数仅与信源特性有关源特性有关，信源不同，信源不同，R(D)亦不同。亦不同。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件298.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数引入引入C和和R(D)的目的的目的引入引入C,是为了是为了解决在所用信道中传送的最大信息量到解决在所用信道中传送的最大信息量到底有多大的问题底有多大的问题，它给出了信道可能传输的最大信息，它给出了信道可能传输的最大信息量，是量，是无差错传输的上限无差错传输的上限。引入。引入C能够为信道编码服务，能够为信道编码服务，或者说或者说为提高通信的可靠性服务为提高通信的可靠性服务。引入引入R(D)，是为了，是为了解决在允许失真度解决在允许失真度D条件下，信源编条件下，信源编码到底能压缩到什么程度的问题码到底能压缩到什么程度的问题，它给出了保真度条，它给出了保真度条件下件下信源信息率可被压缩的最低限度信源信息率可被压缩的最低限度，可见引入它能，可见引入它能够为信源的压缩编码服务，或者说是够为信源的压缩编码服务，或者说是为提高通信的有为提高通信的有效性服务效性服务。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件308.2信息率失真函数信息率失真函数8.2.3信息率失真函数信息率失真函数4.N次扩展的信息率失真函数次扩展的信息率失真函数给定保真度准则为给定保真度准则为(8.27)试验信道集合为试验信道集合为(8.28)设信息率失真函数为设信息率失真函数为R(ND)，总能找到一试验信道，使，总能找到一试验信道，使(8.29)对离散无记忆的信源、信道和信宿，由于对离散无记忆的信源、信道和信宿，由于I(XN;YN)=N I(X;Y)(8.30)所以所以R(ND)=N R(D)(8.31)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件318.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质1.R(D)的定义域的定义域 D必须在给定的信源必须在给定的信源X的概率分布的概率分布P(X)、信宿信宿Y的概率分布的概率分布P(Y)和给定的失真函数和给定的失真函数d(ai,bj)条件下所得的平均失真度的最小条件下所得的平均失真度的最小值和最大值之间适当选择。值和最大值之间适当选择。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件328.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质（1）Dmin和和R(Dmin)假设已知假设已知P(X)、P(Y)且规定失真函数为且规定失真函数为d(ai,bj)0，则，则通过选择适当信道通过选择适当信道，可得平均失真度，可得平均失真度的的最小值最小值(8.32)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件338.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质式式(8.32)r项中的第项中的第i项为项为(8.33)其中其中是是D中中第第i行的行的s个元素个元素，这这s个元素个元素必有最小值必有最小值。把这个最小值记为。把这个最小值记为(8.34)此最小值此最小值可能只有一个可能只有一个，也可能也可能有几个相同的最小值，有几个相同的最小值，设第设第i行的第行的第列的元素是相同的最小值，即列的元素是相同的最小值，即(8.35)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件348.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质为使为使(8.33)式式取得最小值取得最小值，必须，必须遵循一定的原则遵循一定的原则来来变动变动和和选择选择信道矩阵信道矩阵P中第中第i行行s个传递概率个传递概率p(bj|ai)，j=1,2,s。可。可将这个原则叙述将这个原则叙述如下：如下：信道矩阵信道矩阵P中第中第i行行s个元素中，第个元素中，第列元素分列元素分别为别为，。它们满足。它们满足(8.36)若其他所有元素若其他所有元素都选为零都选为零，即，即(8.37)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件358.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质按式（按式（8.36）和（）和（8.37）原则选择试验信道的信道矩阵）原则选择试验信道的信道矩阵P中第中第i行行s个元素后，式（个元素后，式（8.33）一定取得最小值一定取得最小值，即，即(8.38)由式（由式（8.32）求得平均失真度）求得平均失真度的的最小值最小值，为，为(8.39)的最小值的最小值就是允许的平均失真度就是允许的平均失真度D的的最小值最小值，即，即(8.40)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件368.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质当失真矩阵中当失真矩阵中每行最小值同时取其下限值每行最小值同时取其下限值0时时，最小允，最小允许失真度许失真度Dmin达到其下限值零，即达到其下限值零，即(8.41)为满足保真度准则为满足保真度准则，试验信道，试验信道H(X|Y)=0，所以，通过试验信道的平均交互信息量为所以，通过试验信道的平均交互信息量为I(X;Y)=H(X)H(X|Y)=H(Y)（8.42）即：即：为满足保真度准则，信宿为满足保真度准则，信宿Y必须从信源必须从信源X获得的信获得的信息量，等于信源息量，等于信源X的信息熵的信息熵H(X)。那么，信源。那么，信源X必须输必须输出的最小信息率，即信源出的最小信息率，即信源X的信息率失真函数为的信息率失真函数为R(Dmin)=R(0)=H(X)（8.43）东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件37（2）Dmax和和R(Dmax)把能使平均互信息量把能使平均互信息量I(X;Y)=0的最小平均失真度的最小平均失真度定义为最大允许的失真度定义为最大允许的失真度Dmax。当平均互信息量当平均互信息量I(X;Y)=0时，信道的输入随机变量时，信道的输入随机变量X和输出随机变量和输出随机变量Y之间一定统计独立，即有之间一定统计独立，即有p(bj|ai)=p(bj),(i=1,2,s)（8.44）根据平均失真度的定义，平均失真度根据平均失真度的定义，平均失真度的最小值为的最小值为8.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质(8.45)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件388.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质若设其中若设其中 ，相应的，相应的 ，均等于这均等于这s个个 p(ai)d(ai,bj)，(j=1,2,s)中的最小值中的最小值min p(ai)d(ai,bj)，(j=1,2,s)，则可选择，则可选择信宿符号集信宿符号集Y:b1,b2,bs中的子集中的子集 的概率分布的概率分布 的的和等于和等于1，即选择，即选择(8.46)(8.46)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件398.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质而使符号集而使符号集 Y:b1,b2,bs中的其他符号的概率均等于中的其他符号的概率均等于0，即即(8.47)(8.47)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件408.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质显显然然，按按上上两两式式所所给给出出的的原原则则选选择择出出的的试试验验信信道道，一一定定能能使式（使式（8.45）达到最小值。其最小值为）达到最小值。其最小值为(8.48)它就是它就是最大允许的失真度最大允许的失真度，即，即(8.49)(8.49)由信源的概率分布和规定的失真函数所确定由信源的概率分布和规定的失真函数所确定。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件418.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质满足上述条件的试验信道的满足上述条件的试验信道的条件熵条件熵为为因此，通过试验信道的因此，通过试验信道的平均互信息量平均互信息量为为I(X;Y)=H(Y)H(Y/X)=H(Y)H(Y)=0（8.51）(8.50)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件428.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质信源信源X的信息率失真函数为的信息率失真函数为R(Dmax)=0 （8.52）当当允允许许的的失失真真度度D超超过过最最大大允允许许失失真真度度Dmax时时，信信源源不不需输出任何信息需输出任何信息。式式（8.498.52）的的结结论论也也是是很很容容易易理理解解的的，允允许许的的失失真真为为最最大大时时当当然然是是全全失失真真，而而这这时时试试验验信信道道的的噪噪声声熵熵等等于于信信宿宿熵熵，即即无无论论信信源源输输出出什什么么，信信宿宿端端总总能能得得到到最最大大失真失真，故其最小值必然是，故其最小值必然是0，亦即，亦即R(Dmax)=0。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件43(3)R(D)函数的下凸性和连续性函数的下凸性和连续性定理定理8.1R(D)在定义域内是在定义域内是U型凸函数。若型凸函数。若R(D)是是D上的凹函数，那么在上的凹函数，那么在D1 0,D2 0及及0 1的条件下，有的条件下，有(8.53)8.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件44证明证明令令Pk(y|x)是第是第k个试验信道的信道传输概个试验信道的信道传输概率的集合，通过这个试验信道的失真组合后的率的集合，通过这个试验信道的失真组合后的信息率失真函数为信息率失真函数为R(Dk)，此时试验信道的输出，此时试验信道的输出消息符号集合为消息符号集合为Yk。那么。那么根据信息率失真函数根据信息率失真函数的定义的定义，有，有(8.54)8.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质上式中的上式中的dk是是d(x,yk)的缩写，它表示在第的缩写，它表示在第k个试验信道个试验信道上任意一对上任意一对(x,yk)符号之间的符号之间的失真函数失真函数。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件458.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质(续续)再规定一个再规定一个新的试验信道新的试验信道，它的信道传输概率为，它的信道传输概率为（8.55）上上式式表表明明对对同同一一对对(x,y)符符号号，第第1个个试试验验信信道道的的信信道道传传输输概概率率为为P1(y|x)，第第2个个试试验验信信道道的的信信道道传传输输概概率率为为P2(y|x)，那那么么新新的的试试验验信信道道的的信信道道传传输输概概率率为为P(y|x)，且且它它是是前前两两者者的的内内插插值值。同时，新的试验信道产生的平均失真函数同时，新的试验信道产生的平均失真函数Ed(x,y)满足：满足：（8.56）对对于于这这个个新新的的试试验验信信道道，其其平平均均互互信信息息量量有有可可能能满满足足R(D)的的定义，但也可能不满足，故用下列不等式表示定义，但也可能不满足，故用下列不等式表示 （8.57）东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件468.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质(续续)上式中上式中等号表示等号表示满足满足R(D)的定义，的定义，大于号表示大于号表示不满足不满足R(D)的定义。因为的定义。因为I(X1;Y)是是P(y|x)上的凹函数，故有上的凹函数，故有（8.58）再再考考虑虑到到前前面面所所取取的的两两种种试试验验信信道道都都是是能能满满足足信信息息率率失失真真函函数定义的信道，故分别有：数定义的信道，故分别有：，把这两式代入式（把这两式代入式（8.58），即得），即得 （8.59）综合式（综合式（8.57）和式（）和式（8.59），就得出了式（），就得出了式（8.53）的结果。）的结果。证毕。证毕。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件47(4)R(D)函数的单调递减性函数的单调递减性定理定理8.2信息率失真函数信息率失真函数R(D)在在定义域内是单调定义域内是单调递减的递减的。证明：证明：因为因为容许的失真度越大，所要求的信息率容许的失真度越大，所要求的信息率(最小值最小值)越小越小，反之亦然，所以，反之亦然，所以R(D)是是D上的单上的单调递减的连续函数。证毕。调递减的连续函数。证毕。8.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件48综上所述，可以得出如下结论：综上所述，可以得出如下结论：（1）R(D)是非负的实数是非负的实数，即，即R(D)0。其定义。其定义域为域为0Dmax，值域，值域0H(X)。（2）R(D)是是关于关于D的下凸函数的下凸函数，因而也是关于，因而也是关于D的连续函数。的连续函数。（3）R(D)是关于是关于D的的严格递减函数严格递减函数。8.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件49(a)离散系统离散系统(b)连续系统连续系统 图图8.4信息率失真函数的曲线信息率失真函数的曲线东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件508.2信息率失真函数信息率失真函数8.2.4信息率失真函数的性质信息率失真函数的性质由以上分析可见，当规定了允许的失真由以上分析可见，当规定了允许的失真D，又找到了适，又找到了适当的失真函数当的失真函数di j，就可以找到该失真条件下的最小信息，就可以找到该失真条件下的最小信息率率R(D)，这个，这个最小信息率是一个极限值最小信息率是一个极限值。在满足保真度。在满足保真度准则的前提下，用不同方法进行数据压缩时，准则的前提下，用不同方法进行数据压缩时，R(D)函数函数就是就是压缩程度的衡量压缩程度的衡量，由，由R(D)可知可知是否还有压缩的潜力是否还有压缩的潜力，潜力有多大，因此对它的研究很有实际意义。潜力有多大，因此对它的研究很有实际意义。东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件51例例8.4试计算试计算二元离散信源的信息率失真函数二元离散信源的信息率失真函数R(D)。解解设二元离散信源的信源空间为设二元离散信源的信源空间为X:01P(X):p1p 其中其中p 1/2。其。其失真矩阵失真矩阵为式为式(8.6)，即，即8.3信息率失真函数信息率失真函数R(D)的计算的计算8.3.1几种特殊离散信源的信息率失真函数几种特殊离散信源的信息率失真函数因此因此根据式根据式(8.41)和和(8.43)，有，有Dmin=0,R(0)=H(X)=H(p)东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件52由式（由式（8.49），有），有=min1p;p（8.60）因为已知因为已知p 1/2，所以，所以p 1p，故有，故有Dmax=p,R(Dmax)=0下面考虑下面考虑D在在(0p)之间的情况。之间的情况。由定义可知，而由定义可知，而I(X;Y)=H(X)H(X/Y)，所以需要寻找，所以需要寻找H(X/Y)与与D的关系。的关系。8.3信息率失真函数信息率失真函数R(D)的计算的计算8.3.1几种特殊离散信源的信息率失真函几种特殊离散信源的信息率失真函数数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件53平均失真度一定与试验信道的平均失真度一定与试验信道的平均错误概率平均错误概率Pe有关有关，即，即（8.61）根据保真度准则，应有根据保真度准则，应有Pe D（8.62）8.3信息率失真函数信息率失真函数R(D)的计算的计算8.3.1几种特殊离散信源的信息率失真函数几种特殊离散信源的信息率失真函数东南大学移动通信国家重点实验室“信息论与编码信息论与编码”课件课件54根据根据Fano不等式不等式 H(X|Y)H(Pe)+Pelb(r1)（8.63）式中式中r是输入符号的种数，本题是输入符号的种数，本题r=2，则上式最右端的项，则上式最右端的项等于零。考虑到式等于零。考虑到式(8.62)，故有，故有H(X/Y)H(D)而而H(D)=DlbD+(1D)lb(1D)则有则有 R(D)=H(X)H(D)=H(p)H(D)（8.64）由上式可作出由上式可作出R(D)随随D变化的曲线，其中