2015秋信息论限失真信源编码.pptx

第第5 5章章 限失真信源编码限失真信源编码无论是无噪信道还是有噪信道，只要信息传输率R小于信道容量C，总可以找到一种编码方法，使得编码后的信息传输率R任意接近信道容量C，且由于信道所产生的错误译码概率任意小。反之，如果R大于C，在任何信道上都不可能实现译码错误概率任意小的无失真的传输。在信道传输信息时，是否必须完全无失真呢？很多情况下，不可能不可能进行无失真信源编码如，连续信源的熵 H 为无限大很多应用中，没必要没必要进行无失真信源编码如，人眼所能分辨的灰度级、颜色都是有限的.人耳仅能感受 几百Hz十几KHz 的声音信号。为什么研究限失真信源编码？4图像压缩8K10K14K在实际生活中，通常总是要求在保证一定质量的前提下，在信宿端近似地再现信源输出的信息，或者说，在保真度准则下允许信源输出存在一定的失真。对于给定的信源（熵H(X)，在允许的失真条件下，信源熵所能压缩的极限（信息率失真R(D)）理论值是多少，如何计算，是本章要讨论的问题。信息率失真理论研究的是信源熵压缩问题，但采用了研究信道的方法，即在数学上将信源熵压缩看成通过一个信道，寻找在保真度准则下的最小的平均互信息。信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛应用。6信信 源源信信 宿宿试验信道试验信道7主要内容1 失真失真测度度2 信息率失真函数信息率失真函数3 限失真信源限失真信源编码定理和逆定理定理和逆定理4 信息率失真函数的信息率失真函数的计算算85.1 失真测度 9n 图像处理中，常用平方误差和绝对误差度量失真5.1.1 失真函数10失真矩阵失真矩阵11平方失真矩阵汉明失真矩阵绝对失真矩阵r=3时1201 0 113矢量失真函数矢量失真函数：矢量失真矩阵矢量失真矩阵例7.1.2 假定离散矢量信源N=3，输出矢量序列为X=X1X2X3，其中Xi的取值为0,1；经信道传输后的输出为Y=Y1Y2Y3，其中Yi的取值为0,1。定义失真函数求矢量失真矩阵。5.1.2 平均失真16信源特性单个符号的失真函数试验信道特性失真函数的数学期望称为平均失真。失真函数选为汉明失真，假定允许的失真限度D*=1/2，试分析信息可压缩的程度。若进行二进制无失真信源编码，平均每个符号至少需要log(2r)个码元。若采用编码方案信息传输率：如果有k+1个符号的编码相同，则信源的信息传输率的压缩程度：信息率失真允许失真 所需信息率上例中的编码方案只是满足失真限度条件的一种，并没有最大限度地压缩信息率，还存在其他的编码方案能够满足失真限度。那么，在给定失真条件下，信息率压缩的极限值是多少呢？信息率失真函数给出了压缩下界。215.2 信息率失真函数信源信源试验信道试验信道信宿信宿5.2.1 D允许信道（试验信道）22信源信源试验信道试验信道信宿信宿23信息率失真函数信息率失真函数(率失真函数率失真函数)对离散无记忆信源：5.2.2 信息率失真函数的定义在D允许信道BD中寻找一个信道p(Y/X)，使给定的信源经过此信道传输时，其信道传输率I(X;Y)达到最小，这个最小值定义为对于给定的信源，在满足保真度准则的前提下，信息率失真函数R(D)，是信息率允许压缩到的最小值。信道容量信道容量率失真函数率失真函数24信道固定,信源分布可变信源固定,失真度固定，信道可变选择信源，使得互信息最大最大 选择试验信道，使得互信息最小最小为了充分利用特定信道，使传输的信息量最大为了在一定的失真条件下，尽可能用最少的码符号来传送信源消息信道编码定理：R R R R(D D)255.2.3 率失真函数的性质R(D)D0H(x)DmaxD*R(D*)1.D=0rR(D)D0H(x)DmaxD*R(D*)（3）（4）例：R(D)D0H(x)DmaxD*R(D*)325.3 限失真信源编码定理和逆定理信源信源试验信道试验信道信宿信宿33信源编码这样进行：当信源发送序列xi时，就从分组码Y中选取一个使失真最小的码字。分组码Y的平均失真度为如果则称分组码Y是满足保真度准则D的允许码。对于包含M个码字，码长为n的分组码（M，n）其最大信息传输率为R=(logM)/n.即信源信源试验信道试验信道信宿信宿343536对于任意D0,R(D)是允许码的可能的最小速率。限失真编码逆定理限失真编码逆定理5.4 信息率失真函数的计算已知信源的概率分布和失真函数，就可以确定信源的信息率失真函数，它是在约束条件，即保真度准则下，求极小值的问题，一般情况下难于求得闭式解，常采用参量表示法，或采用迭代算法求解。本章要求会求平均失真掌握信息率失真函数定义理解限失真信源编码定理及其逆定理作业：作业：5.1，5.4