第4章 信息率失真理论.ppt

,*,信息率失真理论,第,4,章 信息率失真理论,教学内容和要求,理解保真度准则，理解实验信道,掌握二进制信源、等概率信源的信息率失真函数,了解,N,次扩展信源的信息率失真函数,掌握高斯信源的信息率失真函数,一、,保真度准则和实验信道,1,、失真度,定义,汉明失真度,常用于离散信源,表示,全部,nn,个失真度,失真矩阵,汉明失真矩阵,平方误差失真度,常用于连续信源,平方误差失真函数,2,、平均失真度,失真度,的数学期望,定义,表示,3,、,保真度准则,平均失真度不大于给定的允许失真,D,定义,表示,4,、实验信道,定义,满足保真度准则的所有数据处理信道,离散信源的实验信道,表示,全部,nn,个实验信道转移概率,实验信道矩阵,连续信源的实验信道,实验信道转移概率密度函数,二、单符号,离散信源的信息率失真函数,信,源固定时，与等效信源间的平均互信息量是数据处理信道转移概率分布的严格下凸函数，总能在,实验信道中,找到一种信道转移概率分布，使实验信道中传输的平均互信息量在保真度准则下达到最小,信源概率分布不变时，保真度准则下平均互信息量的极小值，用,R(D),表示,定义,表示,1,、信息率失真函数,实验信道转移概率分布的,n,个约束条件,保真度准则的约束条件,对,j,求和,乘,P(x,i,),对,i,求和,信息率失真函数,2,、,二进制,信源的信息率失真函数,R(D),D,0.5,0.25,p=0.25,p=0.5,0,1,0.811,求允许失真,D=1/8,时的信息率失真函数,R(D),及达到,R(D),的实验信道,例,1,D=1/8,时,3,、等概率,信源的信息率失真函数,等概率,信源,p=0.5,时，二进制,信源的信息率失真函数,n=2,时,，等概率信源的信息率失真函数,三进制等概率信源，,求允许失真,D=1/3,时的信息率失真函数,R(D),及达到,R(D),的实验信道,例,2,D=1/3,时,习题：,(P129-130),4.1,、,4.10,、,4.11,三、,N,次扩展信源的信息,率失真函数,1,、,N,次扩展信源的保真度准则和实验信道,失真度,平均失真度,如果给定允许失真,ND,保真度准则,实验信道,2,、,N,次扩展信源的信息率失真函数,四、,单符号,连续信源的信息,率失真函数,信源概率密度函数不变时，保真度准则下平均互信息量的下确界，用,R(D),表示,定义,信,源固定时，与等效信源间的平均互信息量是数据处理信道转移概率密度函数的严格下凸泛函，总能在,实验信道中,找到一种信道转移概率密度函数，使实验信道中传输的平均互信息量在保真度准则下达到最小,表示,1,、信息率失真函数,实验信道转移概率密度函数的约束条件,保真度准则的约束条件,信息率失真函数,2,、,高斯,信源的信息率失真函数,达到,R(D),的实验信道,方差为,-1/2S,的反向高斯加性信道,N,方差为,D,的反向高斯加性信道,R(D),D,0,