率失真函数专题培训市公开课一等奖百校联赛特等奖课件.pptx

Information Theory and Coding TheoryInformation Theory and Coding Theory第第9章章 率失真函数率失真函数1第1页Information Theory and Coding TheoryInformation Theory and Coding Theory普通概念与定义普通概念与定义不等长编码平均长度不超出不等长编码平均长度不超出H HL L(U U)/log)/logDD+1/+1/L L能能够无失真够无失真等长编码等长编码HHL L(U)+(U)+e e/logD/logD失真不会超出给定值失真不会超出给定值传输信息允许失真，信息率能够下降传输信息允许失真，信息率能够下降0.250.250.250.150.10不等长编码不等长编码000110110111等长编码等长编码000001010011100允许失真允许失真00011011112.25bit3bit2bit2第2页Information Theory and Coding TheoryInformation Theory and Coding Theory信道失真信道失真d(u,v)d(u,v)是是U U和和V V非负函数，非负函数，U,VU,V为离散变量为离散变量UV=a1,a2,akP(v|u)UV3第3页Information Theory and Coding TheoryInformation Theory and Coding Theory平均失真平均失真4第4页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数率失真函数P PDD是满足是满足 全部全部P Pji ji集合集合失真不超出失真不超出D D 时传时传输所需最小互信息输所需最小互信息量量5第5页Information Theory and Coding TheoryInformation Theory and Coding Theory失真率函数失真率函数给定信息率，找给定信息率，找最小失真编码方最小失真编码方式式6第6页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数基本性质率失真函数基本性质7第7页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域不允许最小失真小于某一值，不允许最小失真小于某一值，DDDDminminDDmaxmax是使是使R(D)=0DR(D)=0D最小值最小值令令P PD D是使是使I(Pji)0 0全体转移概率集合全体转移概率集合8第8页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域I(Pji)=0充要条件是充要条件是U U和和V V统计独立统计独立9第9页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域例例 Q(0)=Q(1)=0.50110E110.20.2失真定义失真定义V=0,1,D=0.5*0.2+0.5*0.2=0.2V=E,D=0.5Dmax=0.210第10页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质R R(D D)是下凸函数是下凸函数使使到达最小，且到达最小，且使使到达最小，且到达最小，且11第11页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质因为因为I(P)I(P)为凸下函数为凸下函数12第12页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质R R(D D)是是DD连续单调减函数连续单调减函数减函数减函数单调减函数单调减函数13第13页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质足够小足够小=014第14页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质15第15页Information Theory and Coding TheoryInformation Theory and Coding Theory有失真时逆信源编码定理有失真时逆信源编码定理当速率小于当速率小于R R(DD)时，不论采取什么方式，时，不论采取什么方式，平均失真必大于平均失真必大于DD.设假若存在一个编码方式，当设假若存在一个编码方式，当 时时 信源输出信源输出u u平平均失真均失真16第16页Information Theory and Coding TheoryInformation Theory and Coding Theory有失真时逆信源编码定理有失真时逆信源编码定理而由假设而由假设17第17页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS RDMS R(D D)计算计算对全部对全部u使使关于关于P(v|u)最小最小18第18页Information Theory and Coding TheoryInformation Theory and Coding Theory拉格朗日函数拉格朗日函数19第19页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)DMS R(D)计算计算上式是在假设全部上式是在假设全部 大于大于0情况下求得情况下求得 20第20页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)计算计算21第21页Information Theory and Coding TheoryInformation Theory and Coding TheoryS几何含义几何含义s是点是点 处率失真函数斜率：处率失真函数斜率：22第22页Information Theory and Coding TheoryInformation Theory and Coding Theory23第23页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤j=1,2,3,J 解出解出2.由由解出解出1 13.由由解出解出S4.代入代入24第24页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤例例25第25页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)步骤步骤26第26页Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源27第27页Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源28第28页Information Theory and Coding TheoryInformation Theory and Coding Theory定理定理9.3.3 29第29页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.2 信源输出是平均值为零，方差为 独立高斯变量 30第30页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.231第31页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.232第32页