率失真函数专题培训市公开课金奖市赛课一等奖课件.pptx

Information Theory and Coding TheoryInformation Theory and Coding Theory第第9章章 率失真函数率失真函数1第1页第1页Information Theory and Coding TheoryInformation Theory and Coding Theory普通概念与定义普通概念与定义不等长编码平均长度不超出不等长编码平均长度不超出H HL L(U U)/log)/logDD+1/+1/L L能能够无失真够无失真等长编码等长编码HHL L(U)+(U)+e e/logD/logD失真不会超出给定值失真不会超出给定值传播信息允许失真，信息率能够下降传播信息允许失真，信息率能够下降0.250.250.250.150.10不等长编码不等长编码000110110111等长编码等长编码000001010011100允许失真允许失真00011011112.25bit3bit2bit2第2页第2页Information Theory and Coding TheoryInformation Theory and Coding Theory信道失真信道失真d(u,v)d(u,v)是是U U和和V V非负函数，非负函数，U,VU,V为离散变量为离散变量UV=a1,a2,akP(v|u)UV3第3页第3页Information Theory and Coding TheoryInformation Theory and Coding Theory平均失真平均失真4第4页第4页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数率失真函数P PDD是满足是满足 所有所有P Pji ji集合集合失真不超出失真不超出D D 时传时传播所需最小互信息播所需最小互信息量量5第5页第5页Information Theory and Coding TheoryInformation Theory and Coding Theory失真率函数失真率函数给定信息率，找给定信息率，找最小失真编码方最小失真编码方式式6第6页第6页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数基本性质率失真函数基本性质7第7页第7页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域不允许最小失真小于某一值，不允许最小失真小于某一值，DDDDminminDDmaxmax是使是使R(D)=0DR(D)=0D最小值最小值令令P PD D是使是使I(Pji)0 0全体转移概率集合全体转移概率集合8第8页第8页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域I(Pji)=0充要条件是充要条件是U U和和V V统计独立统计独立9第9页第9页Information Theory and Coding TheoryInformation Theory and Coding Theory率失真函数定义域率失真函数定义域例例 Q(0)=Q(1)=0.50110E110.20.2失真定义失真定义V=0,1,D=0.5*0.2+0.5*0.2=0.2V=E,D=0.5Dmax=0.210第10页第10页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质R R(D D)是下凸函数是下凸函数使使达到最小，且达到最小，且使使达到最小，且达到最小，且11第11页第11页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质由于由于I(P)I(P)为凸下函数为凸下函数12第12页第12页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质R R(D D)是是DD连续单调减函数连续单调减函数减函数减函数单调减函数单调减函数13第13页第13页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质足够小足够小=014第14页第14页Information Theory and Coding TheoryInformation Theory and Coding TheoryR(D)性质性质15第15页第15页Information Theory and Coding TheoryInformation Theory and Coding Theory有失真时逆信源编码定理有失真时逆信源编码定理当速率小于当速率小于R R(DD)时，无论采用什么方式，时，无论采用什么方式，平均失真必不小于平均失真必不小于DD.设假若存在一个编码方式，当设假若存在一个编码方式，当 时时 信源输出信源输出u u平平均失真均失真16第16页第16页Information Theory and Coding TheoryInformation Theory and Coding Theory有失真时逆信源编码定理有失真时逆信源编码定理而由假设而由假设17第17页第17页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS RDMS R(D D)计算计算对所有对所有u使使关于关于P(v|u)最小最小18第18页第18页Information Theory and Coding TheoryInformation Theory and Coding Theory拉格朗日函数拉格朗日函数19第19页第19页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)DMS R(D)计算计算上式是在假设所有上式是在假设所有 不小于不小于0情况下求得情况下求得 20第20页第20页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS R(D)计算计算21第21页第21页Information Theory and Coding TheoryInformation Theory and Coding TheoryS几何含义几何含义s是点是点 处率失真函数斜率：处率失真函数斜率：22第22页第22页Information Theory and Coding TheoryInformation Theory and Coding Theory23第23页第23页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)环节环节j=1,2,3,J 解出解出2.由由解出解出1 13.由由解出解出S4.代入代入24第24页第24页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)环节环节例例25第25页第25页Information Theory and Coding TheoryInformation Theory and Coding TheoryDMS DMS 求求R(D)R(D)环节环节26第26页第26页Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源27第27页第27页Information Theory and Coding TheoryInformation Theory and Coding Theory连续信源连续信源28第28页第28页Information Theory and Coding TheoryInformation Theory and Coding Theory定理定理9.3.3 29第29页第29页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.2 信源输出是平均值为零，方差为 独立高斯变量 30第30页第30页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.231第31页第31页Information Theory and Coding TheoryInformation Theory and Coding Theory例例9.3.232第32页第32页