信息论与编码复习总结市公开课一等奖省赛课微课金奖课件.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,总复习,主要概念及运算,熵及其计算,互熵（平均互信息）及其计算,信道容量及其计算（尤其是对称及准对称信道容量）,马尔科夫信源平稳分布,即时码判定、信源编码方法（尤其是霍夫曼编码）,失真矩阵及平均失真度、失真定义域,主要定理（香农三大定理及香农公式）,无失真信源编码定理,有噪信道编码定理 香农公式,限失真信源编码定理,1,第1页,信息怎样度量？,熵及互熵（平均互信息）、信道容量,2.需要处理问题：,信息传输可靠性与有效性问题,信源编码与信道编码（香农三大定理）,通信基本问题（主要问题、关键问题）,2,第2页,自信息量,联合自信息量,条件自信息量,3,第3页,互信息量,I,(,x,i,;,y,j,),4,第4页,平均自信息量（熵）,H,(,X,)表示信源平均不确定度,平均信息量,H,(,X,)表示信源随机性,H,(,X,)表示信源输出,每个符号所提供平均信息量,H,(,X,)表示信宿所能取得最大信息量,5,第5页,条件熵,联合熵,平均互信息量（互熵）,6,第6页,名称,符号,关 系,图 示,无,条,件,熵,条,件,熵,条,件,熵,联,合,熵,交,互,熵,各种熵之间关系,7,第7页,信道由,传递概率矩阵唯一决定，传递概率矩阵称为,信道矩阵,P。,信道描述,8,第8页,信道容量,信道容量表征信道,传送信息最大能力,。,实际中信道传送信息量必须小于信道容量。,信道容量与信源分布无关,9,第9页,损失熵,：信源符号经过有噪信道传输后所引发信息量损失，即,信道疑义度,H,(,X,|,Y,),。,噪声熵,：在已知集,X,条件下，对于集,Y,尚存在不确定性，即条件熵,H,(,Y|X,),。,10,第10页,离散信道对照表,分类,无噪,无损信道,有噪,无损信道,无噪有损,信道,定义,H,(,X,|,Y,)=0,（无损）,H,(,Y,|,X,)=0,（无噪）,H,(,X,|,Y,)=0（无损）,H,(,Y,|,X,)0（有噪）,H,(,X,|,Y,)0（有损）,H,(,Y,|,X,)=0（无噪）,特点,一一对应,一多对应,多一对应,11,第11页,分,类,无噪,无损信道,有噪,无损信道,无噪有损,信道,信道容量,条件,信道输入为等概分布,信道输入为等概分布,使信道输出为等概分布p(y)=1/s输入分布,12,第12页,对称信道信道容量计算,特殊,DMC,信道容量,13,第13页,特殊,DMC,信道容量,例：对称信道,14,第14页,特殊,DMC,信道容量,定理3.2：对于准对称信道，到达信道容量输入分布为等概分布。,证实：(略),准对称信道信道容量计算,15,第15页,特殊,DMC,信道容量,例：准对称信道,16,第16页,霍夫曼(Huffman)编码,费诺(Fano)编码,平均码长,编码效率即时码存在,（,唯一可译码存在,）充要条,件为：,克拉夫特,不等式,17,第17页,译码规则,使平均错误概率,p,E,最小为选择译码规则准则,(1)最大后验概率译码规则,理想观察者规则,选择译码函数,F,(,y,j,),x,*,，使之满足条件,(2)最大似然译码规则,选择译码函数,F,(,y,j,),x*,，使之满足条件,18,第18页,平均错误概率,若输入为等慨分布，则,19,第19页,单个符号失真度全体组成矩阵 ，称为失真矩阵,失真矩阵,20,第20页,平均失真,因为,x,i,和,y,j,都是随机变量，所以失真函数,d,(,x,i,，,y,j,),也是随机变量，限失真时失真值，只能用它数学期望或统计平均值，所以将失真函数数学期望称为,平均失真,，记为,21,第21页,对于离散无记忆信源，R(D)函数可写成,p,(,a,i,)，,i,1，2，n,是信源符号概率分布；,p,(,b,j,/,a,i,)，,i,1，2，n，,j,1，2，m,是转移概率分布；,p,(,b,j,)，,j,1，2，m,是接收端收到符号概率分布。,信息率失真函数,22,第22页,R(D)函数定义域,23,第23页,香农三大定理,无失真信源编码定理：,平均码长大于等于信源熵,有噪信道编码定理：,信息传输率小于等于信道容量,限失真信源编码定理：,信息传输率大于等于信息率失真函数,压缩有限，靠近无限,传输有限，靠近无限,压缩有限，靠近无限,24,第24页,结论：,（1）带宽一定时，信道最大传输率是信噪比函数。,（2）信噪比确定时，信道容量与带宽成正比。此时提升最大信息传输率方法是提升带宽。,香农公式,25,第25页,总 结,掌握信息熵、条件熵和平均互信息之间关系,了解香农三大定理及香农公式,掌握霍夫曼编码方法,掌握最大后验概率译码方法,掌握失真定义域求法,掌握离散对称、准对称信道判定方法及其信道容量求法,掌握香农公式,26,第26页,