信息论与编码复习总结省公共课一等奖全国赛课获奖课件.pptx

总复习总复习主要概念及运算主要概念及运算 熵及其计算熵及其计算 互熵（平均互信息）及其计算互熵（平均互信息）及其计算 信道容量及其计算（尤其是对称及准对称信道信道容量及其计算（尤其是对称及准对称信道容量）容量）马尔科夫信源平稳分布马尔科夫信源平稳分布 即时码判定、信源编码方法（尤其是霍夫曼编即时码判定、信源编码方法（尤其是霍夫曼编码）码）失真矩阵及平均失真度、失真定义域失真矩阵及平均失真度、失真定义域主要定理（香农三大定理及香农公式）主要定理（香农三大定理及香农公式）无失真信源编码定理无失真信源编码定理 有噪信道编码定理有噪信道编码定理 香农公式香农公式 限失真信源编码定理限失真信源编码定理1第1页1.1.信息怎样度量？信息怎样度量？2.2.熵及互熵（平均互信息）、信道容量熵及互熵（平均互信息）、信道容量2.2.需要处理问题：需要处理问题：信息传输可靠性与有效性问题信息传输可靠性与有效性问题 信源编码与信道编码（香农三大定理）信源编码与信道编码（香农三大定理）通信基本问题（主要问题、关键问题）通信基本问题（主要问题、关键问题）2第2页自信息量自信息量联合自信息量联合自信息量条件自信息量条件自信息量3第3页互信息量互信息量I(xi;yj)4第4页平均自信息量（熵）平均自信息量（熵）H(X)表示信源平均不确定度表示信源平均不确定度平均信息量平均信息量H(X)表示信源随机性表示信源随机性 H(X)表示信源输出表示信源输出每个符号所提供平均信息量每个符号所提供平均信息量H(X)表示信宿所能取得最大信息量表示信宿所能取得最大信息量 5第5页条件熵条件熵联合熵联合熵平均互信息量（互熵）平均互信息量（互熵）6第6页 名称名称 符号符号 关关 系系 图图 示示 无无 条条 件件 熵熵 条条 件件 熵熵 条条 件件 熵熵 联联 合合 熵熵 交交 互互 熵熵各各种种熵熵之之间间关关系系7第7页 信道由信道由传递概率矩阵唯一决定，传递概率矩阵传递概率矩阵唯一决定，传递概率矩阵称为称为信道矩阵信道矩阵P。信道描述信道描述8第8页信道容量信道容量信道容量表征信道信道容量表征信道传送信息最大能力传送信息最大能力。实际中信道传送信息量必须小于信道容量。实际中信道传送信息量必须小于信道容量。信道容量与信源分布无关信道容量与信源分布无关9第9页损失熵损失熵：信源符号经过有噪信道传输后所引：信源符号经过有噪信道传输后所引发信息量损失，即发信息量损失，即信道疑义度信道疑义度 H(X|Y)。噪声熵噪声熵：在已知集：在已知集 X条件下，对于集条件下，对于集 Y尚存尚存在不确定性，即条件熵在不确定性，即条件熵 H(Y|X)。10第10页离散信道对照表离散信道对照表分分类类无噪无噪无无损损信道信道有噪有噪无无损损信道信道无噪有损无噪有损信道信道定定义义H(X|Y)=0（无损）（无损）H(Y|X)=0（无噪）（无噪）H(X|Y)=0（无（无损损）H(Y|X)0（有噪）（有噪）H(X|Y)0（有（有损损）H(Y|X)=0（无噪）（无噪）特特点点一一一一对应对应一多一多对应对应多一多一对应对应11第11页分分类类 无噪无噪无无损损信道信道有噪有噪无无损损信道信道无噪有损无噪有损信道信道信信道道容容量量 条条件件 信道输入为等概信道输入为等概分布分布 信道输入为等概信道输入为等概分布分布 使信道输出为等概分布p(y)=1/s输入分布 12第12页对称信道信道容量计算对称信道信道容量计算特殊特殊DMC信道容量信道容量13第13页特殊特殊DMC信道容量信道容量例：对称信道例：对称信道14第14页特殊特殊DMC信道容量信道容量定理定理3.23.2：对于准对称信道，到达信道容量输入：对于准对称信道，到达信道容量输入分布为等概分布。分布为等概分布。证实：证实：(略略)准对称信道信道容量计算准对称信道信道容量计算15第15页特殊特殊DMC信道容量信道容量例：准对称信道例：准对称信道16第16页霍夫曼霍夫曼(Huffman)编码编码 费诺费诺(Fano)编码编码平均码长平均码长编码效率编码效率即时码存在即时码存在（唯一可译码存在唯一可译码存在）充要条）充要条件为：件为：克拉夫特克拉夫特不等式不等式17第17页译码规则译码规则 使平均错误概率使平均错误概率pE最小为选择译码规则准则最小为选择译码规则准则(1)最大后验概率译码规则最大后验概率译码规则理想观察者规则理想观察者规则 选择译码函数选择译码函数F(yj)x*，使之满足条件，使之满足条件(2)最大似然译码规则最大似然译码规则 选择译码函数选择译码函数F(yj)x*，使之满足条件，使之满足条件18第18页平均错误概率平均错误概率若输入为等慨分布，则若输入为等慨分布，则19第19页 单个符号失真度全体组成矩阵单个符号失真度全体组成矩阵 ，称，称为失真矩阵为失真矩阵失真矩阵失真矩阵20第20页平均失真平均失真 因因为为xi和和yj都都是是随随机机变变量量，所所以以失失真真函函数数d(xi，yj)也也是是随随机机变变量量，限限失失真真时时失失真真值值，只只能能用用它它数数学学期期望望或或统统计计平平均均值值，所所以以将将失失真真函函数数数数学学期期望望称称为为平平均均失失真真，记为，记为21第21页对于离散无记忆信源，对于离散无记忆信源，R(D)函数可写成函数可写成 p(ai)，i1，2，n 是信源符号概率分布；是信源符号概率分布；p(bj/ai)，i1，2，n，j1，2，m 是转移概率分布；是转移概率分布；p(bj)，j1，2，m 是接收端收到符号概率分布。是接收端收到符号概率分布。信息率失真函数信息率失真函数22第22页R(D)函数定义域函数定义域23第23页香农三大定理香农三大定理无失真信源编码定理：无失真信源编码定理：平均码长大于等于信源熵平均码长大于等于信源熵有噪信道编码定理：有噪信道编码定理：信息传输率小于等于信道容量信息传输率小于等于信道容量 限失真信源编码定理：限失真信源编码定理：信息传输率大于等于信息率失真函数信息传输率大于等于信息率失真函数压缩有限，靠近无限压缩有限，靠近无限传输有限，靠近无限传输有限，靠近无限压缩有限，靠近无限压缩有限，靠近无限24第24页结论：结论：（1 1）带宽一定时，信道最大传输率是信噪比函数。）带宽一定时，信道最大传输率是信噪比函数。（2 2）信噪比确定时，信道容量与带宽成正比。此）信噪比确定时，信道容量与带宽成正比。此时提升最大信息传输率方法是提升带宽。时提升最大信息传输率方法是提升带宽。香农公式香农公式25第25页总总 结结掌握信息熵、条件熵和平均互信息之间关掌握信息熵、条件熵和平均互信息之间关系系了解香农三大定理及香农公式了解香农三大定理及香农公式掌握霍夫曼编码方法掌握霍夫曼编码方法掌握最大后验概率译码方法掌握最大后验概率译码方法掌握失真定义域求法掌握失真定义域求法掌握离散对称、准对称信道判定方法及其掌握离散对称、准对称信道判定方法及其信道容量求法信道容量求法掌握香农公式掌握香农公式26第26页