信息论-总复习省公共课一等奖全国赛课获奖课件.pptx

Wuhan UniversityWuhan University总总 复复 习习1 1 概论概论2 2 信源及信息熵信源及信息熵3 3 信源编码信源编码4 4 信道及信道容量信道及信道容量5 5 信道编码信道编码6 6 信息率失真函数信息率失真函数7 7 考试情况考试情况 1 1第1页Wuhan UniversityWuhan Universityl信息与消息和信号区分信息与消息和信号区分消息消息：是指包含有信息语言、文字和图像等，：是指包含有信息语言、文字和图像等，可表示客观物质运动和主观思维活动状态。可表示客观物质运动和主观思维活动状态。信号信号：把消息变换成适合信道传输物理量，：把消息变换成适合信道传输物理量，这种物理量称为信号（如电信号、光信号、这种物理量称为信号（如电信号、光信号、声音信号等）。声音信号等）。信息信息是事物是事物运动状态运动状态和和状态改变状态改变方式。方式。第1章 概论2 2第2页Wuhan UniversityWuhan Universityl信息信息信息是事物运动状态和状态改变方式。信息是事物运动状态和状态改变方式。l研究信息论目标：研究信息论目标：它主要目标是提升信息系统可它主要目标是提升信息系统可靠性、有效性和安全性方便到达系统最优化。靠性、有效性和安全性方便到达系统最优化。l在通信系统中形式上传输是消息，但实质上传输在通信系统中形式上传输是消息，但实质上传输是信息。消息只是表示信息工具，载荷信息客体。是信息。消息只是表示信息工具，载荷信息客体。3 3第3页Wuhan UniversityWuhan University编码器编码器信宿信宿信道信道消息消息干扰干扰消息消息通信系统模型通信系统模型信源信源信号信号解码器解码器信号信号+干扰干扰噪声源噪声源l信息论研究对象信息论研究对象:通信系统模型通信系统模型.信源信源信道信道加密加密信源信源信道信道解密解密通信系统基本任务要求通信系统基本任务要求可靠可靠:要使信源发出消息经过传输后，尽可能准确地、不要使信源发出消息经过传输后，尽可能准确地、不失真或限定失真地再现在接收端失真或限定失真地再现在接收端有效有效:用尽可能短时间和尽可能少设备来传输最大消息用尽可能短时间和尽可能少设备来传输最大消息4 4第4页Wuhan UniversityWuhan Universityl单符号离散信源单符号离散信源l自信息量自信息量用概率测度定义信息量，设离散信源用概率测度定义信息量，设离散信源 X X，其，其概率空间为概率空间为假如知道事件假如知道事件 x xi i 已发生，则该事件所含有自已发生，则该事件所含有自信息定义为信息定义为第第2 2章章 信源熵信源熵5 5第5页Wuhan UniversityWuhan Universityl联合自信息量联合自信息量l当当 X X 和和 Y Y 相互独立时，相互独立时，p(xp(xi iy yj j)=p(x)=p(xi i)p)p(y(yj j)6 6第6页Wuhan UniversityWuhan Universityl条件自信息量：条件自信息量：已知已知y yj j 条件下条件下x xi i 依然存在依然存在不确定度。不确定度。l自信息量、条件自信息量和联合自信息量之自信息量、条件自信息量和联合自信息量之间关系间关系7 7第7页Wuhan UniversityWuhan Universityl互信息量：互信息量：y yj j 对对 x xi i 互信息量定义为后验概互信息量定义为后验概率与先验概率比值对数。率与先验概率比值对数。l两个不确定度之差是不确定度被消除部分，两个不确定度之差是不确定度被消除部分，即等于自信息量减去条件自信息量。即等于自信息量减去条件自信息量。8 8第8页Wuhan UniversityWuhan Universityl平均信息量平均信息量信源熵：信源熵：自信息数学期望。也称为信自信息数学期望。也称为信源信息熵源信息熵/信源熵信源熵/熵。熵。l信息熵意义：信息熵意义：信源信息熵信源信息熵 H H 是从是从整个整个信源统计特信源统计特征来考虑。它是从征来考虑。它是从平均意义平均意义上来表征信源上来表征信源总体特征总体特征。对于某特定信源，其信息熵是唯一。不一样信源因对于某特定信源，其信息熵是唯一。不一样信源因统计特征不一样，其熵也不一样。统计特征不一样，其熵也不一样。9 9第9页Wuhan UniversityWuhan Universityl条件熵：条件熵：是在联合符号集合是在联合符号集合 XY XY 上条件自信息数学上条件自信息数学期望。期望。l联合熵联合熵 H(XY)H(XY)：表示输入随机变量表示输入随机变量 X X，经信道传，经信道传输抵达信宿，输出随机变量输抵达信宿，输出随机变量 Y Y。即收、发双方通。即收、发双方通信后，整个系统依然存在不确定度。信后，整个系统依然存在不确定度。1010第10页Wuhan UniversityWuhan Universityl信道疑义度信道疑义度H(X|Y)H(X|Y)：表示信宿在收到表示信宿在收到 Y Y 后，信后，信源源 X X 依然存在依然存在不确定度。是经过有噪信道传输后不确定度。是经过有噪信道传输后引发信息量损失，故也可称为损失熵。引发信息量损失，故也可称为损失熵。l噪声熵噪声熵H(Y|X)H(Y|X)：表示在已知表示在已知 X X 条件下，对于符条件下，对于符号集号集 Y Y 尚存在不确定性，这完全是因为信道中噪尚存在不确定性，这完全是因为信道中噪声引发。声引发。唯一确定信道噪声所需要平均信息量。唯一确定信道噪声所需要平均信息量。1111第11页Wuhan UniversityWuhan Universityl平均互信息量定义：平均互信息量定义：互信息量互信息量 I(xI(xi i;y;yj j)在联合概在联合概率空间率空间 P(XY)P(XY)中统计平均值。中统计平均值。l从一个事件取得另一个事件平均互信息需要消除不从一个事件取得另一个事件平均互信息需要消除不确定度，一旦消除了不确定度，就取得了信息。确定度，一旦消除了不确定度，就取得了信息。1212第12页Wuhan UniversityWuhan University熵熵H(X)H(X)H(X)=H(X|Y)H(X)=H(X|Y)H(X)=H(X|Y)+I(X;Y)H(X)=H(X|Y)+I(X;Y)X Y X Y条件熵条件熵H(X|Y)H(X|Y)H(X|Y)=H(XY)-H(Y)H(X|Y)=H(XY)-H(Y)=H(X)-I(X;Y)=H(X)-I(X;Y)X Y X Y联合熵联合熵H(XY)=H(YX)H(XY)=H(YX)H(XY)=H(X)+H(Y|X)H(XY)=H(X)+H(Y|X)=H(X|Y)+H(Y|X)+I(X;Y)=H(X|Y)+H(Y|X)+I(X;Y)X Y X Y平均互信平均互信息息I(X;Y)=I(Y;X)I(X;Y)=I(Y;X)I(X;Y)=H(X)-H(X|Y)I(X;Y)=H(X)-H(X|Y)=H(X)+H(Y)-H(X,Y)=H(X)+H(Y)-H(X,Y)X Y X Y平均互信息和熵关系平均互信息和熵关系1313第13页Wuhan UniversityWuhan University数据处理定理（信息不增原理）数据处理定理（信息不增原理）当当消消息息经经过过多多级级处处理理器器时时,伴伴随随处处理理器器数数目目标标增增多多,输输入入消消息息和和输输出出消消息息之之间间平平均均互互信信息息量量趋趋于于变变小小。信息不增信息不增I(X;Z)I(X;f(Z)=I(X;Y)H(X|Z)H(X|f(Z)=H(X|Y)1414第14页Wuhan UniversityWuhan Universityl最大离散熵定理最大离散熵定理 (极值性极值性)：离散无记忆信源输离散无记忆信源输出出 n n 个不一样信息符号，当且仅当个不一样信息符号，当且仅当各个符号出各个符号出现概率相等现概率相等时时 (即即p(xp(xi i)=1/n)=1/n)，熵最大。，熵最大。Hp(xHp(x1 1),p(x),p(x2 2),p(x),p(xn n)logn)logn1515第15页Wuhan UniversityWuhan Universityl二进制信源熵函数二进制信源熵函数 H(p)H(p)为为1616第16页Wuhan UniversityWuhan UniversitylBSCBSC信道平均互信息量信道平均互信息量l 设二进制对称信道输入概率空间为设二进制对称信道输入概率空间为1717第17页Wuhan UniversityWuhan University1818第18页Wuhan UniversityWuhan Universityl连续信源熵连续信源熵为为定定义义熵熵在在形形式式上上和和离离散散信信源源相相同同。连连续续信信源源熵熵并并不不是是实实际际信信源输出信息量源输出信息量(绝对熵绝对熵)；Hc(X)也称为相对熵也称为相对熵连续信源连续信源信息量为无限大信息量为无限大；Hc(X)已不能代表信源平均不确定度，也不能代表连续信源已不能代表信源平均不确定度，也不能代表连续信源输出信息量。输出信息量。1919第19页Wuhan UniversityWuhan University限峰值最大熵定理限峰值最大熵定理:若信源若信源N N维随机变量维随机变量取值在一定范取值在一定范围之内围之内，则在有限定义域内，则在有限定义域内，均匀分布均匀分布连续信源含连续信源含有最大熵。有最大熵。限平均功率最大熵定理：限平均功率最大熵定理：若信源输出信号若信源输出信号平均功率平均功率P P或或方差受限方差受限，则其输出信号幅度概率密度函数为，则其输出信号幅度概率密度函数为高斯高斯分布分布时，信源含有最大熵值。时，信源含有最大熵值。限均值最大连续熵定理：限均值最大连续熵定理：若连续信源若连续信源X X输出非负信号输出非负信号均均值受限值受限，则其输出信号幅度呈，则其输出信号幅度呈指数分布指数分布时，连续信时，连续信源源X X含有最大熵值。含有最大熵值。2020第20页Wuhan UniversityWuhan University 离散信源无失真编码实质上是一个统计匹配编离散信源无失真编码实质上是一个统计匹配编码。信息论指出信源中统计多出度主要决定于以下码。信息论指出信源中统计多出度主要决定于以下两个主要原因：两个主要原因：一是消息一是消息概率分布非均匀性概率分布非均匀性，另一个是，另一个是消息间消息间相关性相关性。对无记忆信源主要决定于概率分布非均匀。对无记忆信源主要决定于概率分布非均匀性，不过，对于有记忆信源，二者都起作用，且后性，不过，对于有记忆信源，二者都起作用，且后者相关性愈加主要。者相关性愈加主要。第第3 3章章 信源编码信源编码2121第21页Wuhan UniversityWuhan UniversityDef.Def.可达速率：可达速率：可达速率：可达速率：对于给定信源和编码速率对于给定信源和编码速率R R及任及任意意00，若存在，若存在L L0 0、()、D(D()，使当码长，使当码长LLLL0 0时，时，P Pe e H(U)RH(U)，则，则R R是是可达可达；若；若RH(U)RH(U)RH(U)契比雪夫不等式右边是理论上误码率上限，契比雪夫不等式右边是理论上误码率上限，必须小于给定误码率才能确保抵达编码性能要求必须小于给定误码率才能确保抵达编码性能要求2424第24页Wuhan UniversityWuhan University定长编码定理定长编码定理定长编码定理定长编码定理 其中差错率满足以下式子其中差错率满足以下式子2525第25页Wuhan UniversityWuhan University 凡是能载荷一定信息量凡是能载荷一定信息量,且码字平均长度最短且码字平均长度最短,可分可分离变长码码字集合就称为离变长码码字集合就称为最正确变长码最正确变长码.必须将必须将概率大信息符号以短码字概率大信息符号以短码字,将概率小信息符将概率小信息符号以长码字号以长码字.主要有主要有:香农香农-费诺费诺(Shannon-Fano),(Shannon-Fano),哈夫曼哈夫曼(Huffman)(Huffman)编码编码等等唯一可译性两种处理方法唯一可译性两种处理方法Def.Def.逗点码逗点码Def.Def.异字头码异字头码2626第26页Wuhan UniversityWuhan University2 2 2 2香农费诺编码香农费诺编码香农费诺编码香农费诺编码费诺编码步骤以下：费诺编码步骤以下：a.a.将概率按从大到小次序排列，令将概率按从大到小次序排列，令b.b.按编码进制数将概率分组，使每组概率尽可能靠近按编码进制数将概率分组，使每组概率尽可能靠近或相等。或相等。c.c.给每一组分配一位码元。给每一组分配一位码元。d.d.将每一分组再按一样标准划分，重复步骤将每一分组再按一样标准划分，重复步骤b b和和c c，直，直至概率不再可分为止。至概率不再可分为止。2727第27页Wuhan UniversityWuhan University3 3 3 3 哈夫曼编码哈夫曼编码哈夫曼编码哈夫曼编码a.a.将信源符号按概率从大到小次序排列，令将信源符号按概率从大到小次序排列，令b.b.给两个概率最小信源符号给两个概率最小信源符号p p(x xn n-1-1)和和p p(x xn n)各分配一个各分配一个码位码位0 0和和1 1，将这两个符号合并成一个新符号，其概率，将这两个符号合并成一个新符号，其概率之和作为新符号概率，得到之和作为新符号概率，得到(n n1)1)个符号。个符号。c.c.将缩减信源符号按概率排列，重复步骤将缩减信源符号按概率排列，重复步骤a,ba,b。直至。直至缩减信源只剩两个符号为止。缩减信源只剩两个符号为止。d.d.从最终一级缩减信源开始，依编码路径向前返回，从最终一级缩减信源开始，依编码路径向前返回，就得到各信源符号所对应码字。就得到各信源符号所对应码字。注意注意3 3进制编码？进制编码？2828第28页Wuhan UniversityWuhan University4 4 4 4 算术编码算术编码算术编码算术编码l算术编码是计算序列累计分布，用累计分布值表示序列，算术编码是计算序列累计分布，用累计分布值表示序列，所以称为算术编码所以称为算术编码l以二元信源输出序列编码为例以二元信源输出序列编码为例0111001110P(0)P(1)F(0)F(1)P(00)P(01)F(01)P(010)P(011)F(011)P(0110)P(0111)F(0111)P(01110)P(01111)F(01111)u对应区间宽度等于符号序列概率对应区间宽度等于符号序列概率2929第29页Wuhan UniversityWuhan University算术编码算术编码算术编码算术编码l递推公式编码lP(u=bbbbbbaa)=0.7560.252=lF(a)=0,F(b)=0.25序号序号uiP(ui)=HF(ui)=Gn(ui)S01001b3/41/4=0+1*1/410.12b9/167/16=1/4+3/4*1/410.13b27/6437/64=7/16+9/16*1/420.114b81/256175/256=37/64+27/64*1/420.115b243/1024781/1024=30.1116b729/40963367/4096=30.1117a729/163843367/4096=50.110118a729/655363367/4096=70.1101010H=HP(ul+1),G=G+HF(al+1)3030第30页Wuhan UniversityWuhan UniversityLZ编码l利用字典编码方法利用字典编码方法l信源符号信源符号A=(aA=(a1 1aaK K)l将序列分为不一样段将序列分为不一样段l取最短长度连续符号组成段，确保互不相同。取最短长度连续符号组成段，确保互不相同。l先取一个符号分段，若与前面段相同，就再取一先取一个符号分段，若与前面段相同，就再取一个符号，直至序列结束个符号，直至序列结束l得到字典表，码字由段号加后一个符号组成。得到字典表，码字由段号加后一个符号组成。l单符号码字，段号为单符号码字，段号为0 03131第31页Wuhan UniversityWuhan UniversityLZLZ编码特点编码特点特点一特点一 编码效率能够靠近信息熵上限。编码效率能够靠近信息熵上限。特点二特点二 不需要事先知道信源概率分布。不需要事先知道信源概率分布。特点三特点三 用一个巧妙方式使用字典技术。用一个巧妙方式使用字典技术。特点四特点四 文件越小，压缩百分比越小；文件越大，压缩文件越小，压缩百分比越小；文件越大，压缩百分比越大。百分比越大。LZLZ编码应用领域编码应用领域几乎垄断了整个通用数据压缩领域，如几乎垄断了整个通用数据压缩领域，如PKZIP、WinZIP、WinRAR、gzip等压缩工具以及等压缩工具以及ZIP、GIF、PNG等文件格式都是等文件格式都是LZ系列算法受益者。系列算法受益者。3232第32页Wuhan UniversityWuhan University 我们学习了几个信源编码：香农费诺编码、哈夫曼我们学习了几个信源编码：香农费诺编码、哈夫曼编码、游程编码、算术编码、编码、游程编码、算术编码、LZLZ编码等。编码等。游程编码和算术编码是非分组编码；游程编码是限游程编码和算术编码是非分组编码；游程编码是限失真信源编码。本章介绍都是离散信源变长编码。失真信源编码。本章介绍都是离散信源变长编码。优点优点：提升编码效率；：提升编码效率；缺点缺点：需要大量缓冲设备来存放这些变长码，然后：需要大量缓冲设备来存放这些变长码，然后再以恒定码率进行传送；假如出现了误码，轻易引发再以恒定码率进行传送；假如出现了误码，轻易引发错误扩散，所以要求有优质信道。错误扩散，所以要求有优质信道。3333第33页Wuhan UniversityWuhan Universityl信道容量信道容量 C C：在信道中最大信息传输速率，单位是在信道中最大信息传输速率，单位是比特比特/符号符号。l单位时间信道容量单位时间信道容量 C Ct t：若信道平均传输一个符号需若信道平均传输一个符号需要要 t t 秒钟，则单位时间信道容量为秒钟，则单位时间信道容量为l C Ct t 实际是信道最大信息传输速率。实际是信道最大信息传输速率。第第3 3章章 信道容量信道容量3434第34页Wuhan UniversityWuhan Universityl依据信道中所受噪声种类不一样依据信道中所受噪声种类不一样,可分为可分为随机随机差错信道和突发差错信道差错信道和突发差错信道.l在有记忆信道中，噪声干扰影响往往是前后在有记忆信道中，噪声干扰影响往往是前后相关，错误是成串出现，普通在编码中我们称相关，错误是成串出现，普通在编码中我们称这类信道为这类信道为突发差错突发差错信道。实际衰落信道、码信道。实际衰落信道、码间干扰信道均属于这类信道。有些实际信道现间干扰信道均属于这类信道。有些实际信道现有有独立随机差错独立随机差错,也有也有突发性突发性成串差错，我们称成串差错，我们称它为混合信道。它为混合信道。3535第35页Wuhan UniversityWuhan University求信道容量方法求信道容量方法当信道特征当信道特征 p(yp(yj j|x|xi i)固定后，固定后，I(X;Y)I(X;Y)随信源概率分布随信源概率分布 p p(x(xi i)改变而改变。改变而改变。调整调整 p(xp(xi i)，在接收端就能取得不一样信息量。由平均互，在接收端就能取得不一样信息量。由平均互信息性质已知，信息性质已知，I(X;Y)I(X;Y)是是 p(xp(xi i)上凸函数，所以总能上凸函数，所以总能找到一个概率分布找到一个概率分布 p(xp(xi i)（即某一个信源），使信道所（即某一个信源），使信道所能传送信息率为最大。能传送信息率为最大。C C 和和 C Ct t 都是求平均互信息都是求平均互信息 I(X;Y)I(X;Y)条件极大值问题，当条件极大值问题，当输入信源概率分布输入信源概率分布 p(xp(xi i)调整好以后，调整好以后，C C 和和 C Ct t 已与已与 p p(x(xi i)无关，而仅仅是信道转移概率函数，只与信道统计无关，而仅仅是信道转移概率函数，只与信道统计特征相关；特征相关；信道容量是完全信道容量是完全描述信道特征描述信道特征参量；信道容量是信参量；信道容量是信道道能够传送最大信息量能够传送最大信息量。3636第36页Wuhan UniversityWuhan University当当 n=2 n=2 时强对称离散信道就是二进制均匀信道。时强对称离散信道就是二进制均匀信道。二进制均匀信道二进制均匀信道 信道容量为信道容量为：二进制均匀信道容量二进制均匀信道容量 曲线如图曲线如图3.2.53.2.5所表示。所表示。3737第37页Wuhan UniversityWuhan University对称DMC容量计算l结论结论 实现对称实现对称DMCDMC信道容量输入分布为信道容量输入分布为等概分布等概分布l信道只关于输入对称话（输入分布为信道只关于输入对称话（输入分布为等概分布）等概分布）3838第38页Wuhan UniversityWuhan University普通普通DMCDMC容量计算容量计算3939第39页Wuhan UniversityWuhan University普通普通DMCDMC容量计算容量计算这是K个未知量0,1,K-1=C+logw(0),C+logw(1),C+logw(K-1)线性方程组，系数矩阵是可逆方阵，所以唯一解出0,1,K-1 4040第40页Wuhan UniversityWuhan University普通普通DMCDMC容量计算容量计算另一个等式：另一个等式：w w(0)+(0)+w w(1)+(1)+w w(K K-1)=1-1)=1。于是于是i i=C+logw(i)=C+logw(i)4141第41页Wuhan UniversityWuhan University积信道或独立并行信道 C C1 1maxI(XmaxI(X1 1,Y,Y1 1)，C C2 2maxI(XmaxI(X2 2,Y,Y2 2)信道信道1 1和信道和信道2 2同时传递消息，输入集同时传递消息，输入集X=XX=X1 1XX2 2，输出，输出集集Y=YY=Y1 1YY2 2，转移概率，转移概率p(jj|kk)=p(j|k)p(j|k)p(jj|kk)=p(j|k)p(j|k)称这么组合成信道为称这么组合成信道为1 1和和2 2积信道或独立并行信道积信道或独立并行信道信道信道1P(j|k)X1Y1信道信道2P(j|k)X2Y2积信道容量积信道容量 C=C1+C24242第42页Wuhan UniversityWuhan University和信道或并信道l单位时间内能够且只能随机选取信道单位时间内能够且只能随机选取信道1 1和信道和信道2 2中一个，选取信道中一个，选取信道1 1概率为概率为p1p1，选取信道，选取信道2 2概率概率为为p2p2，p1p1p2p21 1l输入空间输入空间X=X1+X2X=X1+X2，Y=Y1+Y2Y=Y1+Y2，4343第43页Wuhan UniversityWuhan University级联信道或串行信道l信道信道1 1输出作为信道输出作为信道2 2输入输入l（3 3）令自级连次数）令自级连次数N N+，则级连信道转移概率，则级连信道转移概率矩阵趋向于矩阵趋向于l信道容量趋向于0。4444第44页Wuhan UniversityWuhan University香农公式香农公式当信道容量一定时，增大信道带宽，能够降低对信噪当信道容量一定时，增大信道带宽，能够降低对信噪功率比要求；反之，当信道频带较窄时，能够经过功率比要求；反之，当信道频带较窄时，能够经过提升信噪功率比来赔偿。提升信噪功率比来赔偿。当信道频带无限时，其信道容量与信号功率成正比。当信道频带无限时，其信道容量与信号功率成正比。4545第45页Wuhan UniversityWuhan Universityl差错控制基本方式差错控制基本方式前向纠错前向纠错(FEC)(FEC)：发送端信道编码器将信息码组编发送端信道编码器将信息码组编成含有一定纠错能力码。接收端信道译码器对接成含有一定纠错能力码。接收端信道译码器对接收码字进行译码，若传输中产生差错数目在码纠收码字进行译码，若传输中产生差错数目在码纠错能力之内时，译码器对差错进行定位并加以纠错能力之内时，译码器对差错进行定位并加以纠正。正。自动请求重发自动请求重发(ARQ)(ARQ)：用于检测纠错码在译码器输用于检测纠错码在译码器输出端只给出当前码字传输是否可能犯错指示，当出端只给出当前码字传输是否可能犯错指示，当有错时按某种协议经过一个反向信道请求发送端有错时按某种协议经过一个反向信道请求发送端重传已发送码字全部或部分。重传已发送码字全部或部分。第第6 6章章 信道编码信道编码4646第46页Wuhan UniversityWuhan University混合纠错混合纠错(HEC)(HEC)：是是 FEC FEC 与与 ARQ ARQ 方式结合。发端方式结合。发端发送同时含有自动纠错和检测能力码组，收端收到发送同时含有自动纠错和检测能力码组，收端收到码组后，检验差错情况，假如差错在码纠错能力以码组后，检验差错情况，假如差错在码纠错能力以内，则自动进行纠正。假如信道干扰很严重，错误内，则自动进行纠正。假如信道干扰很严重，错误很多，超出了码纠错能力，但能检测出来，则经反很多，超出了码纠错能力，但能检测出来，则经反馈信道请求发端重发这组数据。馈信道请求发端重发这组数据。4747第47页Wuhan UniversityWuhan University最正确译码准则（最大似然译码）最正确译码准则（最大似然译码）通信是一个统计过程，纠、检错能力最终要反应到差通信是一个统计过程，纠、检错能力最终要反应到差错概率上。错概率上。对于对于FECFEC方式，采取纠错码后码字差错概率为方式，采取纠错码后码字差错概率为p pwewe，p(C)p(C)：发送码字：发送码字C C 先验概率先验概率p(C/R)p(C/R)：后验概率：后验概率若码字数为若码字数为 2 2k k，对充分随机消息源有，对充分随机消息源有p(C)=1/2p(C)=1/2k k，所，所以最小化以最小化p pwewe等价为最小化等价为最小化p(CCR)p(CCR)，又等价，又等价为最大化为最大化p(C=CR)p(C=CR)；4848第48页Wuhan UniversityWuhan University对于对于 BSC BSC 信道：最大化信道：最大化 p p(C C=C CR R)等价于最大等价于最大化化 p p(R RC C)，最大化，最大化p p(R RC C)又等价于最小化又等价于最小化 d d(R,CR,C)，所以使差错概率最小译码是使接收向量，所以使差错概率最小译码是使接收向量 R R 与输出码字与输出码字 C C 距离最小译码。距离最小译码。4949第49页Wuhan UniversityWuhan University对给定离散无记忆信道和任意对给定离散无记忆信道和任意e e 00，若有一个编，若有一个编码速率为码速率为R R 码，在码，在N N足够大时，能使足够大时，能使p pe e e e，就称，就称R R 是是可达可达。定理定理(ShannonShannon信道编码定理信道编码定理)，给定容量为，给定容量为C C离散无离散无记忆信道记忆信道XX，p(x|y)p(x|y)，YY，若编码速率，若编码速率RCRH(U)RH(U)(信源熵信源熵)时，最优信源编、译码存在；反之，时，最优信源编、译码存在；反之，当当RH(U)RR(D)RR(D)（信息（信息率失真函数）时，最优信源编、译码存在；反之，当率失真函数）时，最优信源编、译码存在；反之，当RR(D)RR(D)时，最优信源编、译码不存在，称它为时，最优信源编、译码不存在，称它为ShannonShannon编码第三定理编码第三定理。2 2）信道编码定理信道编码定理：在均方误差意义下，实现通信系：在均方误差意义下，实现通信系统与信道统计特征相匹配；即当统与信道统计特征相匹配；即当RCRCRC时，最优信道编，译码不存在；时，最优信道编，译码不存在；称它为称它为ShannonShannon编码第二定理编码第二定理。6767第67页Wuhan UniversityWuhan Universityl时间：时间：l地点：地点：l闭卷闭卷l带计算器，计算题写成对数形式，或准确到小数带计算器，计算题写成对数形式，或准确到小数点后最少两位有效数字点后最少两位有效数字.l认真答题，字迹清楚，叙述详实，计算题须有中认真答题，字迹清楚，叙述详实，计算题须有中间过程间过程考试情况考试情况6868第68页Wuhan UniversityWuhan University6969第69页