第3章33多符号离散信道.pptx

HUST Furong WANG-Information and Coding Theory1离散无记忆离散无记忆N次扩展信道次扩展信道o一般离散无记忆信道一般离散无记忆信道的数学模型基本上与输输入和输出为单符号的简单离散无记忆信道入和输出为单符号的简单离散无记忆信道的模型相同。o不同的是其输入和输出不是单个随机变量X和Y，而是随机序列o其概率空间为 HUST Furong WANG-Information and Coding Theory2简单的离散无记忆信道简单的离散无记忆信道o简单的离散无记忆信道的输入和输出都是单个随机变量，其数学模型如下图：o信道的输入随机变量取值于符号集Xo信道的输出随机变量取值于符号集Yo信道的传递概率为 信道 XYHUST Furong WANG-Information and Coding Theory3简单的离散无记忆信道简单的离散无记忆信道o信道矩阵为：o且满足n这意味着矩阵中每一行之和为1。HUST Furong WANG-Information and Coding Theory4离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道o此离散无记忆信道的N次扩展信道的数学模型如下图：N次扩展信道HUST Furong WANG-Information and Coding Theory5N次扩展信道的信道矩阵次扩展信道的信道矩阵HUST Furong WANG-Information and Coding Theory6N次扩展信道的信道矩阵次扩展信道的信道矩阵HUST Furong WANG-Information and Coding Theory7例例 二元对称信道的二次扩展信道二元对称信道的二次扩展信道o分析二元无记忆对称信道二元无记忆对称信道二元无记忆对称信道二元无记忆对称信道的二次扩展信道。HUST Furong WANG-Information and Coding Theory8例例 二次扩展信道的传递概率二次扩展信道的传递概率HUST Furong WANG-Information and Coding Theory9例例 二次扩展信道的信道矩阵二次扩展信道的信道矩阵o从而求得二元对称信道的二次扩展信道的信道矩阵为：HUST Furong WANG-Information and Coding Theory10例例 二元对称信道的二次扩展信道二元对称信道的二次扩展信道o 二元对称信道的二次扩展信道如下图所示：HUST Furong WANG-Information and Coding Theory11N次扩展信道的平均互信息次扩展信道的平均互信息HUST Furong WANG-Information and Coding Theory12定理一定理一o若信道的输入和输出分别是N长序列X和Y，且信道是无记忆信道是无记忆信道是无记忆信道是无记忆的的的的，亦即信道传递概率为HUST Furong WANG-Information and Coding Theory13定理定理 二二o若信道的输入和输出分别是N长序列X和Y，且信源是无信源是无信源是无信源是无记忆的记忆的记忆的记忆的，亦即HUST Furong WANG-Information and Coding Theory14N个独立信道并联个独立信道并联o根据定理一和定理二可知，当信源和信道都是无记忆的。此时，这相当于N个独立信道并联的情况。HUST Furong WANG-Information and Coding Theory15N个独立信道并联个独立信道并联o数学模型HUST Furong WANG-Information and Coding Theory16N次扩展信道次扩展信道HUST Furong WANG-Information and Coding Theory17N次扩展信道次扩展信道o这样，对于离散无记忆信道的 N 次扩展信道，当信源也是无记忆时，则有 I(X;Y)=N I(X;Y)o此式表明，当信源是无记忆时，对于无记忆的N次扩展信道，其平均互信息I(X;Y)等于原来信道的平均互信息I(X;Y)的 N 倍。HUST Furong WANG-Information and Coding Theory18离散无记忆离散无记忆N次扩展信道次扩展信道 HUST Furong WANG-Information and Coding Theory19N次扩展信道的信道容量次扩展信道的信道容量oCN=NC 表明，对于离散无记忆 N 次扩展信道，其信道容量等于单变量信道的信道容量的N 倍。o只有当输入信源是无记忆的，同时序列中每一分量Xi,i=1,2,.,N 的分布各自达到最佳分布时，N 次扩展信道的信道容量才能达到 NC。o一般情况下，消息序列在离散无记忆 N 次扩展信道中传输时，其平均互信息量为：I(X;Y)NCo对于独立并联信道，有 当个输入随机变量之间统计独立，且每个输入随机变量的概率分布为达到各自信道容量的最佳分布时，等式成立。HUST Furong WANG-Information and Coding Theory20小结小结o首先介绍了离散无记忆信道中各种熵、信道疑义度及平均互信息量之间的相互关系。并通过例题说明和验证了这些关系；o讨论了离散无记忆扩展信道。分析了二元对称信道的二次扩展信道的统计特性；o对于一般离散信道，关于传输N长随机序列所获得的平均互信息，给出了两个重要的定理。HUST Furong WANG-Information and Coding Theory21信道的组合信道的组合o实际中我们常常会遇到两个或多个信道组合在一起使用的情况。例如：n n积信道积信道积信道积信道：待发送的消息比较多时，可能要用两个或多个信道并行地传送，香农称这种信道为积信道；n n级联信道：级联信道：级联信道：级联信道：有时消息会依次地通过几个信道串行地传送，有时消息会依次地通过几个信道串行地传送，称此为级联信道；称此为级联信道；n n和信道：和信道：和信道：和信道：有时将两个以上信道联合起来，这类信道香农称为和信道。o在研究较复杂的信道时，往往也可以将它们分解成几个简单的、已经解决的信道的组合。HUST Furong WANG-Information and Coding Theory22级联信道（串联信道）的模型级联信道（串联信道）的模型o信道I和信道II都是离散无记忆信道信道I信道IIHUST Furong WANG-Information and Coding Theory23级联信道的传递概率级联信道的传递概率信道I信道IIHUST Furong WANG-Information and Coding Theory24定理定理o级联信道中的平均互信息满足以下关系HUST Furong WANG-Information and Coding Theory25数据处理定理数据处理定理HUST Furong WANG-Information and Coding Theory26数据处理定理数据处理定理信道I信道IIHUST Furong WANG-Information and Coding Theory27数据处理定理（续）数据处理定理（续）信道I信道IIHUST Furong WANG-Information and Coding Theory28定理的物理意义定理的物理意义o数据处理定理说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。o如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。o这就是信息不增性原理，它与热熵不减原理正好对应。它深刻地反映了信息的物理意义。HUST Furong WANG-Information and Coding Theory29例例 二元对称信道的串联二元对称信道的串联o设有二个离散二元对称信道，其串联信道如下图所示。o设第一个二元对称信道的输入符号的概率空间，以及两个二元对称信道的信道矩阵为二元对称信道二元对称信道HUST Furong WANG-Information and Coding Theory30例（续）平均互信息例（续）平均互信息HUST Furong WANG-Information and Coding Theory31n个二元对称信道串联个二元对称信道串联o如果在两个二元对称信道串联之后再增加一个级联环节，可得o依次类推，n个二元对称信道经串联后，其平均互信息量如下图所示。HUST Furong WANG-Information and Coding Theory32n个二元对称信道串联个二元对称信道串联HUST Furong WANG-Information and Coding Theory33例例o一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。1/31/31/31/21/22/32/31/31/3信道I信道IIHUST Furong WANG-Information and Coding Theory34例例（续）总的信道矩阵（续）总的信道矩阵HUST Furong WANG-Information and Coding Theory35例例（续）等效信道（续）等效信道o则该级联信道可等效为如下的信道1/31/21/61/31/31/3HUST Furong WANG-Information and Coding Theory36小结小结o实际研究信道时，往往将其分解为几个简单的信道的组合；o介绍了串联信道（级联信道），并给出了两个重要的定理；o重点分析了数据处理定理；o分析了n个二元对称信道的串联；o给出了信道串联的实例。HUST Furong WANG-Information and Coding Theory37信源和信道匹配信源和信道匹配o信源发出的消息符号一般要通过信道来传输。o对于某一信道其信道容量是一定的。n只有当输入符号的概率分布P(x)满足一定条件时才能达到信道容量C。n或说只有一定的信源才能使某一信道的信息传输率达到最大。o一般情况下信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大。这时，信道的信息传输率还有提高的可能。oo当信源与信道连接时，若信息传输率达到了信道容当信源与信道连接时，若信息传输率达到了信道容当信源与信道连接时，若信息传输率达到了信道容当信源与信道连接时，若信息传输率达到了信道容量，我们则称此信源与信道达到匹配。否则认为信量，我们则称此信源与信道达到匹配。否则认为信量，我们则称此信源与信道达到匹配。否则认为信量，我们则称此信源与信道达到匹配。否则认为信道有剩余。道有剩余。道有剩余。道有剩余。HUST Furong WANG-Information and Coding Theory38信道剩余度与相对剩余度信道剩余度与相对剩余度HUST Furong WANG-Information and Coding Theory39使信息传输率达到信道容量使信息传输率达到信道容量o信源编码就是将信源输出的消息变换成新信源的消息来传输，而使新信源的概率分布接近最佳概率分布，这样，新信源的消息通过信道的消息传输率接近最大值，信道剩余度接近于零，信道得到充分利用。这就是香农无失真信源编码理论，它使信源和信道达到匹配，传输的信息量达到最大，提高了信息传输的有效性。