第五章：信道与信道容量z.pptx

本章节达到的目的本章节达到的目的n了解信息论研究信道的目的、内容了解信息论研究信道的目的、内容n了解信道的基本分类并掌握信道的基本描述方法了解信道的基本分类并掌握信道的基本描述方法n掌握信道容量掌握信道容量/信道容量代价函数的概念，以及与互信息、信道容量代价函数的概念，以及与互信息、信道输入概率分布、信道转移函数的关系信道输入概率分布、信道转移函数的关系n能够计算简单信道的信道容量能够计算简单信道的信道容量/信道容量代价函数（对称离信道容量代价函数（对称离散信道、无记忆加性高斯噪声信道）散信道、无记忆加性高斯噪声信道）n了解信道容量了解信道容量/容量代价函数在研究通信系统中的作用容量代价函数在研究通信系统中的作用n理解香农第一定理又称无噪信道编码的物理意义理解香农第一定理又称无噪信道编码的物理意义n进一步从信息论的角度理解香农公式及其用途进一步从信息论的角度理解香农公式及其用途概念问题熵熵率无失真信源编码定理中的作用互信息信道容量信道编码定理中的作用回顾互信息函数的性质1互互 信息与信道输入概率分布的关系信息与信道输入概率分布的关系性质性质1 1：I(X;Y)是信道输入概率分布p(x)的上凸函数.信道回顾互信息函数的性质2 互信息与信道转移概率分布的关系互信息与信道转移概率分布的关系 性质2：I(X;Y)是信道转移概率分布p(y/x)的下凹函数.信道1信道2信道回顾互信息函数的性质3互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 性质3:信道的输入是离散无记忆的,即：则：回顾互信息函数的性质4 互信息与信道输入符号相关性的关系互信息与信道输入符号相关性的关系 性质4:信道是离散无记忆的,即：则：回顾互信息函数的性质5性质性质3、性质、性质4的推论：的推论：信道的输入和信道本身都是离散无记忆的信息论对信道研究的内容信道的建模：用恰当的输入/输出两个随机过程来描述信道容量不同条件下充分利用信道容量的各种办法什么是信道？信道的作用研究信道的目的5.1:概述15.1:概述2什么是信道？什么是信道？信道是传送信息的载体信号所通过的通道。信息是抽象的，信道则是具体的。比如：二人对话，二人间的空气就是信道；打电话，电话线就是信道；看电视，听收音机，收、发间的空间就是信道。5.1:概述3信道的作用信道的作用在信息系统中信道主要用于传输与存储信息，而在通在信息系统中信道主要用于传输与存储信息，而在通信系统中则主要用于传输。信系统中则主要用于传输。信道传输信息的速率：信道传输信息的速率：与物理信道本身的特性与物理信道本身的特性、载荷载荷信息的信号形式信息的信号形式和和信源输出信号的统计特性信源输出信号的统计特性有关。有关。信道容量研究内容：信道容量研究内容：在什么条件下，通过信道的信息在什么条件下，通过信道的信息量最大量最大。5.1:概述4研究信道的目的研究信道的目的实现信息传输的实现信息传输的有效性有效性和和可靠性可靠性有效性：充分利用信道容量，使传输的信息量尽可有效性：充分利用信道容量，使传输的信息量尽可能大能大可靠性：通过信道编码降低误码率可靠性：通过信道编码降低误码率结合通信系统研究信道，主要是为了描述、度量、分结合通信系统研究信道，主要是为了描述、度量、分析不同类型信道，计算其容量，即极限传输能力，并析不同类型信道，计算其容量，即极限传输能力，并分析其特性。分析其特性。通信技术研究信号在信道中传输的过程所遵循通信技术研究信号在信道中传输的过程所遵循的物理规律，即传输特性的物理规律，即传输特性信息论研究信息的传输问题（假定传输特性已信息论研究信息的传输问题（假定传输特性已知）知）5.2:信道的分类与描述信道分类 信道描述 5.2:信道分类与描述1信道分类信道分类从工程物理背景从工程物理背景传输媒介类型传输媒介类型；从数学描述方式从数学描述方式信号与干扰描述方式信号与干扰描述方式；从信道本身的参数类型从信道本身的参数类型恒参与变参恒参与变参；从用户类型从用户类型单用户与多用户单用户与多用户；5.2:信道分类与描述25.2:信道分类与描述35.2:信道分类与描述4信道划分是人为的，比如 信源信源干扰干扰编码编码译码译码信宿信宿传输传输媒介媒介其中：为狭义的传输型信道，研究调制解调理论或模拟通信时常引用它，为连续信道；为广义的传输型信道，研究数字通信、编码解码时常引用它，为离散信道；为半离散半连续的传输型信道5.2:信道分类与描述55.2:信道分类与描述6信道描述信道描述信道可以引用信道可以引用三组变量三组变量来描述：来描述：信道输入概率空间：信道输入概率空间：信道输出概率空间：信道输出概率空间：信道概率转移矩阵：信道概率转移矩阵：即：即：它可简化为：它可简化为：5.2:信道分类与描述7其中：其中：而而 5.2:信道分类与描述8当K=1时，退化为单个消息（符号）信道单个消息（符号）信道；进一步当n=m=2时，退化为二进制单个消息信道二进制单个消息信道。若它满足对称性，即构成最常用的二进制单消息对二进制单消息对称信道称信道BSC：且：输入输入输出输出5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量离散无记忆信道及其信道容量一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理对称的离散无记忆信道容量的计算对称的离散无记忆信道容量的计算香农第一定理的物理意义香农第一定理的物理意义5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-1离散消息序列信道 信道中的记忆现象来源于物理信道中的惯性，如电缆信道中的电感电容、无线信道中电波传布的衰落现象等。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-2信道的任务信道的任务 尽可能有效且可靠地传输信源的信息离散通信信道离散通信信道X=x1,x2,xr信息流信息流通过特定信道（信道容量和噪声特性已定）信息流通过特定信道（信道容量和噪声特性已定）传输可靠性传输可靠性 信道噪声信道容量信道容量 传输有效性5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-3H(X)H(Y)H(Y|X)H(X|Y)I(X;Y)SourceentropyReceivedinformation噪声熵信道疑义度（损失熵）Transmitted part of informationH(X/Y)信道疑义度信道疑义度/损失熵。损失熵。Y关于关于X的后验不确定度的后验不确定度。表示收到变量表示收到变量Y后，对随机变量后，对随机变量X仍然存在的不确定度。代仍然存在的不确定度。代表了在信道中损失的信息。表了在信道中损失的信息。H(X)X的先验不确定度的先验不确定度/无条件熵无条件熵。I(X;Y)收到收到Y前、后前、后关于关于X的不确定度减少的量。的不确定度减少的量。从从Y获获得的关于得的关于X的平均信息量的平均信息量。H(Y/X)噪声熵。噪声熵。表示表示发出随机变量发出随机变量X后，对随机变量后，对随机变量Y仍仍然存在的平均不确定度然存在的平均不确定度。如果信道中不存在任何噪声，发。如果信道中不存在任何噪声，发送端和接收端必存在确定的对应关系，发出送端和接收端必存在确定的对应关系，发出X后必能确定后必能确定对应的对应的Y，而现在不能完全确定对应的，而现在不能完全确定对应的Y，这显然是由信道，这显然是由信道噪声所引起的。噪声所引起的。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-45.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-5如果信源熵为如果信源熵为H(X)，希望在信道输出端接收的信息量就是，希望在信道输出端接收的信息量就是H(X)，由于干扰的存在，一般只能接收到，由于干扰的存在，一般只能接收到I(X;Y)。信道的信息传输率信道的信息传输率：就是平均互信息就是平均互信息R=I(X;Y)。输出端输出端Y往往只能获得关于输入往往只能获得关于输入X的部分信息，这是由于的部分信息，这是由于平均互信息性质决定的：平均互信息性质决定的：I(X;Y)H(X)。引出引出数据处理定理数据处理定理信道容量信道容量数据处理定理串联信道串联信道数据处理定理数据处理定理n 串联信道在一些实际通信系统中，常常出现串联信道。例如在一些实际通信系统中，常常出现串联信道。例如微波中继接力通信就是一种串联信道。微波中继接力通信就是一种串联信道。信宿收到数据后再进行数据处理，数据处理系统可看成一信宿收到数据后再进行数据处理，数据处理系统可看成一种信道，它与前面传输数据的信道构成串联信道。种信道，它与前面传输数据的信道构成串联信道。下图表示两个单符号离散信道串联的情况。下图表示两个单符号离散信道串联的情况。信道1P(Y/X)信道2P(Z/Y)n 串联信道信道信道1的输出的输出Y与其输入与其输入X统计相关，信道统计相关，信道2的输出的输出Z与其与其输入输入Y统计相关，一般来讲，统计相关，一般来讲，Z与与X统计相关。统计相关。级联的结构决定了级联的结构决定了Z的取值在给定的取值在给定Y以后与以后与X将不再有关将不再有关在概率论中称在概率论中称XYZ的这种关系为的这种关系为XYZ组成马尔科夫链。组成马尔科夫链。信道1P(Y/X)信道2P(Z/Y)n 串联信道信道1P(Y/X)信道2P(Z/Y)n 数据处理定理 数据处理定理数据处理定理：当消息经过多级处理后，随着处理器当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均数目的增多，输入消息与输出消息之间的平均互信息量互信息量趋于变小。即趋于变小。即I(X;Z)I(X;Y)I(X;Z)I(Y;Z)结论：结论：两级串联信道输入与输出消息之间的平均互信息量既不会超两级串联信道输入与输出消息之间的平均互信息量既不会超过第过第级信道输入与输出消息之间的平均互信息量，也不会级信道输入与输出消息之间的平均互信息量，也不会超过第超过第级信道输入与输出消息之间的平均互信息量。级信道输入与输出消息之间的平均互信息量。当对信号当对信号/数据数据/消息消息进行多级处理时，每处理一次，就有可进行多级处理时，每处理一次，就有可能能损失损失一部分信息，也就是说数据处理会把信号一部分信息，也就是说数据处理会把信号/数据数据/消息消息变成更有用的形式，但是变成更有用的形式，但是绝不会创造出新的信息绝不会创造出新的信息。这就是所。这就是所谓的谓的信息不增原理信息不增原理。当已用某种方式取得Y后，不管怎样对Y进行处理，所获得的信息不会超过I(X;Y)。每处理一次，只会使信息量减少，至多不变。也就是说在任何信息流通系统中，最后获得的信息量，至多是信源提供的信息。一旦在某一过程中丢失了一些信息，以后的系统不管怎样处理，如果不能接触到丢失信息的输入端，就不能再恢复已丢失的信息。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-5I(X;Y)是信源无条件概率是信源无条件概率p(xi)和信道转移概率和信道转移概率p(yj/xi)的二元函数：的二元函数：n当信道特性当信道特性p(yj/xi)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(xi)的变化的变化而变化。而变化。n调整调整p(xi)，在接收端就能获得不同的信息量。由平均互信息的，在接收端就能获得不同的信息量。由平均互信息的性质已知，性质已知，I(X;Y)是是p(xi)的上凸函数，因此总能找到一种概率的上凸函数，因此总能找到一种概率分布分布p(xi)（即某一种信源），使信道所能传送的信息率为最大。（即某一种信源），使信道所能传送的信息率为最大。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-6信道容量信道容量C C：在信道中在信道中最大的最大的信息传输速率，信息传输速率，单位：单位：比特比特/信道符号信道符号。单位时间的信道容量单位时间的信道容量Ct：若信道平均传输一个符号需要若信道平均传输一个符号需要t秒钟，则单位时间的信秒钟，则单位时间的信道容量为道容量为 Ct实际是信道的最大信息传输速率。实际是信道的最大信息传输速率。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-7C和Ct都是求平均互信息I(X;Y)的条件极大值条件极大值问题，当输入信源概率分布p(xi)调整好以后，C和Ct已与p(xi)无关，而仅仅是信道转移概率的函数仅仅是信道转移概率的函数，只与信道统计特性有关；信道容量是完全描述信道特性的参量；信道容量是信道能够传送的最大信息量。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-8离散无记忆信道及其信道容量离散无记忆信道及其信道容量由消息序列互信息由消息序列互信息性质性质对离散无记忆信道，有：对离散无记忆信道，有：（性质（性质4）则则当且仅当信源(信道入)无记忆时，“等号”成立（性质（性质3、4推推论）论）5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-9离散无记忆信道及其信道容量的进一步离散无记忆信道及其信道容量的进一步理解理解Cmax存在存在互信息性质互信息性质1，上凸函数极值存在，上凸函数极值存在达到达到Cmax时的两个条件：时的两个条件：信道输入（信源）是离散无记忆的信道输入（信源）是离散无记忆的信道输入的概率分布是使信道输入的概率分布是使I(X,Y)达到最大的分布达到最大的分布C的值不是由信源的的值不是由信源的p(x)决定的，而是由决定的，而是由决定决定的的C是是信道信道作为信息传输通道的作为信息传输通道的性能度量性能度量只有信道输入（信源）只有信道输入（信源）X（x1x2xn)满足一定条件时，才满足一定条件时，才能充分能充分利用利用信道传输信息的能力信道传输信息的能力5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-10一般离散无记忆信道容量的计算一般离散无记忆信道容量的计算思路：将问题转化为：有界闭区域上求约束极值方法：1、求区域内极值 2、求边界极值 3、求前两者的最大值具体实现：1、简单情况下直接求解（如单符号信道、对称信道）2、解方程3、迭代法（见朱雪龙2001版p124页）信道容量信道容量约束条件：约束条件：求信道容量转化为求求信道容量转化为求 对信源概率分布对信源概率分布 的的条件极值。条件极值。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-11解：解：引入辅助函数引入辅助函数用拉格朗日乘子法求解5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-125.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-13令令 则则 5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-14在某些条件下利用这个方法可以计算C：令令5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-15这是一个含有s个未知数、由r个方程组成的方程组。当当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。，且信道矩阵是可逆矩阵时，该方程组有唯一解。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-165.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-17一般离散信道容量的计算步骤（傅祖芸第二版p107）注意：注意：在第在第步信道容量步信道容量C被求出后，计算并没有结束，必须解被求出后，计算并没有结束，必须解出相应的出相应的p(xi)，并确认所有的，并确认所有的p(xi)0时，所求的时，所求的C才存在。才存在。在对在对I(X;Y)求偏导时，仅限制求偏导时，仅限制，并没有限制，并没有限制p(xi)0，所以求出的，所以求出的p(xi)有可能为负值，此时有可能为负值，此时C就不存在，就不存在，必须对必须对p(xi)进行调整，再重新求解进行调整，再重新求解C。近年来人们一般采用计算机，运用迭代算法求解。近年来人们一般采用计算机，运用迭代算法求解。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-18定理：定理：(Kuhn-Tucker条件)设 是定义在N维无穷凸集S则 在 达到S上极大值的充要条件是：上的可微上凸函数，设5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-195.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-20离散无记忆信道的信道容量定理离散无记忆信道的信道容量定理 定理定理5.1：对前向转移概率矩阵为Q的离散无记忆信道，其输入字母的概率分布p*能使互信息I(p,Q)取最大值的充要条件是其中：是信源字母ak传送的平均互信息，C就是这一信道的信道容量。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-21 是 的平均值。即：但提高，又使 降低反复调整，使 相等且都等于C定理只给出了可使 的p(x)的充要条件，并无具体分布及C的值，但可以帮助求解简单情况部分信道的Cn求解信道容量过程实际信源的概率分布进行调节的过程。n通过不断调节信源的概率分布，找到信道对应的最大信息传输速率找到 最大的 ，提高5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-22对称的离散无记忆信道对称的离散无记忆信道信道容量信道容量对称的离散无记忆信道矩阵中的每一行都是第一行的重排列；矩阵中的每一列都是第一列的重排列。定理定理5.2：对于对称的离散无记忆信道，当信道输入字母为等概率分布时达到信道容量。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-23对称信道对称信道性质对称信道性质 对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必必为等概分布。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-245.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-25行对称行对称信道信道a1a2b1b2b30.70.10.10.20.70.2a1a2b1b2b30.70.10.10.20.70.25.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-26BSC信道信道容量的计算a1a2b1b25.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-27由定理由定理5.2，当输入等概分布时，互信息达到信道容量，当输入等概分布时，互信息达到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有：于是：于是：这里：这里：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-28r个输入个输入s个输出的个输出的对称离散信道的信道容量：对称离散信道的信道容量：其中其中 是信道矩阵中的任意一行中的元素。是信道矩阵中的任意一行中的元素。若若r=s，且对于每一个输入符号，正确传输概率都相等，且对于每一个输入符号，正确传输概率都相等，且错误传输概率且错误传输概率p 均匀地分配到均匀地分配到 r-1 个符号，则称此信个符号，则称此信道为道为强对称信道或均匀信道强对称信道或均匀信道。5.3:离散无记忆信道及其信道容离散无记忆信道及其信道容量量-29强对称离散信道的信道容量：强对称离散信道的信道容量：强对称信道具备四个特征：强对称信道具备四个特征：1.1.矩阵中的每一行都是第一行的排列；矩阵中的每一行都是第一行的排列；(行对称行对称)矩阵中的每一列都是第一列的排列。矩阵中的每一列都是第一列的排列。(列对称列对称)2.2.信道输入与输出消息（符号）数相等，即信道输入与输出消息（符号）数相等，即 r=s。3.3.错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误分布是均匀的：信道矩阵中正确传输概率都相等，且错误传输概率均匀地分配到错误传输概率均匀地分配到r-1个符号上。个符号上。4.4.不仅每一行元素之和为不仅每一行元素之和为1 1，每一列元素之和也为，每一列元素之和也为1 1。显然，对称性的基本条件是显然，对称性的基本条件是1 1，而，而2 2、3 3、4 4是加强条件。是加强条件。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-305.3:离散无记忆信道及其信道容离散无记忆信道及其信道容量量-31二元删除信道信道容量的计算a1a2b1b3b25.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-32由定理由定理5.2，当输入等概分布时，互信息达到信道容量，当输入等概分布时，互信息达到信道容量 即：即：p(a1)=p(a2)=1/2；有：；有：于是：于是：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-33准对称离散信道的信道容量：准对称离散信道的信道容量：设信道矩阵可划分为设信道矩阵可划分为n n个子矩阵，其中个子矩阵，其中Nk是第是第k个子矩阵个子矩阵中某行元素之和，中某行元素之和，Mk是第是第k个子矩阵中某列元素之和。个子矩阵中某列元素之和。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-345.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-350.51.000.51.0cbaCa=Cb=a:BSC信道的信道容量曲线信道的信道容量曲线b:二进制删除信道的信道容量曲线二进制删除信道的信道容量曲线1-1-1-1-例例1、已知信道转移概率矩阵如下，求此信道的信道容量。已知信道转移概率矩阵如下，求此信道的信道容量。YX 0 1 2 3 0 1/3 1/3 1/6 1/6 1 1/6 1/3 1/6 1/3解：由定理5.2，当输入等概分布时，互信息达到信道容量 即：p(a1)=p(a2)=1/2；有：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-36香农第一定理（变长无失真信源编码定理）的物理意香农第一定理（变长无失真信源编码定理）的物理意义义 从信道编码的角度看，用从信道编码的角度看，用 个码元表示一个原始信个码元表示一个原始信源符号，信道的信息传输率为：源符号，信道的信息传输率为：5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-37香农第一定理（无失真信源编码定理）的物理意义香农第一定理（无失真信源编码定理）的物理意义无噪无损信道的信道容量：无噪无损信道的信道容量：C=H(X)=H(Y)=logC=H(X)=H(Y)=logs再看当平均码长达到极限值时再看当平均码长达到极限值时R=logR=logs此时信道的信息传输率此时信道的信息传输率R R无噪信道的信道容量无噪信道的信道容量C C无失真信源编码的实质：无失真信源编码的实质：对离散信源进行适当变换，使变换后新的码符号信源（信道的输对离散信源进行适当变换，使变换后新的码符号信源（信道的输入信源）尽可能为等概分布，以使新信源的每个码符号平均所含入信源）尽可能为等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率的信息量达到最大，从而使信道的信息传输率R R达到信道容量达到信道容量C C，实现信源与信道理想的统计匹配。实现信源与信道理想的统计匹配。又称：无噪信道编码定理又称：无噪信道编码定理若信道的信息传输率若信道的信息传输率R R不大于信道容量不大于信道容量C C，总能对信源的输出进行，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率率C C传输信息；但要使信道的信息传输率传输信息；但要使信道的信息传输率R R大于大于C C而无差错地传输信而无差错地传输信息则是不可能的。息则是不可能的。5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-38达到信道容量达到信道容量C的时候，输入字母分布唯一吗？的时候，输入字母分布唯一吗？反例：反例：a1a2b1b2令则输入任何分布，输出都达到C又一例：又一例：令输入分布(0.5,0,0.5,0）令输入分布(0.25,0.25,0.25,0.25）5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-39输出字母的唯一性输出字母的唯一性 定理：达到信道容量时的输出分布是唯一的。任何导致这一输出分布的输入分布都是最佳分布，可以使互信息达到信道容量。证明见朱雪龙2001版信息论p132页。例如：对称信道，达到信道容量时输出唯一（等概）5.3:离散无记忆信道及其信道容量离散无记忆信道及其信道容量-40输入字母在什么条件下唯一？定理：在达到信道容量时，如果输入概率分布中具有零概率的字母总数达到最大，则此时非零概率可被唯一地确定，且非零概率分量的数目不超过输出字母的总数。定理不是说具有最大数目零概率的最佳分布是唯一的。定理只说明概率分布由同一组包含零的数字的不同排列构成。证明见朱雪龙2001版信息论p134页。5.4:并联信道及其信道容量并联信道及其信道容量信道1信道2信道N.输入并接信道信道1信道2信道N.和信道信道1信道2信道N.并用信道5.4:并联信道及其信道容量并联信道及其信道容量输入并接信道输入并接信道可以看成一个单输入多输出的输出为信道,其输入为性质：输入并联信道的容量大于任何一个单独的信道，小于max H(X)。5.4:并联信道及其信道容量并联信道及其信道容量思考：N个二元对称信道输入并联之后的信道容量，N越大，CN越大，越接近H(X)通信中的分集，就是典型的输入并联信道通信中的分集，就是典型的输入并联信道5.4:并联信道及其信道容量并联信道及其信道容量并用信道并用信道是是多输入，多输出。X和和Y由彼此独立的由彼此独立的N个信道传输。个信道传输。性质并用信道的容量通信中的复用，就是典型的并用信道通信中的复用，就是典型的并用信道5.4:并联信道及其信道容量并联信道及其信道容量现代通信技术：MIMO和CMIMO(CooperativeMIMO)SISO 单入单出“真正的自利行为就是协作”无线网络的协作,FrankTxRxSISOTxRxMIMOTx1TxNRx1RxNCMIMOMIMO多入多出CMIMO 节点通过协同形成MIMO5.4:并联信道及其信道容量并联信道及其信道容量和信道和信道随机应用N 个信道中的一个，构成一输入/一输出信道。性质：和信道的容量是，Vision Vision 一种新型的通信技术一种新型的通信技术机会通信机会通信（Opportunistic Comm.Opportunistic Comm.）信道的使用概率5.4:并联信道及其信道容量并联信道及其信道容量机会通信（DavidTse,2001）p衰落是无线信道的固有特征，需要克服p但是在无线网络中，衰落可能带来增益BaseStationFadingChannelMobileUser1User2UserN多用户广播信道广播信道容量5.4:并联信道及其信道容量并联信道及其信道容量衰落信道为什么会提高容量？在一个多用户独立衰落信道里，每一时刻总可能找到一个拥有较好信道的用户如果总是服务较好的用户，总体容量会增加传统分集技术的主要目的是改善慢衰落信道中通信的可靠性多用户分集的作用是增加快衰落信道中总的吞吐量事实上，当衰落不足的时候，还可以人为引入衰落制造出随机波动范围大的信道，来提高系统总的吞吐量5.5：连续信道连续信道n 连续信道连续信道p时间依旧离散p但是取值：离散连续n引发的问题引发的问题p离散随机变量的互信息非负、有限p取I(p,Q)最大值得到离散信道的容量p连续随机变量互信息非负，但不一定有限p这样互信息最大值为信道容量的定义就失去了意义5.5：连续信道连续信道问题出在什么地方？问题出在什么地方？n连续随机变量的信息量无穷大（无理数具有无穷多的细节）n但是实际上我们无法生成信息量为无穷大的变量n总存在物理的约束：能量受限b(x)=x2n因此，连续信道输入输出互信息的优化是在这些约束前提下进行的。定义：设对于连续无记忆信道 ，有一个函数 ，对每一个输入序列 。称 为 的费用。设随机矢量 的联合分布为 ，则平均费用为：5.5:连续信道及其容量1回顾连续随机变量的熵微分熵连续随机变量的熵微分熵连续随机变量最大熵分布依赖于约束条件连续随机变量最大熵分布依赖于约束条件峰值功率受限条件下峰值功率受限条件下均匀分布均匀分布的随机变量具有最大微分熵的随机变量具有最大微分熵平均功率受限条件下平均功率受限条件下高斯分布高斯分布的随机变量具有最大微分熵的随机变量具有最大微分熵连续信道的输入所取的值域不足以完全表示对信道输入的限连续信道的输入所取的值域不足以完全表示对信道输入的限制制还有约束条件还有约束条件Cmaxh(Y)-h(n)C取决于信道的取决于信道的统计特性统计特性（加性信道即噪声的统计特性）（加性信道即噪声的统计特性）输入随机矢量输入随机矢量X所受的所受的限制条件限制条件（一般考虑平均功率受限时）（一般考虑平均功率受限时）C的的单位单位为：比特为：比特/N个自由度个自由度连续信道信道容量容量费用函数描述连续信道信道容量容量费用函数描述5.5:连续信道及其容量2研究连续信道容量的方法研究连续信道容量的方法基本、简单的信道：无记忆加性噪声信道基本、简单的信道：无记忆加性噪声信道信道噪声为高斯时信道噪声为高斯时何种分布输入能达到对信道的充分利用何种分布输入能达到对信道的充分利用信道输入为高斯时信道输入为高斯时何种分布噪声对信道传输信息影响最大何种分布噪声对信道传输信息影响最大5.5:连续信道及其容量3一些基础知识：一些基础知识：对于加性信道对于加性信道Y=X+NX：信道输入：信道输入N：信道噪声：信道噪声Y：信道输出：信道输出信道的转移概率分布函数就是信道的转移概率分布函数就是N的分布函数的分布函数b(x)是信道输入为是信道输入为x时对应的费用时对应的费用如果如果X、Y、N中有两个是高斯分布，另一个也是高斯分中有两个是高斯分布，另一个也是高斯分布的布的高斯分布的随机变量的微分熵高斯分布的随机变量的微分熵h(XG)高斯分布的连续随机变量的微分熵高斯分布的连续随机变量的微分熵h(XG)的值只与方差的值只与方差 有关，与均值无关有关，与均值无关5.5:连续信道及其容量4 在费用约束的前提下，求输入输出互信息的最大值，得到容量-费用函数。连续信道的连续信道的“容量容量-费用函数费用函数”定义：设连续信道的N维联合输入输出分别为X和Y，则其容量-费用函数定义为：若若 存在最大值时存在最大值时5.5:连续信道及其容量5当输入和信道无记忆稳恒时，因为当输入和信道无记忆稳恒时，因为5.5:连续信道及其容量6无记忆加性噪声信道的信道容量费用函数无记忆加性噪声信道的信道容量费用函数无记忆加性噪声信道的前向转移概率密度函数就是噪声无记忆加性噪声信道的前向转移概率密度函数就是噪声N N的概率密度函数，即：的概率密度函数，即：其中其中 5.5:连续信道及其容量7于是有：于是有：取信道输入信号的平均功率取信道输入信号的平均功率E(X2)作为信息传输的费用作为信息传输的费用则有：无记忆加性噪声信道的信道容量费用函数为：则有：无记忆加性噪声信道的信道容量费用函数为：因因h(N)与与px(x)无关，求解无关，求解C(PS)问题转化为只需对问题转化为只需对h(Y)进进行行5.5:连续信道及其容量8无记忆加性高斯噪声信道的信道容量费用函数（朱雪无记忆加性高斯噪声信道的信道容量费用函数（朱雪龙龙p139）条件条件：NZG问题问题：求使C(PS)最大时的X的概密分布函数求解步骤求解步骤：因为：要使C(PS)最大使h(Y)最大在PS约束条件下，当YYG时h(Y)达到最大XXG，则：5.5:连续信道及其容量9结论结论：当信道输入输入信号为高斯高斯分布信号时，无记忆加性高斯噪声信道的信道容量可以得到充分利用。换句话说：在无记忆加性高斯噪声信道高斯噪声信道中传输信息时，高斯分布的信号高斯分布的信号是最有效有效的-即在同样信号功率下，信道可以传输最多的信息5.5:连续信道及其容量10无记忆加性噪声信道对高斯分布的输入信号的影响无记忆加性噪声信道对高斯分布的输入信号的影响条件：条件：XXG，约束条件PS问题：问题：考察何种概密分布的N使I(X;Y)最小求解步骤：求解步骤：因为 而当NNG时，YYG此时：可以证明：朱雪龙p140页结论：结论：无记忆加性高斯噪声高斯噪声信道对高斯分布的输入信号具有 最大的破坏力最大的破坏力。高斯分布特性：-作为信道输入信号的概密分布时，有利于信息传输-作为加性信道噪声概密分布时，不利于信息传输-共同说明高斯分布的随机变量具有最大微分熵5.5:连续信道及其容量11一般无记忆加性噪声信道的信道容量费用函数-无法给出解析形式的解，但可以给出其上下界表达式-下界下界：根据前面的讨论很容易得-上界上界：当输入信号功率限制在PS以下，噪声功率限制在PN以下则输出信号功率将=PS PN。此时所以有：5.5连续信道及其容量12输入输出均正态输入为正态分布最佳输入分布5.5连续信道及其容量13无记忆加性高斯噪声信道的并联无记忆加性高斯噪声信道的并联信道1信道2信道N.并用信道等号是在各分量统计独立时才成立5.5连续信道及其容量14这又是凸函数在约束下求极值的问题这又是凸函数在约束下求极值的问题若极值不发生在边缘上，若极值不发生在边缘上，5.5连续信道及其容量15若极值发生在边缘上，若极值发生在边缘上，注水功率注水功率PN1PS1PN2PS2PS3PS4PS5PN3PN4PN5PN6PN7PN8PN9PS7PS9功率功率5.6:模拟信道及其容量n模拟信道：在时间和取值上都连续的信道模拟信道：在时间和取值上都连续的信道 光纤，电缆，电磁波空间传播光纤，电缆，电磁波空间传播n我们仅研究非常特殊的一类模拟信道：我们仅研究非常特殊的一类模拟信道：AWGNp带宽有限：带宽有限：Wp加性噪声：加性噪声：y(t)=x(t)+z(t)p白色噪声：平稳遍历随机过程，功率谱密度均匀分布于白色噪声：平稳遍历随机过程，功率谱密度均匀分布于整个频域，即功率谱密度（单位带宽噪声功率）为一常数整个频域，即功率谱密度（单位带宽噪声功率）为一常数p高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数高斯噪声：平稳遍历随机过程，瞬时值的概率密度函数服从高斯分布服从高斯分布5.6:模拟信道及其容量4广义平稳的限频广义平稳的限频(F)、限时、限时(T)、限功率、限功率(P)白白色高斯信道及其容量色高斯信道及其容量C 对限频(F)、限时(T)的连续过程信源可展成下列取样函数序列：参见傅祖芸第二版p140页现将2FT个样值序列通过一个功率受限(P)的白色高斯信道并求其容量值C。5.6:模拟信道及其容量Shannon公式公式定理定理5.3：满足限频(F)、限时(T)的广义平稳随机过程信源X(t,f)，当它通过一个功率受限(P)的白色高斯信道，其容量为：这就是著名的Shannon公式公式。则单位时间T=1时的容量为：5.6:模拟信道及其容量模拟信道及其容量证明：前面已求得单个连续消息（第证明：前面已求得单个连续消息（第k个）通过高斯信道以个）通过高斯信道以后的容量值为：后的容量值为：同时，在消息序列的互信息中已证明当同时，在消息序列的互信息中已证明当信源、信道信源、信道满足满足无记无记忆忆时，下列结论成立：时，下列结论成立：由信道容量定义，有由信道容量定义，有例例2、在图片传输中，每帧约为、在图片传输中，每帧约为2.25106个像素，为了能很好个像素，为了能很好地重现图像，需分地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送试计算每秒钟传送30帧图片所需信道的带宽帧图片所需信道的带宽(信噪功率比为信噪功率比为30dB)。高斯白噪声加性信道单位时间的信道容量：高斯白噪声加性信道单位时间的信道容量：Ct=2.25106log1630=2.7108（bit/s)Ct=Flog(1+S/N)而：10lg(S/N)=30dBS/N=103F=(2.7108)/log(1+103)2.7107(HZ)5.6:5.6:模拟信道及其容量模拟信道及其容量它给出了在信道中传输信号的三个物理参量：它给出了在信道中传输信号的三个物理参量：F、T、之间的辩证关系。之间的辩证关系。nShannonShannon公式的物理意义公式的物理意义TtFf三者的乘积是一个三者的乘积是一个“可塑可塑”性体积（三维）。性体积（三维）。三者间可以互换。三者间可以互换。5.6:模拟信道及其容量模拟信道及其容量 信道与