信息论与编码课件第三章.pptx

第三章第三章 作业作业教材第教材第9191页页 9393页页3.13.1，3.2(b)3.2(b)，3.3(1)(3)3.3(1)(3)，3.103.10，3.113.11空间传输空间传输:各种物理通道各种物理通道-电缆、光缆、空间等。电缆、光缆、空间等。时间传输时间传输:指将信息保存，然后在以后读取。指将信息保存，然后在以后读取。信道的数学模型和分类信道的数学模型和分类信道概念信道概念通信系统的组成部分，传递和通信系统的组成部分，传递和存储信息的通道或媒质存储信息的通道或媒质,包括包括空间传输和时间传输。空间传输和时间传输。狭义信道：电传播介质（电缆，自由空间）狭义信道：电传播介质（电缆，自由空间）通信设备（信息经过的通道）通信设备（信息经过的通道）广义信道：测量、观察设备（示波器）广义信道：测量、观察设备（示波器）存储、记忆设备（磁带，光盘，书存储、记忆设备（磁带，光盘，书 信等）信等）信道的数学模型和分类信道的数学模型和分类w输入输出关系：转移概率输入输出关系：转移概率 p p(y y|x x)w信道描述：信道描述：1.1.输入集合输入集合 2.2.输出集合输出集合 3.3.输入输出的转移概率分布输入输出的转移概率分布w研究目标：从信道的输出了解信道的输入研究目标：从信道的输出了解信道的输入信道的数学模型和分类信道的数学模型和分类 按信道输入输出符号分类按信道输入输出符号分类 输入、输出空间状态集合时间集合输入、输出空间状态集合时间集合 离散信道（数字信道）：输入输出空间为离散。离散信道（数字信道）：输入输出空间为离散。连续信道：状态集合连续，时间集合离散。连续信道：状态集合连续，时间集合离散。模拟信道（波形信道）：输入输出空间为连续。模拟信道（波形信道）：输入输出空间为连续。信道的数学模型和分类信道的数学模型和分类有记忆信道：输出有记忆信道：输出 Y不仅与当前的输入不仅与当前的输入 X 有关，有关，而且与前面的输入有关。而且与前面的输入有关。无记忆信道：输出无记忆信道：输出 Y 仅与当前的输入仅与当前的输入 X 有关，有关，与前面的输入无关。与前面的输入无关。信道的数学模型和分类信道的数学模型和分类 按信道转移概率分布函数的特点分类按信道转移概率分布函数的特点分类信道的数学模型和分类信道的数学模型和分类单用户信道：输入和输出都只有一个的单向通信单用户信道：输入和输出都只有一个的单向通信信道。信道。多用户信道：输入和输出中至少有一端有两个以多用户信道：输入和输出中至少有一端有两个以上的用户，且可以进行双向通信。上的用户，且可以进行双向通信。按输入和输出的数目分类按输入和输出的数目分类固定参数（恒参）信道：信道的统计特性不随固定参数（恒参）信道：信道的统计特性不随时间变化。时间变化。时变参数（随参）信道：信道的统计特性随时时变参数（随参）信道：信道的统计特性随时间变化。间变化。信道的数学模型和分类信道的数学模型和分类 按信道的统计特性与时间的关系分类按信道的统计特性与时间的关系分类w单符号无记忆离散信道的信道容量单符号无记忆离散信道的信道容量 数学模型：数学模型：或或离散无记忆信道的信道容量离散无记忆信道的信道容量研究目标：了解输出端能从输入端得到多少信息？即如研究目标：了解输出端能从输入端得到多少信息？即如研究目标：了解输出端能从输入端得到多少信息？即如研究目标：了解输出端能从输入端得到多少信息？即如 何将信道所能传递的信息定量化？何将信道所能传递的信息定量化？何将信道所能传递的信息定量化？何将信道所能传递的信息定量化？数学表示：互信息数学表示：互信息数学表示：互信息数学表示：互信息 I I(X X;Y Y)I I(X X;Y Y)=HH(X X)-HH(X X|Y Y)=HH(Y Y)-HH(Y Y|X X)分析：分析：分析：分析：p p(y y|x x)给定，给定，给定，给定，I I(X X;Y Y)随输入分布随输入分布随输入分布随输入分布p p(x x)变化而变化。变化而变化。变化而变化。变化而变化。调整该分布可使互信息达到最大值，即给出了信道调整该分布可使互信息达到最大值，即给出了信道调整该分布可使互信息达到最大值，即给出了信道调整该分布可使互信息达到最大值，即给出了信道所能传递的最大信息量。定义该最大值为给定信道所能传递的最大信息量。定义该最大值为给定信道所能传递的最大信息量。定义该最大值为给定信道所能传递的最大信息量。定义该最大值为给定信道的信道容量，用的信道容量，用的信道容量，用的信道容量，用C C 表示：表示：表示：表示：求信道容量：找到最佳分布，使互信息达到最大值。求信道容量：找到最佳分布，使互信息达到最大值。求信道容量：找到最佳分布，使互信息达到最大值。求信道容量：找到最佳分布，使互信息达到最大值。（最佳分布：达到信道容量时的信源分布。）（最佳分布：达到信道容量时的信源分布。）（最佳分布：达到信道容量时的信源分布。）（最佳分布：达到信道容量时的信源分布。）离散无记忆信道的信道容量离散无记忆信道的信道容量 离散无记忆信道的信道容量离散无记忆信道的信道容量说明：说明：C 客观反映信道的传输能力，只与信道特性有客观反映信道的传输能力，只与信道特性有关，而与信源无关，表示每个符号可能传输的关，而与信源无关，表示每个符号可能传输的最大信息量。最大信息量。可以通过编码改变信源的分布使互信息达到最可以通过编码改变信源的分布使互信息达到最大值。大值。离散无记忆信道的信道容量离散无记忆信道的信道容量定理定理3.13.1：对于信道矩阵为：对于信道矩阵为 P 的离散无记忆信的离散无记忆信道，其输入分布道，其输入分布 p(x)能使互信息能使互信息 I(X;Y)达到达到最大值（信道容量）的充要条件是最大值（信道容量）的充要条件是离散无记忆信道的信道容量离散无记忆信道的信道容量例例3.33.3（P P:70 70）取输入分布取输入分布 离散无记忆信道的信道容量离散无记忆信道的信道容量所以由定理所以由定理3.13.1得，得，最佳分布最佳分布离散无记忆信道的信道容量离散无记忆信道的信道容量1.1.无噪无损信道无噪无损信道特殊特殊DMC的信道容量的信道容量a1b1a2anb2bn1112.2.有噪无损信道有噪无损信道特殊特殊DMC的信道容量的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/63.3.无噪有损信道无噪有损信道特殊特殊DMC的信道容量的信道容量a1b1a2a6b2b3111a5a4a34.4.对称信道对称信道对称信道定义：信道转移矩阵对称信道定义：信道转移矩阵P中所有的行都中所有的行都是同一组元素的不同排列，所有的列也是同一是同一组元素的不同排列，所有的列也是同一组元素的不同排列。组元素的不同排列。特殊特殊DMC的信道容量的信道容量准对称信道定义：设准对称信道定义：设 B 为信道转移矩阵为信道转移矩阵P的列的列集合，如果将集合，如果将B划分成划分成m个子集，而用每一个子个子集，而用每一个子集构成的矩阵所对应的信道都是对称信道。集构成的矩阵所对应的信道都是对称信道。特殊特殊DMC的信道容量的信道容量特殊特殊DMC的信道容量的信道容量定理定理3.23.2：对于准对称信道，达到信道容量的输：对于准对称信道，达到信道容量的输入分布为等概分布。入分布为等概分布。证明：证明：(略略)准对称信道的信道容量计算准对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量例：准对称信道例：准对称信道对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量对称信道的信道容量计算对称信道的信道容量计算特殊特殊DMC的信道容量的信道容量特殊特殊DMC的信道容量的信道容量例：对称信道例：对称信道强对称信道（均匀信道）定义：信道输入、输出符强对称信道（均匀信道）定义：信道输入、输出符强对称信道（均匀信道）定义：信道输入、输出符强对称信道（均匀信道）定义：信道输入、输出符号个数相同，且信道矩阵为号个数相同，且信道矩阵为号个数相同，且信道矩阵为号个数相同，且信道矩阵为特殊特殊DMC的信道容量的信道容量当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵当信道转移概率矩阵P P P P是非奇异时（此时是非奇异时（此时是非奇异时（此时是非奇异时（此时n n n n=m m m m），即），即），即），即逆矩阵逆矩阵逆矩阵逆矩阵P P P P-1-1-1-1存在时，该信道被称为可逆矩阵信道。存在时，该信道被称为可逆矩阵信道。存在时，该信道被称为可逆矩阵信道。存在时，该信道被称为可逆矩阵信道。一般一般DMC的信道容量的信道容量例：例：取取另解：另解：达到信道容量时输入、输出概率分布的达到信道容量时输入、输出概率分布的唯一性唯一性结论：结论：（1 1）输入概率分布的解不唯一，输出概率分布输入概率分布的解不唯一，输出概率分布 的解唯一。的解唯一。（2 2）当信道转移矩阵可逆时，则输入概率分布）当信道转移矩阵可逆时，则输入概率分布 有唯一解。有唯一解。达到信道容量时输入、输出概率分布的达到信道容量时输入、输出概率分布的唯一性唯一性数学模型：数学模型：多符号信道的信道容量多符号信道的信道容量（1 1 1 1）信道）信道）信道）信道无记忆无记忆无记忆无记忆：证明：证明：证明：证明：多符号信道的信道容量多符号信道的信道容量（2 2）信源、信道均无记忆：信源、信道均无记忆：）信源、信道均无记忆：）信源、信道均无记忆：多符号信道的信道容量多符号信道的信道容量信源与信道的匹配信源与信道的匹配信道的组合信道的组合独立并联信道（积信道）独立并联信道（积信道）独立并联信道（积信道）独立并联信道（积信道）特点：特点：特点：特点：1.1.多输入，多输出。各分信道彼此独立。多输入，多输出。各分信道彼此独立。多输入，多输出。各分信道彼此独立。多输入，多输出。各分信道彼此独立。2.2.容量：容量：容量：容量：独立并联信道独立并联信道独立并联信道独立并联信道和信道和信道和信道和信道特点：特点：特点：特点：1.1.随机应用随机应用随机应用随机应用N N 个信道中的一个，构成一输入个信道中的一个，构成一输入个信道中的一个，构成一输入个信道中的一个，构成一输入/输出信道。输出信道。输出信道。输出信道。2.2.容量：容量：容量：容量：3.3.分信道的使用概率：分信道的使用概率：分信道的使用概率：分信道的使用概率：和信道和信道和信道和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8和信道和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8 输入并接信道输入并接信道输入并接信道输入并接信道特点：特点：特点：特点：输入相同输入相同输入相同输入相同X X，输出不同，输出不同，输出不同，输出不同Y=YY=Y1 1Y Y2 2YYN N，单输入，多输出。，单输入，多输出。，单输入，多输出。，单输入，多输出。容量：容量：容量：容量：对对对对X X 进行多次测量，每一次测量都构成一输入进行多次测量，每一次测量都构成一输入进行多次测量，每一次测量都构成一输入进行多次测量，每一次测量都构成一输入/输出信输出信输出信输出信道，则道，则道，则道，则 N N 次测量后次测量后次测量后次测量后输入并接信道输入并接信道级联信道级联信道特点：特点：1.1.单输入，单输出。单输入，单输出。2.2.容量：容量：级联信道级联信道级联信道级联信道1-ppp1-p1-ppp1-p2p1-p)(1-p)2+p2(1-p)2+p22p(1-p)连续无记忆信道的信道容量连续无记忆信道的信道容量无记忆加性噪声信道的容量无记忆加性噪声信道的容量无记忆加性高斯噪声信道的容量无记忆加性高斯噪声信道的容量无记忆加性高斯噪声信道（平均功率无记忆加性高斯噪声信道（平均功率S受限）受限）说明：对于无记忆加性高斯噪声信道，利用高斯说明：对于无记忆加性高斯噪声信道，利用高斯信号作为输入时，信道总可以得到充分利信号作为输入时，信道总可以得到充分利用。即在无记忆加性高斯噪声信道中高斯用。即在无记忆加性高斯噪声信道中高斯信号是最有效的，在同样的信号功率下可信号是最有效的，在同样的信号功率下可以传输最多的信息。以传输最多的信息。无记忆加性噪声信道的容量界无记忆加性噪声信道的容量界无记忆加性噪声信道的容量界无记忆加性噪声信道的容量界无记忆加性噪声信道的容量界无记忆加性噪声信道的容量界说明：说明：S为输入平均功率的上限，为输入平均功率的上限，为噪声的为噪声的 方差，方差，为噪声的熵功率为噪声的熵功率 在高斯噪声情况下，信道容量最小。在高斯噪声情况下，信道容量最小。在未知信道噪声特性时，将噪声视为高斯在未知信道噪声特性时，将噪声视为高斯 噪声来考虑为好。噪声来考虑为好。模拟信道及其离散化模拟信道及其离散化模拟信道：输入和输出信号在幅度和时间上都连续取模拟信道：输入和输出信号在幅度和时间上都连续取值的信道。值的信道。实例：光纤，电缆，电磁波传播的大气层或宇宙空间。实例：光纤，电缆，电磁波传播的大气层或宇宙空间。离散化：设模拟信道的输入为离散化：设模拟信道的输入为x(t)x(t)，相应的输出信号，相应的输出信号为为y(t)y(t)，则可以通过正交展开将其化为时间离散的序，则可以通过正交展开将其化为时间离散的序列：列：统计特性描述：统计特性描述：模拟信道的信道容量模拟信道的信道容量模拟信道容量模拟信道容量计算（限带，加性白色高斯噪声信道）（限带，加性白色高斯噪声信道）限带：限制在频带限带：限制在频带 -W,W-W,W 内。内。输入信号：输入信号：x x(t t)，输出信号：，输出信号：y yt t)。噪声信号：噪声信号：z z(t t)（1 1）加性（与输入统计独立）加性（与输入统计独立）（2 2）高斯（瞬时值的密度函数服从高斯分布）高斯（瞬时值的密度函数服从高斯分布）（3 3）白色（平稳遍历的随机过程，功率谱密度）白色（平稳遍历的随机过程，功率谱密度 N N0 0 ）模拟信道的信道容量模拟信道的信道容量结论：限带结论：限带 W W 的加性白色高斯噪声模拟信道相当于的加性白色高斯噪声模拟信道相当于 N N 个连续加性高斯信道的并联。个连续加性高斯信道的并联。模拟信道的信道容量模拟信道的信道容量结论：结论：（1 1）带宽一定时，信道的最大传输率是信噪比的）带宽一定时，信道的最大传输率是信噪比的函数。函数。（2 2）信噪比确定时，信道容量与带宽成正比。此）信噪比确定时，信道容量与带宽成正比。此时提高最大信息传输率的方法是提高带宽。时提高最大信息传输率的方法是提高带宽。例例1.1.用香农公式研究用香农公式研究ModemModem的速度的速度 Modem Modem 速度可达速度可达 56Kbps56Kbps，实际很低。，实际很低。香农公式香农公式在在在在 Modem Modem Modem Modem 通信环境中，音频电话支持的频率范围是通信环境中，音频电话支持的频率范围是通信环境中，音频电话支持的频率范围是通信环境中，音频电话支持的频率范围是300Hz-3300Hz300Hz-3300Hz300Hz-3300Hz300Hz-3300Hz，则，则，则，则 W W W W 3300Hz3300Hz3300Hz3300Hz300Hz300Hz300Hz300Hz3000Hz.3000Hz.3000Hz.3000Hz.此环境中一般的信噪比为此环境中一般的信噪比为此环境中一般的信噪比为此环境中一般的信噪比为30dB30dB30dB30dB，即，即，即，即3030303010log10log10log10log10101010(S/N)(S/N)(S/N)(S/N)，S/NS/NS/NS/N1000100010001000则则则则 C C C C3000log3000log3000log3000log2 2 2 2(1000+1)(1000+1)(1000+1)(1000+1)30303030Kbps.Kbps.Kbps.Kbps.（3 3 3 3）对于有确定信道容量）对于有确定信道容量）对于有确定信道容量）对于有确定信道容量 C C C C 的信道，可以用带宽的信道，可以用带宽的信道，可以用带宽的信道，可以用带宽 W W W W 与信噪比与信噪比与信噪比与信噪比 S/N S/N S/N S/N 的不同组合来传输信息。的不同组合来传输信息。的不同组合来传输信息。的不同组合来传输信息。如减少带宽，则必须发送较大功率的信号。如减少带宽，则必须发送较大功率的信号。如减少带宽，则必须发送较大功率的信号。如减少带宽，则必须发送较大功率的信号。如增大带宽，则同样的信道容量能够用较小功率的如增大带宽，则同样的信道容量能够用较小功率的如增大带宽，则同样的信道容量能够用较小功率的如增大带宽，则同样的信道容量能够用较小功率的 信号传输，即宽带系统具有良好的抗干扰性。信号传输，即宽带系统具有良好的抗干扰性。信号传输，即宽带系统具有良好的抗干扰性。信号传输，即宽带系统具有良好的抗干扰性。香农公式香农公式（4 4）扩频技术）扩频技术香农公式香农公式 例：例：CDMACDMA（码分多址）技术（码分多址）技术 基于扩频通信的基本原理，将要传输的具基于扩频通信的基本原理，将要传输的具有一定带宽的信号，用一个带宽远远大于信号有一定带宽的信号，用一个带宽远远大于信号带宽的高速伪随机编码信号（白噪声）去调制带宽的高速伪随机编码信号（白噪声）去调制它，使原信号的带宽被远远扩大，达到在它，使原信号的带宽被远远扩大，达到在S/NS/N较低的情况下得到较高通信质量的目的。较低的情况下得到较高通信质量的目的。香农公式香农公式WC0平行可加高斯信道的容量平行可加高斯信道的容量由无记忆性及加性由无记忆性及加性由无记忆性及加性由无记忆性及加性类似于离散情形有类似于离散情形有类似于离散情形有类似于离散情形有平行可加高斯信道的容量平行可加高斯信道的容量达到上述容量的输入分布：输入中个分量统计独立，达到上述容量的输入分布：输入中个分量统计独立，达到上述容量的输入分布：输入中个分量统计独立，达到上述容量的输入分布：输入中个分量统计独立，均值为零，平均功率为均值为零，平均功率为均值为零，平均功率为均值为零，平均功率为S Si i的高斯随机变量。的高斯随机变量。的高斯随机变量。的高斯随机变量。约束条件：输入信号的总平均功率受限，约束条件：输入信号的总平均功率受限，约束条件：输入信号的总平均功率受限，约束条件：输入信号的总平均功率受限，问题：如何将总信号平均功率分配到各信道中，达问题：如何将总信号平均功率分配到各信道中，达问题：如何将总信号平均功率分配到各信道中，达问题：如何将总信号平均功率分配到各信道中，达到上述容量？到上述容量？到上述容量？到上述容量？结论：在总功率一定的前提下，噪声大的信道将分结论：在总功率一定的前提下，噪声大的信道将分结论：在总功率一定的前提下，噪声大的信道将分结论：在总功率一定的前提下，噪声大的信道将分配到功率小的输入信号或不分配给信号配到功率小的输入信号或不分配给信号配到功率小的输入信号或不分配给信号配到功率小的输入信号或不分配给信号尽量使尽量使尽量使尽量使其少传或不传信息；噪声小的信道分配到功率大的其少传或不传信息；噪声小的信道分配到功率大的其少传或不传信息；噪声小的信道分配到功率大的其少传或不传信息；噪声小的信道分配到功率大的信号信号信号信号尽量使其多传信息。尽量使其多传信息。尽量使其多传信息。尽量使其多传信息。平行可加高斯信道的容量平行可加高斯信道的容量平行可加高斯信道的容量平行可加高斯信道的容量图示：无记忆加性高斯噪声信道的并联，输入总功率图示：无记忆加性高斯噪声信道的并联，输入总功率图示：无记忆加性高斯噪声信道的并联，输入总功率图示：无记忆加性高斯噪声信道的并联，输入总功率 受限时各信道中信号平均功率的分配受限时各信道中信号平均功率的分配受限时各信道中信号平均功率的分配受限时各信道中信号平均功率的分配平行可加高斯信道的容量平行可加高斯信道的容量12345678910N=10功率功率例：例：1010各独立信道的并联，高斯加性噪声均值各独立信道的并联，高斯加性噪声均值 为零，平均功率分别为：为零，平均功率分别为：输入信号总平均功率为输入信号总平均功率为解：解：平行可加高斯信道的容量平行可加高斯信道的容量这样信号将分配给剩下的这样信号将分配给剩下的这样信号将分配给剩下的这样信号将分配给剩下的 6 6 6 6个个个个 信道，信道，信道，信道，N N N N6 6 6 6 此时有：此时有：此时有：此时有：这样信号将分配给剩下的这样信号将分配给剩下的这样信号将分配给剩下的这样信号将分配给剩下的 5 5 5 5 个信道，个信道，个信道，个信道，N N N N5 5 5 5 此时有：此时有：此时有：此时有：最后信号将分配给最后信号将分配给最后信号将分配给最后信号将分配给 4 4 4 4 个信道，个信道，个信道，个信道，N N N N4 4 4 4 平行可加高斯信道的容量平行可加高斯信道的容量平行可加高斯信道的容量平行可加高斯信道的容量求得信道容量为求得信道容量为求得信道容量为求得信道容量为第三章第三章 小结小结信道容量概念信道容量概念特殊信道容量计算特殊信道容量计算信道的组合信道的组合香农公式香农公式