Cha电信PPT课件.ppt

13.1 3.1 信道分类和表示参数信道分类和表示参数3.2 3.2 离散单个符号信道及其容量离散单个符号信道及其容量3.3 3.3 离散序列信道及其容量离散序列信道及其容量内容内容23.1 3.1 信道分类和表示参数信道分类和表示参数3信道信道信道：信息传输的通道 在通信中,信道按其物理组成常被分成微波信道、光纤信道、电缆信道等。信号在这些信道中传输的过程遵循不同的物理规律,通信技术必须研究信号在这些信道中传输时的特性信息论不研究信号在信道中传输的物理过程,并假定信道的传输特性已知,这样信息论就可以抽象地将信道用下图所示的模型来描述。信 道输入量X(随机过程)输出量Y(随机过程)p(Y|X)4（1 1）按其输入）按其输入/输出信号在幅度和时间上的取值输出信号在幅度和时间上的取值是是离散或连续离散或连续来划分来划分 幅度幅度时间时间信道名称信道名称离散离散离散信道（数字信道）连续离散连续信道连续连续模拟信道（波形信道）连续离散半离散半连续信道离散连续3.1.1 3.1.1 信道分类信道分类 5信道分类信道分类（2）按输入/输出之间关系的记忆性记忆性来划分：无记忆信道：信道的输出只与信道该时刻的输入有关,而与其他时刻的输入无关有无记忆信道：信道的输出不但与信道现时的输入有关而且还与以前时刻的输入有关6信道分类信道分类（3）按输入输出信号之间的关系是否是确定关系:无干扰信道：输入/输出符号之间有确定的一一对应关系有干扰信道：输入/输出之间关系是一种统计依存统计依存的关系输入/输出的统计关系：离散无记忆信道：离散无记忆信道：用条件概率矩阵来描述。用条件概率矩阵来描述。离散有记忆信道：离散有记忆信道：可像有记忆信源中那样引入状态的概念。可像有记忆信源中那样引入状态的概念。73.1.2 3.1.2 信道参数信道参数设信道的输入X X=(X1,X2 Xi,),Xi a1 an 输出Y=(Y1,Y2 Yj,),Yj b1 bm信道转移概率矩阵p(Y|X)：描述输入/输出的统计依赖关系,反映信道统计关系信 道XYp(Y|X)8无干扰无干扰(无噪声无噪声)信道信道无干扰(无噪声)信道信道的输出信号Y与输入信号X之间有确定的关系Y Y=f(X X),已知X X后就确知Y转移概率:9有干扰无记忆信道有干扰无记忆信道有干扰无记忆信道信道的输出信号Y与输入信号X之间没有确定的关系,但转移概率满足:有干扰无记忆信道可分为（输入输出符号数）:二进制离散信道离散无记忆信道离散输入、连续输出信道波形信道10二进制离散信道二进制离散信道二进制对称信道BSC输入符号X取值0,1；输出符号Y取值0,1 很重要的一种特殊信道信道转移概率：p(0|0)=1p p(1|1)=1p p(0|1)=p p(1|0)=p0101pp1-p1-p无错误传输的概率传输发生错误的概率11离散无记忆信道离散无记忆信道DMCDMC信道输入是n元符号 X=a1,a2,an信道输出是m元符号 Y=b1,b2,bm转移矩阵a1a2anb1b2bm:p11p12p21p22pnmpij=p(bj|ai)12P:转移概率矩阵已知X,信道输出Y表现出来的统计特性完全描述了信道的统计特性,其中有些概率是信道干扰引起的错误概率,有些是正确传输的概率转移概率矩阵转移概率矩阵133.2 3.2 离散单个符号信道及其容量14信道的输入、输出都取值于离散符号集，且都用一个随机变信道的输入、输出都取值于离散符号集，且都用一个随机变量来表示的信道。量来表示的信道。设离散单符号信道的输入随机变量为设离散单符号信道的输入随机变量为 ，输出随机变量为输出随机变量为 ，由于信道中存在干扰，由于信道中存在干扰，因此输入符号在传输中将会产生错误，这种信道干扰对传输的因此输入符号在传输中将会产生错误，这种信道干扰对传输的影响可用转移概率影响可用转移概率 来描述：来描述：3.2.1 离散单符号信道的数学模型15为了表述简便，常常写成为了表述简便，常常写成其中其中：信道转移概率实际上是一个转移概率矩阵，称为信道转移概率实际上是一个转移概率矩阵，称为信道矩阵信道矩阵16一般离散单符号信道的概率关系：一般离散单符号信道的概率关系：（1 1）输入输出随机变量的联合概率分布为）输入输出随机变量的联合概率分布为 则有则有 其中其中 是信道转移概率，即输入为是信道转移概率，即输入为 ，通过信道传输输出，通过信道传输输出 的概率，通常称为的概率，通常称为前向概率前向概率。它。它是由于信道噪声引起的，所以通常用它描述信道噪声的特是由于信道噪声引起的，所以通常用它描述信道噪声的特性。而性。而 是已知信道输出符号是已知信道输出符号 ，输入符号为，输入符号为 的概率，的概率，称为称为后向概率后向概率。有时把。有时把 称为输入符号的先验概率。称为输入符号的先验概率。而对应的把而对应的把 称为输入符号的后验概率。称为输入符号的后验概率。17（2 2）由全概率公式，可从先验概率和信道转移）由全概率公式，可从先验概率和信道转移概率求输出符号的概率：概率求输出符号的概率：（3 3）根据贝叶斯公式，可由先验概率和信道的转）根据贝叶斯公式，可由先验概率和信道的转移概率求后向概率：移概率求后向概率：写成向量的形式：写成向量的形式：或记成或记成18 平平均均互互信信息息 是是接接收收到到输输出出符符号号集集 后所获得的关于输入符号集后所获得的关于输入符号集 的信息量。的信息量。信信宿宿所所消消除除的的关关于于信信源源的的不不确确定定性性，也也就就是是获获得得的的关关于于信信源源的的信信息息为为 ，它它是是平平均均意意义义上上每每传传送送一一个个符符号号流流经经信信道道的的信信息息量量，从从这这个个意意义义上上来来说说，平平均均互互信信息息又又称称为为信信道道的的信信息息传传输输率率，通通常常用用 表表示示。即即 比特/符号比特/秒一般称为一般称为信息传输速率信息传输速率。如果平均传输一个符号为如果平均传输一个符号为t t秒，则秒，则19信道容量信道容量 我们研究信道的目的是要讨论信道中平均每个符号所能传送的信息量,即信道的信息传输率R平均互信息I(X;Y)：接收到符号Y后平均每个符号获得的关于X的信息量。信道的信息传输率就是平均互信息 20信道容量信道容量信道容量C：最大的信息传输率单位时间的信道容量：21信道容量的计算信道容量的计算 对于一般信道,信道容量计算相当复杂,我们先讨论某些特殊类型的信道：离散信道可分成：无干扰(无噪)信道无噪无损信道有噪无损信道 无噪有损信道 有干扰无记忆信道有干扰有记忆信道223.2.1 3.2.1 无干扰离散信道无干扰离散信道设信道的输入X XA=a1 an,输出YB=b1 bm无噪无损信道输入和输出符号之间有确定的一一对应关系Xa1 b1 Ya2 b2a3 b311123无干扰离散信道无干扰离散信道无噪无损信道Xa1 b1 Ya2 b2an-1 bn-1an bn1124无干扰离散信道无干扰离散信道无噪无损无噪无损信道由计算得：噪声熵H(Y|X)=0 损失熵H(X|Y)=025无干扰离散信道无干扰离散信道无噪有损信道多个输入变成一个输出(nm)Xa1 Ya2 b1a3a4 b2a511111输出Y是输入X的确定函数,但不是一一对应,而是多一对应关系。26无干扰离散信道无干扰离散信道无噪有损无噪有损信道多个输入变成一个输出(nm)噪声熵H(Y|X)0 损失熵H(X|Y)0信道中接收到符号Y后不能完全消除对X的不确定性,信息有损失。但输出端Y的平均不确定性因噪声熵等于零而没有增加。27无干扰离散信道无干扰离散信道有噪无损信道一个输入对应多个输出(nm)X b1 Ya1 b2 b3a2 b4 b51/31/31/31/43/4计算得同理由28无干扰离散信道无干扰离散信道有噪无损有噪无损信道一个输入对应多个输出(nm)接收到符号Y后,对发送的X符号是完全确定的。噪声熵H(Y|X)损失熵H(X|Y)0=029无干扰离散信道无干扰离散信道无噪无损信道有噪无损信道无噪有损信道30对称离散无记忆信道：对称性:每一行都是由同一集合q1,q2,qm的诸元素不同排列组成输入对称每一列都是由p1,p2,pn集的诸元素不同排列组成输出对称3.2.2 3.2.2 对称对称DMCDMC信道信道满足对称性,所对应的信道是对称离散信道。31对称对称DMCDMC信道信道信道矩阵 不具有对称性,因而所对应的信道不是对称离散信道。32对称对称DMCDMC信道信道对称离散信道的平均互信息为33对称对称DMCDMC信道信道对称DMC信道的容量：上式是对称离散信道能够传输的最大的平均信息量,它只与对称信道矩阵中行矢量p1,p2,pm 和输出符号集的个数m有关。34例某对称离散信道的信道矩阵为 信道容量为 35对称对称DMCDMC信道信道若输入符号和输出符号个数相同,都等于n,且信道矩阵为此信道称为强对称信道(均匀信道)信道矩阵中各列之和也等于1 强对称信道的信道容量：36设二进制对称信道的输入概率空间信道矩阵：BSCBSC信道容量信道容量THANK YOUSUCCESS2024/3/6 周三37可编辑3839当p固定时,I(X,Y)是的 型上凸函数。I(XY)BSC信道容量1-H(p)I(X,Y)对存在一个极大值。BSCBSC信道容量信道容量40当固定信源的概率分布时,I(X,Y)是p的 型 下凸函数。pC信道无噪声当p=0,C=10=1bit=H(X)当p=1/2,信道强噪声BSCBSC信道容量信道容量BSC信道容量41定理：平均互信息I(X;Y)是信道传递概率p(bj|ai)的 型下凸函数。定理：给定转移概率矩阵P后,平均互信息I(X;Y)是输入信源的概率分布p(ai)的 型上凸函数。信道容量信道容量信道容量是完全描述信道特性的参量,是信道能够传输的最大信息量。42当信源输入符号的速率为rs(符/秒),信道容量BSCBSC信道容量信道容量实际信息传输速率Rt为 进入信道输入端的信息速率 43例BSC信道如图,rs=1000符号/秒,错误传递概率p=0.1求:信道容量 0Y0.9 10.1输入符号等概时有最大信息传输速率信道实际信息传输速率44串联（级联）信道是信道最基本的组合形式，许多实际信道都可以看成是其组成信道的级联。串联信道串联信道X XY YZ Z 组成一个马尔可夫链。根据马尔可夫链的性质，组成一个马尔可夫链。根据马尔可夫链的性质，串联信道的总的信道矩阵等于这两个串接信道的信道矩串联信道的总的信道矩阵等于这两个串接信道的信道矩阵的乘积。阵的乘积。在实际通信系统中,信号往往要通过几个环节的传输,或多步的处理,这些传输或处理都可看成是信道,它们串接成一个串联信道。45串联信道串联信道例3-3 设有两个离散BSC信道,串接如图,两个BSC信道的转移矩阵为:X00ZY111-p1-p1-pp串联信道的转移矩阵为:1-pp46串联信道串联信道X00ZY11求得:pp1-p1-p1-p1-p47串联信道串联信道由信息不增原理信道2信道m信道1可以看出,串接的信道越多,其信道容量可能会越小,当串接信道数无限大时,信道容量可能会趋于0XYZ483.2.3 3.2.3 准对称准对称DMCDMC信道信道 准对称信道转移概率矩阵P是输入对称而输出不对称准对称信道准对称信道容量49准对称信道的信道容量准对称信道的信道容量 准对称信道 将信道矩阵P的列划分成若干个互不相交的子集mk,由mk为列组成的矩阵Pk是对称矩阵。50准对称信道的信道容量准对称信道的信道容量 当输入分布为等概率时：其中n是输入符号集的个数,(p1,p2,pm)为准对称信道矩阵中的行元素。设矩阵可划分成r个互不相交的子集。Nk是第k个子矩阵Pk中行元素之和,Mk是第k个子矩阵Pk中列元素之和。51例：设信道传递矩阵为 计算得：N1=3/4,N2=1/4,M1=3/4,M2=1/4将它分成 52 通过计算可得平均互信息的极大值通过计算可得平均互信息的极大值 ，即，即设辅助函数：设辅助函数：，1.1.平平均均互互信信息息 是是输输入入概概率率分分布布p p(x x)的的上上凸凸函函数数，因因此此极极大大值值必必定定存存在在。在在信信道道固固定定的的条条件件下下，平平均均互互信信息息是是r r个个变变量量 的的多多元元函函数数，且且满满足足约约束束条条件件 ，故可用拉格朗日乘子法来求这个条件极值。即在，故可用拉格朗日乘子法来求这个条件极值。即在 当当 时求得的值即为信道容量。时求得的值即为信道容量。的条件下求的条件下求 的极值。的极值。3.2.4 3.2.4 一般一般DMCDMC信道信道53因为因为所以所以又因又因54令令得到得到即即同乘以同乘以 并对并对x求和求和，55 1 1信道矩阵为可逆矩阵，采用解方程组的方法。信道矩阵为可逆矩阵，采用解方程组的方法。在一般信道的信道容量的推导中我们推出了下式：在一般信道的信道容量的推导中我们推出了下式：这样得到的信道容量有一个参数这样得到的信道容量有一个参数 。在某些情况下可以。在某些情况下可以消去消去 得到信道容量值。得到信道容量值。令令 移项得移项得56则则所以所以当当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。，且信道矩阵是可逆矩阵时，该方程组有唯一解。这时就可以求出这时就可以求出 ，然后根据，然后根据 和和 求出信道容量：求出信道容量：由由 和和C就可以求得输出概率分布就可以求得输出概率分布再根据再根据列列方程组求方程组求57（1）由）由 列方程组求出列方程组求出 ；（2）由）由 求出求出C；将计算步骤总结如下：将计算步骤总结如下：（3）由）由 求出求出 ；（4）由）由 列方程组求列方程组求 。为什么要求为什么要求？58例：求如下信道的信道容量：例：求如下信道的信道容量：公式：公式：592当输入概率分布只有一个变量时，当输入概率分布只有一个变量时，例如例如r=2，可以设输入，可以设输入概率分布为概率分布为 和和 ，因此输入概率分布只有一个变量，这，因此输入概率分布只有一个变量，这时我们可以直接对时我们可以直接对 求导求出，从而得出求导求出，从而得出 的极的极大值大值C。例例已知信道的转移矩阵为已知信道的转移矩阵为求信道容量。求信道容量。603.2.5 3.2.5 信道容量定理信道容量定理 定理：一般离散信道的平均互信息I(X;Y)达到极大值的充分和必要条件是输入概率p(ai)必须满足:I(ai;Y)=C 对于所有ai其p(ai)0 I(ai;Y)C 对于所有ai其p(ai)=0上式说明：当信道的平均互信息I(X;Y)达到信道容量时,输入符号概率集p(ai)中每一个符号ai对输出端Y提供相同的互信息,只是概率为0的除外。61平均互信息对输入概率分布求偏导：平均互信息对输入概率分布求偏导：（1）（2）用用 上式上式 和和 改写信道容量充要条件：改写信道容量充要条件：62信道容量定理：信道容量定理：平均互信息平均互信息 取到极大值也取到极大值也就是信道容量时，对于任意就是信道容量时，对于任意 ，只要它出现的概率，只要它出现的概率大于大于0 0，都相等。都相等。例例证明当输入为等概分布时，离散准对称信道达到信道容证明当输入为等概分布时，离散准对称信道达到信道容量。量。63信道容量定理只给出了达到信道容量时，最佳输入概率信道容量定理只给出了达到信道容量时，最佳输入概率分布应满足的条件，并没有给出最佳输入概率分布值，分布应满足的条件，并没有给出最佳输入概率分布值，也没有给出信道容量的数值。另外，定理本身也隐含着也没有给出信道容量的数值。另外，定理本身也隐含着达到信道容量的最佳分布不一定是唯一的，只要输入概达到信道容量的最佳分布不一定是唯一的，只要输入概率分布满足充要条件式，就是信道的最佳输入分布。在率分布满足充要条件式，就是信道的最佳输入分布。在一些特殊情况下，我们常常利用这一定理寻求输入分布一些特殊情况下，我们常常利用这一定理寻求输入分布和信道容量值。和信道容量值。64例例输入符号集输入符号集 ，输出符，输出符号集号集 ，离散信道如图所示，求离散信道如图所示，求C C。x1x2x3x4x5y2y1110.5110.5653.3 3.3 离散序列信道及容离散序列信道及容量量66离散序列信道及容量离散序列信道及容量设信道的输入X X=(X1,X2 Xi,),Xi a1 an 输出Y Y=(Y1,Y2 Yj,),Yj b1 bm信 道X XY Yp(Y|XY|X)对于无记忆离散序列信道,其信道转移概率为仅与当前输入有关。若信道是平稳的67定理：若信道的输入和输出分别是L长序列X和Y,且信道是无记忆的,亦即信道传递概率为则存在 定理：若信道的输入和输出分别是L长序列X和Y,且信源是无记忆的,亦即则存在 68离散序列信道及容量离散序列信道及容量若信源与信道都是无记忆的 L次扩展信道的信道容量 当信道平稳时:一般情况下:69例3-7.BSC信道二次扩展0 0X X0 11 01 10 00 11 01 1Y Y转移概率矩阵2次扩展信道的信道容量 若 p=0.1 则 C2=(20.938)bit/序列=1.062bit/序列 C1=0.531bit/序列 70独立并联信道独立并联信道 设有L个信道,它们的输入、输出分别是：X1,X2XL；Y1,Y2YL信 道信 道信 道p(Y1|X1)p(YL|XL)p(Y2|X2)每一个信道的输出Yl只与本信道的输入Xl有关,与其他信道的输入、输出都无关。独立并联信道的信道容量 X1X2XLY1Y2YL713.3 3.3 连续连续信道及其容量信道及其容量THANK YOUSUCCESS2024/3/6 周三72可编辑