2信道容量.pptx

2024/4/2 周二1/64信道的信息传输速率信道的信息传输速率n如果信源熵为如果信源熵为H(X)，希望在信道输出端接收的信，希望在信道输出端接收的信息量也是息量也是H(X)，由于干扰的存在，一般只能接收，由于干扰的存在，一般只能接收到到I(X;Y)。信道的信息传输率信道的信息传输率R(信道中平均每个信道中平均每个符号所能传送的信息量符号所能传送的信息量)：就是平均互信息：就是平均互信息 R=I(X;Y)。n输出端输出端Y往往只能获得关于输入往往只能获得关于输入X的部分信息，这的部分信息，这是由于平均互信息性质决定的：是由于平均互信息性质决定的：I(X;Y)H(X)。2024/4/2 周二2/64nI(X;Y)是信源输入概率分布是信源输入概率分布p(xi)和信道转移概率和信道转移概率p(yj/xi)的的二元函数：当信道特性二元函数：当信道特性p(yj/xi)固定后，固定后，I(X;Y)随信源概随信源概率分布率分布p(xi)的变化而变化。调整的变化而变化。调整p(xi)，在接收端就能获，在接收端就能获得不同的信息量。由平均互信息的性质已知，得不同的信息量。由平均互信息的性质已知，I(X;Y)是是p(xi)的上凸函数，因此总能找到一种概率分布的上凸函数，因此总能找到一种概率分布p(xi)（即某（即某一种信源），使信道所能传送的信息率为最大。一种信源），使信道所能传送的信息率为最大。信道的信息传输速率信道的信息传输速率2024/4/2 周二3/64信道容量信道容量n信道容量信道容量C：信道中最大的信息传输率，单位是比特：信道中最大的信息传输率，单位是比特/信道符信道符号。号。n单位时间的信道容量单位时间的信道容量Ct：若信道平均传输一个符号需要：若信道平均传输一个符号需要 t 秒钟，秒钟，则单位时间的信道容量为则单位时间的信道容量为nC和和Ct都是求平均互信息都是求平均互信息I(X;Y)的条件极大值问题，当输入信的条件极大值问题，当输入信源概率分布源概率分布p(xi)调整好以后，调整好以后，C和和Ct已与已与p(xi)无关，而仅仅是无关，而仅仅是信道转移概率的函数，也就是只与信道统计特性有关；信道转移概率的函数，也就是只与信道统计特性有关；n对于特定的信道，其信道容量对于特定的信道，其信道容量C是确定的。信道容量是确定的。信道容量是完全是完全描描述信道特性述信道特性的参量；是信道的参量；是信道能够传送的最大信息量能够传送的最大信息量。2024/4/2 周二4/64 几种特殊离散信道的信道容量几种特殊离散信道的信道容量n离散无噪信道的信道容量（三种无噪信道）离散无噪信道的信道容量（三种无噪信道）n强对称离散信道的信道容量强对称离散信道的信道容量n对称离散信道的信道容量对称离散信道的信道容量n准对称离散信道的信道容量准对称离散信道的信道容量 2024/4/2 周二5/64具有一一对应关系的无噪信道具有一一对应关系的无噪信道n信道模型如图信道模型如图n对应的信道矩对应的信道矩阵是阵是无噪无损无噪无损信道信道2024/4/2 周二6/64n因为信道矩阵中所有元素均是因为信道矩阵中所有元素均是“1”或或“0”，X和和Y有确定的对应关系：有确定的对应关系：已知已知X后后Y没有不确定性，噪声熵没有不确定性，噪声熵 H(Y/X)=0；反之，收到反之，收到Y后，后，X也不存在不确定性，信道疑义也不存在不确定性，信道疑义度度 H(X/Y)=0;故有故有 I(X;Y)=H(X)=H(Y)。n当信源呈等概率分布时，具有一一对应确定关系的当信源呈等概率分布时，具有一一对应确定关系的无噪信道达到信道容量无噪信道达到信道容量:具有一一对应关系的无噪信道具有一一对应关系的无噪信道2024/4/2 周二7/64具有扩展性能的无噪信道具有扩展性能的无噪信道n信道模型如图所示。信道模型如图所示。nrs，输入，输入X的符号集个数的符号集个数小于输出小于输出Y的符号集个数。的符号集个数。其信道矩阵如下：其信道矩阵如下：有噪无损有噪无损信道信道2024/4/2 周二8/64n虽然信道矩阵中的元素不全是虽然信道矩阵中的元素不全是“1”或或“0”，但，但由于每列中只有一个非零元素：由于每列中只有一个非零元素：已知已知Y后，后，X不再有任何不确定度，信道疑义度不再有任何不确定度，信道疑义度 H(X/Y)=0，I(X;Y)=H(X)-H(X/Y)=H(X)。n信道容量为信道容量为n与一一对应信道不同的是，此时输入端符号熵小与一一对应信道不同的是，此时输入端符号熵小于输出端符号熵，于输出端符号熵，H(X)s，输入，输入X的符号集个数大于输出的符号集个数大于输出Y的符号集个数。其信的符号集个数。其信道矩阵如下：道矩阵如下：无噪有损无噪有损信道信道2024/4/2 周二10/64n信道矩阵中的元素非信道矩阵中的元素非“0”即即“1”，每行仅有一个非零，每行仅有一个非零元素，但每列的非零元素个数大于元素，但每列的非零元素个数大于1：已知一个已知一个xi后，对应的后，对应的yj完全确定，信道噪声熵完全确定，信道噪声熵H(Y/X)=0。但是收到某一个但是收到某一个yj后，对应的后，对应的xi不完全确定，信道疑义度不完全确定，信道疑义度 H(X/Y)0。n信道容量为信道容量为n这种信道输入端符号熵大于输出端符号熵，这种信道输入端符号熵大于输出端符号熵，H(X)H(Y)。n n注意注意注意注意：在求信道容量时，调整的始终是输入端的概率分布在求信道容量时，调整的始终是输入端的概率分布p(xi)，尽管信道容量式子中平均互信息，尽管信道容量式子中平均互信息I(X;Y)等于输出端等于输出端符号熵符号熵H(Y)，但是在求极大值时调整的仍然是输入端的概，但是在求极大值时调整的仍然是输入端的概率分布率分布p(xi)，使得输出端的概率分布，使得输出端的概率分布p(yj)达到最佳分布达到最佳分布。具有归并性能的无噪信道具有归并性能的无噪信道无噪有损无噪有损2024/4/2 周二11/64例题：例题：下图信道的信道容量是下图信道的信道容量是C=H(Y)=log23=1.585(比特比特/信信道符号道符号)，求要达到这一信道容量对应的信源概率分布。求要达到这一信道容量对应的信源概率分布。p由信道矩阵得由信道矩阵得 p(y1)=p(x1)1+p(x2)1 p(y2)=p(x3)1+p(x4)1 p(y3)=p(x5)1p只要只要p(y1)=p(y2)=p(y3)=(1/3)，H(Y)达到最大值，即达到信达到最大值，即达到信道容量道容量C。p此时使此时使p(y1)=p(y2)=p(y3)=(1/3)成立的信源概率分布成立的信源概率分布p(xi),i=1,2,3,4,5存在，但不是惟一的。存在，但不是惟一的。p这种信道的输入符号熵大于这种信道的输入符号熵大于 输出符号熵，即输出符号熵，即H(X)H(Y)。2024/4/2 周二12/64结结 论论n具有一一对应关系的无噪信道的信道容量：具有一一对应关系的无噪信道的信道容量：n具有扩展性能的无噪信道的信道容量：具有扩展性能的无噪信道的信道容量：n具有归并性能的无噪信道的信道容量：具有归并性能的无噪信道的信道容量：结论：离散无噪信道的信道容量结论：离散无噪信道的信道容量C只决定于信道的输入符号只决定于信道的输入符号数数r，或输出符号数，或输出符号数s，与信源无关。，与信源无关。2024/4/2 周二13/64强对称离散信道强对称离散信道n单符号离散信道的单符号离散信道的X和和Y取值均由取值均由r个不同符号组成，即个不同符号组成，即 Xx1,x2,xi,xr，Yy1,y2,yj,yrn信道矩阵为信道矩阵为n这种信道称为这种信道称为强对称强对称/均匀均匀信道。信道。n这类信道中：总的错误概率是这类信道中：总的错误概率是p，对称平均地分配给，对称平均地分配给(r-1)个个输出符号。输出符号。n信道矩阵中每行之和等于信道矩阵中每行之和等于1，每列之和也等于，每列之和也等于1。而。而一般信一般信道矩阵中，每列之和不一定等于道矩阵中，每列之和不一定等于1 1。2024/4/2 周二14/64强对称信道矩阵特点强对称信道矩阵特点n强对称信道矩阵，它的每一行和每一列都是同一集合各个强对称信道矩阵，它的每一行和每一列都是同一集合各个元素的不同排列。元素的不同排列。n由平均互信息定义：由平均互信息定义：2024/4/2 周二15/64nH(Y/X=x)的意义的意义：是固定是固定X=xi时对时对Y求和，相当于求和，相当于在信道矩阵中选定了某一行，对该行上各列元素在信道矩阵中选定了某一行，对该行上各列元素的自信息求加权和。由于信道的对称性，每一行的自信息求加权和。由于信道的对称性，每一行都是同一集合的不同排列，所以都是同一集合的不同排列，所以n当当xi不同时，不同时，H(Y/X=x)只是求和顺序不同，求和只是求和顺序不同，求和结果完全一样。所以结果完全一样。所以H(Y/X=x)与与X无关无关，是一个常，是一个常数。数。2024/4/2 周二16/64强对称离散信道的信道容量强对称离散信道的信道容量n由于由于n如何达到信道容量：如何达到信道容量：求一种输入分布使求一种输入分布使H(Y)取得最大值。取得最大值。现已知输出符号集现已知输出符号集Y共有共有r个符号，则个符号，则H(Y)log2r。根据最大离散。根据最大离散熵定理，只有当熵定理，只有当p(yj)=(1/r)，即输出端呈等概率分布时，即输出端呈等概率分布时，H(Y)才达到最大值才达到最大值log2r。要获得这一最大值，可通过公式要获得这一最大值，可通过公式 寻找相应的输入概率分布；寻找相应的输入概率分布；一般情况下不一定存在一种输入符号的概率，使输出符号达到一般情况下不一定存在一种输入符号的概率，使输出符号达到等概率分布。但强对称离散信道存在。等概率分布。但强对称离散信道存在。2024/4/2 周二17/64输入是什么概率分布时达到信道容量输入是什么概率分布时达到信道容量n强对称离散信道的输入和输出之间概率关系可用矩阵表示为强对称离散信道的输入和输出之间概率关系可用矩阵表示为n信道矩阵中的每一行都是由同一集合信道矩阵中的每一行都是由同一集合 中的诸元素的不同排列组成，所以保中的诸元素的不同排列组成，所以保 证了证了当输入符号当输入符号X是等概率分布，是等概率分布，即即p(xi)=(1/r)时，输出符号时，输出符号Y一定是等概率分布，这时一定是等概率分布，这时H(Y)=log2r。相应的信道容量为。相应的信道容量为2024/4/2 周二18/64n结论：结论：当信道输入呈等概率分布时，强对称离散信道能够传当信道输入呈等概率分布时，强对称离散信道能够传输最大的平均信息量，即达到信道容量：输最大的平均信息量，即达到信道容量：这个信道容量只与信道的输出符号数这个信道容量只与信道的输出符号数r和相应信道矩阵中的和相应信道矩阵中的任一行矢量有关任一行矢量有关。2024/4/2 周二19/64对称离散信道对称离散信道 对称离散信道的对称离散信道的可排列性：可排列性：n行可排列：行可排列：一个矩阵的每一行都是同一集合一个矩阵的每一行都是同一集合 中诸元素的不同排列。中诸元素的不同排列。n列可排列：列可排列：一个矩阵的每一列都是同一集合一个矩阵的每一列都是同一集合 中诸元素的不同排列。中诸元素的不同排列。n矩阵可排列性：矩阵可排列性：一个矩阵的行和列都是可排列的。一个矩阵的行和列都是可排列的。2024/4/2 周二20/64n例：例：2024/4/2 周二21/64对称离散信道的信道容量对称离散信道的信道容量n平均互信息平均互信息2024/4/2 周二22/64n对称离散信道的信道容量与强对称的形式相同，只对称离散信道的信道容量与强对称的形式相同，只是这里是这里sr。n由于对称信道的特点，由于对称信道的特点，X等概率分布时，等概率分布时，Y也是等概也是等概率分布，从而使率分布，从而使Y的熵达到最大值的熵达到最大值log2s，即达到信，即达到信道的容量。道的容量。nex：3.62024/4/2 周二23/64n3.6 某对称离散信道的信道矩阵为某对称离散信道的信道矩阵为 1/3 1/3 1/6 1/6 1/6 1/6 1/3 1/3 ，求其信道容量，求其信道容量解：解：P=2024/4/2 周二24/64 准对称离散信道的信道容量准对称离散信道的信道容量n准对称离散信道：一个准对称离散信道：一个r行行s列单符号离散信道矩阵列单符号离散信道矩阵P的的行可排列，列不可排列。但是矩阵可以分解为行可排列，列不可排列。但是矩阵可以分解为n 个具有个具有可排列性的子矩阵可排列性的子矩阵P k。n例例 两个子矩阵均是可排列的，故信道两个子矩阵均是可排列的，故信道P是准对称信道。是准对称信道。2024/4/2 周二25/64n准对称离散信道容量为准对称离散信道容量为n其中，其中，是第是第k个子矩阵中行元素的和，而个子矩阵中行元素的和，而 是是子矩阵列元素的和子矩阵列元素的和nex：3.8了解了解2024/4/2 周二26/643.8 设信道矩阵为设信道矩阵为 计算该信道的信道容量。计算该信道的信道容量。解：可分解为两个互不相交的子矩阵解：可分解为两个互不相交的子矩阵N1=1-q，N2=q；M1=1-q，M2=2q利用利用2024/4/2 周二27/64单符号离散无记忆信道的单符号离散无记忆信道的N次扩展信道的次扩展信道的数学模型数学模型2024/4/2 周二28/64l无记忆性无记忆性：离散信道在时刻：离散信道在时刻k的输出随机变量的输出随机变量Yk只与时刻只与时刻k的输入随机变量的输入随机变量Xk(k=1,2,N)有关，与有关，与k时刻之前的输入时刻之前的输入随机变量随机变量X1X2Xk-1和输出随机变量和输出随机变量Y1Y2Yk-1无关。无关。l l无预感性无预感性无预感性无预感性：k时刻之前的输出随机变量序列时刻之前的输出随机变量序列Y1Y2Yk-1只与只与k时刻之前的输入随机变量序列时刻之前的输入随机变量序列X1X2Xk-1有关，与以后的有关，与以后的第第k时刻的输入随机变量时刻的输入随机变量Xk无关。无关。单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道次扩展信道传递概率的关系传递概率的关系2024/4/2 周二29/64l离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道离散无记忆信道的离散无记忆信道的N次扩展信道的传递概率等于次扩展信道的传递概率等于各时刻各时刻相相应的单符号离散无记忆信道的传递概率的乘积。应的单符号离散无记忆信道的传递概率的乘积。离散无记忆信道的离散无记忆信道的N次扩展信道既是次扩展信道既是无记忆无记忆的，又是的，又是无预无预感感的。即输出随机变量的。即输出随机变量Yk只与对应的输入随机变量只与对应的输入随机变量Xk有有关。关。接前页接前页2024/4/2 周二30/64离散无记忆信道离散无记忆信道N次扩展信道两端的平均互信息为次扩展信道两端的平均互信息为I(X;Y)=H(Y)H(Y /X)平均互信息公式平均互信息公式续下页续下页单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道次扩展信道平均互信息的关系平均互信息的关系2024/4/2 周二31/64第第k个随机变量个随机变量Xk单独通过单符号离散信道时的平均互单独通过单符号离散信道时的平均互信息信息N个输入、输出变量的平均互信息之和为个输入、输出变量的平均互信息之和为于是有：于是有：H(X1X2XN-1 XN)=H(X1)+H(X2/X1)+H(X3/X1X2)+H(XN/X1X2XN-1)2024/4/2 周二32/64当且仅当当且仅当信源信源X =X1X2XN无记忆无记忆，或者说，或者说信源信源X是离散无是离散无记忆信源记忆信源X的的N次扩展信源次扩展信源XN=X1X2XN时，也可以说时，也可以说输输出端各出端各Yk(k=1,2,N)相互独立相互独立时等号成立。时等号成立。u 结论结论1 1：离散无记忆信道的：离散无记忆信道的N N次扩展信道的平均互信息，次扩展信道的平均互信息，不大于不大于N N个随机变量个随机变量X X1 1X X2 2X XN N单独通过信道单独通过信道 X X P P(Y Y/X X)Y Y 的平均互信息之和。即：的平均互信息之和。即：u 结论结论2 2：离散无记忆信道的：离散无记忆信道的N次扩展信道，当输入端的次扩展信道，当输入端的N个输入随机变量统计独立时，信道的总平均互信息等于个输入随机变量统计独立时，信道的总平均互信息等于这这N个变量单独通过信道的平均互信息之和。个变量单独通过信道的平均互信息之和。2024/4/2 周二33/64由于离散无记忆信源的由于离散无记忆信源的N次扩展信源中的随机变量次扩展信源中的随机变量都取自同一符号集都取自同一符号集Xk x1x2xN(k=1,2,N)，并，并具有相同的概率分布，而且都通过同一个离散无记具有相同的概率分布，而且都通过同一个离散无记忆信道忆信道X P(Y/X)Y，信道输出端随机变量序列中，信道输出端随机变量序列中的随机变量的随机变量Yk(k=1,2,N)也取自同也取自同 一符号集，并一符号集，并具有相同的概率分布，而且相互统计独立。具有相同的概率分布，而且相互统计独立。所以所以 I(Xk;Yk)=I(X;Y)单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道次扩展信道平均互信息的关系平均互信息的关系信源为有记信源为有记忆时是忆时是“=”2024/4/2 周二34/64u 结论结论3 3：离散无记忆信道的离散无记忆信道的N N次扩展信道，如果信源也是次扩展信道，如果信源也是离散无记忆信源的离散无记忆信源的N N次扩展信源，则信道总的平均互信息次扩展信源，则信道总的平均互信息是单符号离散无记忆信道平均互信息的是单符号离散无记忆信道平均互信息的N N倍倍。结论结论3的说明：因为离散无记忆信道的说明：因为离散无记忆信道N次扩展信道可以用次扩展信道可以用N个个单符号离散信道来等效，这单符号离散信道来等效，这N个信道之间没有任何关联关系，个信道之间没有任何关联关系，若输入端的若输入端的N个随机变量之间也没有任何关联关系的话，就个随机变量之间也没有任何关联关系的话，就相当于相当于N个毫不相干的单符号离散信道在分别传送各自的信个毫不相干的单符号离散信道在分别传送各自的信息息，所以在扩展信道的输出端得到的平均信息量必然是单个，所以在扩展信道的输出端得到的平均信息量必然是单个信道的信道的N倍。倍。用用C表示离散无记忆信道容量，用表示离散无记忆信道容量，用CN表示其扩展信道容量，表示其扩展信道容量，一般情况：一般情况：CN=NC单符号离散无记忆信道与其单符号离散无记忆信道与其N次扩展信道的次扩展信道的信道容量关系信道容量关系2024/4/2 周二35/64作业作业n n3.1n n3.3n n3.102024/4/2 周二36/642024/4/2 周二37/64独立并联信道独立并联信道独立并联信道：输入和输出随机序列中的各随机变量取独立并联信道：输入和输出随机序列中的各随机变量取值于不同的符号集，就构成了独立并联信道。是离散无值于不同的符号集，就构成了独立并联信道。是离散无记忆信道的记忆信道的N次扩展信道的推广。次扩展信道的推广。p输入随机序列输入随机序列X=X1X2XN，Xk x1k,x2k,xnkp输出随机序列输出随机序列Y=Y1Y2YN，Yk y1k,y2k,ynkpN个独立并联信道的容量个独立并联信道的容量CNp第第k个单符号离散无记忆信道的信道容量为个单符号离散无记忆信道的信道容量为Ck，则有则有n当输入端各随机变量统计独立，且每个当输入端各随机变量统计独立，且每个输入随机变量输入随机变量Xk(k=1,2,N)的概率分的概率分布达到各自信道容量布达到各自信道容量Ck(k=1,2,N)的最的最佳分布时，佳分布时，CN达到其最大值：达到其最大值：2024/4/2 周二38/64独立并联信道推广到更一般情况：独立并联信道推广到更一般情况：p输入各随机变量不但取值于不同的符号集，而且各集合输入各随机变量不但取值于不同的符号集，而且各集合的元素个数也不相同；的元素个数也不相同；p输出随机变量也取值于不同的符号集合，各集合的元素输出随机变量也取值于不同的符号集合，各集合的元素个数也不相同；个数也不相同；p这种更一般的信道可得到与上述类似的结论。这种更一般的信道可得到与上述类似的结论。可以把可以把N个变量的独立并联信道看成是离散无记忆个变量的独立并联信道看成是离散无记忆信道的信道的N次扩展信道的推广，也可以把离散信道的次扩展信道的推广，也可以把离散信道的N次次扩展看成是独立并联信道的特例扩展看成是独立并联信道的特例。