信息论与编码信道与信道容量.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,2019/12/13,#,2024/11/28 周四,1,第,3,章信道与信道容量,3.1,信道的基本概念,3.2,离散单个符号信道及其容量,3.3,离散序列信道及其容量,3.4,连续信道及其容量,3.5,信源与信道的匹配,2024/11/28 周四,2,信道模型和信道容量,信道,传送信息的载体，信号通过的通道。,任务是以信号方式传输信息、存储信息。,研究信道就是研究信道中理论上能够传输或存储的最大信息量，即,信道的容量问题,。信息论不研究信号在信道中传输的物理过程。,信道研究方法,抽象地将信道问题归结为输入、输出和转移概率矩阵三个要素来描述。,信 道,输入,X,输出,Y,P,(,Y,/,X,),2024/11/28 周四,3,信道分类,按信道的用户数量来划分,单用户信道,：即只有一个输入端和一个输出端的单向通信信道。,多用户信道,：即在输入端或输出端中至少有一端存在两个以上的用户，并且还可以双向通信的信道。,按输入,/,输出之间的关系来划分,无反馈信道,：信道的输出端信号不反馈到输入端，即输出信号对输入信号没有影响。,反馈信道,：信道的输出信号通过一定途径反馈到输入端，使输入端的信号发生变化。,2024/11/28 周四,4,信道分类,按信道参数与时间的关系来划分,固定参数信道,：即信道的统计特性不随时间而变化，如光纤、电缆信道。,时变参数信道,：即信道的统计特性随时间而变化，如无线信道。,按信道中的噪声种类来划分,随机差错信道,：指噪声随机地影响每个传输码元，如以高斯白噪声为主体的信道。,突发差错信道,：指噪声、干扰的影响是前后相关的，错误成串出现，如脉冲干扰或闪电等。,2024/11/28 周四,5,信道分类,按输入,/,输出信号在幅度和时间上的取值划分,离散信道,：输入和输出的信号在时间和幅度上均为离散的信道。,连续信道,：信号的幅度连续，时间离散。,半离散半连续信道,：,输入变量取值离散而输出变量取值连续。,输入变量取值连续而输出变量取值离散。,波形信道,：信道的输入和输出信号在时间和幅度上均连续，一般可用随机过程来描述。,单用户、无反馈、固定参数,的,离散,信道,2024/11/28 周四,6,信道模型,信道转移概率矩阵,p,(,Y,/,X,),描述输入,/,输出的统计依赖关系，反映信道统计关系。,信道的输入,X,=(,X,1,X,2,X,i,),输入符号集：,X,i,=,a,1,a,2,a,n,信道的输出,Y,=(,Y,1,Y,2,Y,j,),输出符号集：,Y,j,=,b,1,b,2,b,m,信 道,输入,X,输出,Y,p,(,Y,/,X,),2024/11/28 周四,7,根据干扰和记忆性分类,无干扰（无噪声）信道,信道的输出信号,Y,与输入信号,X,之间有确定的关系,Y,=,f,(,X,),有干扰无记忆信道,每个输出信号只与当前输入信号之间有转移概率关系，与其他时刻的输入（出）信号无关。,有干扰有记忆信道,一般情况下，信道存在码间干扰，输入信号不但与当前输入信号有关，还与以前的输入信号有关。,将记忆很强的,L,个符号当作矢量符号，各矢量符号之间认为是无记忆的。,将转移概率看成马尔可夫链的形式。,2024/11/28 周四,8,信道模型,二进制离散信道,：,BSC,信道,输入符号,X,取值,0,1,输出符号,Y,取值,0,1,信道转移概率,p,(0/0)=1,p,p,(0/1)=,p,p,(1/1)=1,p,p,(1/0)=,p,0,1,0,1,p,p,1-,p,1-,p,输入,输出,无错传输概率,有错传输概率,2024/11/28 周四,9,信道模型,离散无记忆信道,：,DMC,信道,输入符号集：,X,=,a,1,a,2,a,n,输出符号集：,Y,=,b,1,b,2,b,m,输入输出特性,p,(,Y,=,b,j,/,X,=,a,i,),p,(,b,j,/,a,i,)=,p,ij,转移概率矩阵,各行概率之和为,1,2024/11/28 周四,10,信道模型,离散输入、连续输出信道,输入符号集：,X,=,a,1,a,2,a,n,输出未经量化，即,Y,=-,输出特性由离散输入,X,、连续输出,Y,以及一组条件概率密度函数,p,(,y,/,X,=,a,i,),来决定。,加性高斯白噪声（,AWGN,）信道,式中，,G,是均值为零、方差为,2,的高斯随机变量,当,X,给定，,Y,是一个均值为,a,i,、方差为,2,的高斯随机变量,有限、离散,Y,X,G,无限、连续,2024/11/28 周四,11,信道模型,波形信道,输入是模拟波形，输出也是模拟波形,连续无记忆信道和连续有记忆信道,任一时刻输出变量与以前时刻的输入输出是否有关,根据噪声对信道中信号的作用不同，可将噪声分为：,加性噪声,和,乘性噪声,假设输入该信道的带限信号,x,(,t,),，相应的输出是,y,(,t,),，,n,(,t,),代表加性噪声过程的一个样本函数，则,y,(,t,),x,(,t,),n,(,t,),加性高斯白噪声,2024/11/28 周四,12,信道容量的定义,信道传输率,R,信道中平均每个符号能传送的信息量,R,I,(,X,;,Y,),bit/,符号,信息传输速率,R,t,若平均传输一个符号所需时间为,t,则,R,t,I,(,X,;,Y,)/,t,bit/,s,当信道确定时，,p,(,b,j,/,a,i,),确定。互信息是关于,p,(,a,i,),的函数。,2024/11/28 周四,13,信道容量的定义,定理,：给定转移概率矩阵,P,后，平均互信息,I,(,X,;,Y,),是概率矢量,P,x,的上凸函数。,概率矢量,P,x,p,(,a,1,),p,(,a,2,),p,(,a,n,),用,I,(,P,x,),表示,I,是,P,x,的函数，则在,I,(,P,x,),曲线的上凸点对应的输入符号概率矢量,P,x,上，,I,(,P,x,),取得极大值。这个值就是,信道容量,。,2024/11/28 周四,14,信道容量的定义,信道容量,信道容量,C,的单位是信道上每传送一个符号所能携带的比特数，即,比特,/,符号,。,如果以,e,为底，即取自然对数时，信道容量的单位是,奈特,/,符号,。,如果已知符号传送周期是,T,秒，信道容量,C,t,=,C,/,T,，单位为,bit/s,或,nat/s,。,2024/11/28 周四,15,第,3,章信道与信道容量,3.1,信道的基本概念,3.2,离散单个符号信道及其容量,3.3,离散序列信道及其容量,3.4,连续信道及其容量,3.5,信源与信道的匹配,2024/11/28 周四,16,离散单符号信道,离散单个符号信道,无干扰离散信道,有扰离散信道,对称,DMC,信道,准对称,DMC,信道,一般,DMC,信道,无噪无损信道,无噪有损信道,有噪无损信道,2024/11/28 周四,17,无干扰离散信道,信道输入,X,=,a,1,a,2,a,n,，信道输出,Y,=,b,1,b,2,b,m,无噪无损信道,输入和输出符号之间有确定的一一对应关系。,H,(,Y,/,X,)=0,，,H,(,X,/,Y,)=0,，,I,(,X,;,Y,)=,H,(,X,)=,H,(,Y,),C,=max,I,(,X,;,Y,)=,log,n,输入符号等概率分布,2024/11/28 周四,18,无干扰离散信道,无噪有损信道,多个输入变成一个输出。,H,(,Y,/,X,)=0,，,H,(,X,/,Y,)0,，,H,(,X,),H,(,Y,),C,=max,I,(,X,;,Y,)=,max,H,(,Y,),2024/11/28 周四,19,无干扰离散信道,有噪无损信道,一个输入对应多个输出。,H,(,Y,/,X,)0,，,H,(,X,/,Y,)=0,，,H,(,X,),H,(,Y,),C,=max,I,(,X,;,Y,)=,max,H,(,X,),2024/11/28 周四,20,对称,DMC,信道,对称,DMC,信道的定义,输入对称矩阵,：转移概率矩阵,P,的每一行都是第一行的置换（包含同样元素）。,输出对称矩阵,：转移概率矩阵,P,的每一列都是第一列的置换（包含同样元素）。,如果输入、输出都对称，则称该,DMC,为,对称,DMC,信道,2024/11/28 周四,21,对称,DMC,信道,有扰对称,DMC,信道具有如下性质：,对称信道的条件熵,H,(,Y,/,X,),与信道输入符号的概率分布无关。,如果信道输入符号等概率分布，则信道输出符号也等概率分布；反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。,2024/11/28 周四,22,对称,DMC,信道,当信道输入符号等概率分布时，对称,DMC,信道达到其信道容量。,2024/11/28 周四,23,对称,DMC,信道,例：信道转移概率矩阵为,求：信道容量,解：,n,=2,时，为,BSC,信道,=0,时无差错，信道容量最大,=1/2,时，信道容量为,0,2024/11/28 周四,24,对称,DMC,信道,实际通信系统中，信号往往要通过几个环节的传输或多步的处理。若将这些传输和处理看成信道，则串接成为一个串联信道。,信道,1,信道,2,信道,m,X,Y,Z,W,根据信息不增性：,串接的信道越多，其信道容量可能会越小；串接信道数量无限多时，信道容量趋于零。,2024/11/28 周四,25,对称,DMC,信道,例：设有两个离散,BSC,信道，其转移矩阵为,串联信道的转移矩阵为：,m,为串接信道的个数,2024/11/28 周四,26,准对称,DMC,信道,如果转移概率矩阵,P,的输入对称而输出不对称，即,P,的每一行都包含相同的元素而各列的元素不同，则称该矩阵是,准对称,DMC,信道,。,准对称,DMC,信道的容量,2024/11/28 周四,27,准对称,DMC,信道,例：已知信道转移矩阵为,求该信道容量。,解：设输入符号概率为,p,(,a,1,)=,，,p,(,a,2,)=1,联合概率矩阵,输入符号等概率分布时，准对称,DMC,信道达到其信道容量,C,2024/11/28 周四,28,准对称,DMC,信道,例：,设信道转移概率矩阵为：,求该信道的容量。,解：,当输入符号等概率分布时，,达到信道的容量，即,2024/11/28 周四,29,准对称,DMC,信道,矩阵分解法,将转移概率矩阵划分成若干个互不相交的对称子矩阵。,当输入分布为等概率时，达到信道容量为,n,为输入符号集个数,p,1,p,s,是转移概率矩阵中一行的元素,N,k,是第,k,个子矩阵中行元素之和,M,k,是第,k,个子矩阵中列元素之和,2024/11/28 周四,30,一般,DMC,信道,以输入符号概率矢量,P,x,为自变量的函数,I,(,P,x,),的极大值，即信道容量。,为了使,I,(,X,;,Y,),最大化，即求取信道容量的值，输入符号概率集,p,(,a,i,),必须满足的充分必要条件是：,I,(,a,i,;,Y,),C,，对于所有满足,p,(,a,i,),0,条件的,i,I,(,a,i,;,Y,),C,，对于所有满足,p,(,a,i,),0,条件的,i,此结论只给出了达到信道容量,C,时输入符号概率分布的充要条件，并未给出具体值，所以,C,没有具体可求的公式。,2024/11/28 周四,31,第,3,章信道与信道容量,3.1,信道的基本概念,3.2,离散单个符号信道及其容量,3.3,离散序列信道及其容量,3.4,连续信道及其容量,3.5,信源与信道的匹配,2024/11/28 周四,32,离散序列信道及其容量,信 道,输入,X,输出,Y,p,(,Y,/,X,),X,=(,X,1,X,2,X,L,),X,l,=,a,1,a,2,a,n,Y,=(,Y,1,Y,2,Y,L,),Y,l,=,b,1,b,2,b,m,无记忆离散序列信道,的转移概率为：,若信道是,平稳的,，则：,2024/11/28 周四,33,离散序列信道及其容量,平均互信息的两个性质：,如果信道无记忆,如果输入矢量,X,中 各个分量相互独立,独立、无记忆,且平稳,2024/11/28 周四,34,离散序列信道及其容量,例：求,BSC,二次扩展信道的信道容量。,解：,0,1,0,1,p,p,1-,p,1-,p,输入,输出,p,=0.1,时，,C,1,=0.53,bit,/,符号,C,2,=1.06,bit,/,序列,C,2,=2,C,1,2024/11/28 周四,35,离散序列信道及其容量,独立并联信道,L,个相互独立的信道，每个信道的输出只与本信道的输入有关。,信 道,X,Y,p,(,Y,/,X,),2024/11/28 周四,36,第,3,章信道与信道容量,3.1,信道的基本概念,3.2,离散单个符号信道及其容量,3.3,离散序列信道及其容量,3.4,连续信道及其容量,3.5,信源与信道的匹配,2024/11/28 周四,37,连续信道及其容量,连续单符号加性信道,信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为,2,的加性高斯噪声。,非高斯噪声信道的容量要大于高斯噪声信道的容量,2024/11/28 周四,38,连续信道及其容量,多维无记忆加性连续信道,多维无记忆加性连续信道可等价成,L,个独立的并联高斯加性信道,2024/11/28 周四,39,连续信道及其容量,注水法,某些单元时刻的噪声太大，使子信道信号功率,p,l,出现负值。,置,p,l,=0,，重新调整信号功率的分配，直至,p,l,不再出现负值。,噪声小的子信道分配到的输入功率大，传输的比特数多。,2024/11/28 周四,40,连续信道及其容量,受加性高斯白噪声干扰的带限波形信道,输入,x,(,t,),、输出,y,(,t,),和噪声,n,(,t,),：模拟波形,带限,AWGN,波形信道在平均功率受限条件下信道容量的基本公式为,W,：频带宽度，简称带宽,SNR,(,信噪比,),：表示信号功率与噪声功率的比值,P,S,：信号的平均功率,加性白噪声的功率谱密度为,N,0,/2,香农公式,2024/11/28 周四,41,连续信道及其容量,香农公式的讨论,带宽,W,一定时，,信道容量,C,随,信噪比,SNR,的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。,信道容量,C,一定时，,带宽,W,增大，,信噪比,SNR,可降低，即二者可以互换。,如果,输入信号功率,P,S,固定，,信道容量,C,随,带宽,W,的增加而增加。但到一定阶段后，增加变得缓慢。,2024/11/28 周四,42,连续信道及其容量,香农限,每传输,1,比特信息所需的能量。,当归一化的信噪比小于香农限（,-1.6dB,）时，归一化信道容量为零，即信道完全丧失通信能力。,频带利用率,归一化信道容量,单位频带的信息传输率。,2024/11/28 周四,43,连续信道及其容量,例：电话信道的带宽为,3.3kHz,，若信噪功率比为,20dB,，即,SNR,100,，计算该信道的信道容量。,解：,实际电话信道的容量只有,19.2kbit/s,理论计算没有考虑串音、回波等干扰因素,2024/11/28 周四,44,第,3,章信道与信道容量,3.1,信道的基本概念,3.2,离散单个符号信道及其容量,3.3,离散序列信道及其容量,3.4,连续信道及其容量,3.5,信源与信道的匹配,2024/11/28 周四,45,信源与信道的匹配,符号匹配,信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。,可在信源与信道之间加入编码器予以实现，也可以在信源编码时一步实现。,信息匹配,对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。,当信源与信道连接时，信息传输率达到了信道容量，则称此信源与信道达到,匹配,；否则认为信道有,冗余,。,2024/11/28 周四,46,信源与信道的匹配,信道冗余度,信道绝对冗余度,C,I,(,X,;,Y,),信道相对冗余度,无损信道的相对冗余度,无损信道的相对冗余度与信源的冗余度等价,冗余度大说明信源与信道匹配程度低，信道的信息传递能力未得到充分利用。,冗余度小说明信源与信道匹配程度高，信道的信息传递能力得到较充分利用。,冗余度为零说明信源与信道完全匹配，信道的信息传递能力得到完全利用。,2024/11/28 周四,47,信源与信道的匹配,X,1,X,2,X,3,X,4,p,(,X,i,),1/2,1/4,1/8,1/8,例：某离散无记忆信源符号概率分布如下图所示。,通过一个无噪无损二元离散信道进行传输，其信道容量为,C,1 bit/,信道符号。,信源的信息熵：,H,(,X,)=1.75 bit/,信源符号,C,1,00,01,10,11,C,2,000,001,010,011,R,1,=,H,(,X,)/2=0.875 bit/,信道符号,C,R,2,=,H,(,X,)/3=0.583 bit/,信道符号,C,信道的信息传输率：,