信息论与编码习题.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第,3,章复习,信道参数：用转移概率表示信道,信道模型,二进制离散信道,BSC,离散无记忆信道,DMC,波形信道,1,1,12/3/2024,信道容量,信道上每传送一个符号,(,每使用一次信道,),所能携带的比特数，即比特,/,信道符号,(bits/symbol,或,bits/channel use),。,如果已知信道符号传送周期是,T,秒，此时,C,t,=C,/,T,，比特,/,秒,(bits/s),2,2,12/3/2024,DMC,信道的容量,对称,DMC,信道的容量：当信道输入符号等概分布时，可达到其信道容量,BSC,信道的容量：,m,2,准对称信道的容量,3,3,12/3/2024,带限波形信道的容量,条件：,信道带宽,W,受限,噪声为加性高斯白噪声（均值为零，功率谱密度为,N,0,）,输入信号平均功率受限,P,S,若输入信号是平均功率受限的高斯白噪声信号，可达信道容量,香农公式：,香农限：,1.6dB,4,4,12/3/2024,习题,5,设二元对称信道的传递矩阵为,(1),若,P(0)=3/4,P(1)=1/4,，求,H(X),H(X/Y),H(Y/X),和,I(X;Y),；,(2),求该信道的信道容量及其达到信道容量时的输入概率分布；,6,12/3/2024,某信源发送端有,2,个,符号,X,i,，,i,1,，,2,；，每秒发出一个符号。接受端有,3,种,符号,y,j,，,j,1,，,2,，,3,，转移概率矩阵为,（,1,）计算接受端的平均不确定度；,（,2,）计算由于噪声产生的不确定度；,（,3,）计算信道容量。,其最佳输入分布为,7,12/3/2024,解：,8,12/3/2024,9,12/3/2024,10,12/3/2024,11,12/3/2024,12,12/3/2024,13,12/3/2024,14,12/3/2024,15,12/3/2024,16,12/3/2024,17,12/3/2024,18,12/3/2024,19,12/3/2024,20,12/3/2024,21,12/3/2024,22,12/3/2024,23,12/3/2024,24,12/3/2024,25,12/3/2024,26,12/3/2024,27,12/3/2024,28,12/3/2024,29,12/3/2024,第,6,章信道编码复习,概念：,差错符号、差错比特,差错图样,：,随机差错、突发差错,纠错码分类,：,检和纠错码,、,分组码和卷积码,、,线性码与非线性码,、,纠随机差错码和纠突发差错码,30,12/3/2024,矢量空间与码空间,n,维,n,重空间有相互正交的,n,个基底,选择,k,个基底构成,k,维,n,重码空间,C,选择另外的,(,n,-,k,),个基底构成空间,H,C,和,H,是对偶的，正交的,CH,T,0,GH,T,=0,31,n,维,n,重空间,V,k,维,k,重,k,维,n,重,n-k,维,信息组 码空间,n,重,H,空间,m,C,12/3/2024,有扰离散信道的编码定理,若传信率,R,C,，就不可能有任何一种编码能使差错概率任意小。,32,12/3/2024,差错控制的途径,从公式,增大码长,N,增大可靠性函数,E,(,R,),：加大信道容量,C,减小码率,(,传信率,),R,。,从概念上,利用冗余度（增强相关性）,噪声均化,(,随机化,),33,12/3/2024,最优译码与最大似然译码,最佳译码,Max,P,(,c,i,/,r,),，性能优，实现难,最大似然译码,Max,P,(,r,/,c,i,),，性能次优，实现容易,最佳译码等同最大似然译码：,码集的码字以相同概率发送,接收码等概分布,34,12/3/2024,线性分组码,线性分组码基本概念,码元、码字、码集,重量、重量分布、恒重码,线性码（封闭性）,基底、矢量正交、矢量空间正交、对偶空间、线性相关、线性无关,35,12/3/2024,生成矩阵和校验矩阵,生成矩阵,G,：,C,mG,校验矩阵,H,：,CH,T,0,系统形式：,G,I,k,|,P,，,H,P,T,|,I,n,-,k,差错图案,E,=,R,-,C,，伴随式,S,RH,T,EH,T,标准阵列译码表,36,12/3/2024,码距与纠、检错能力,码的总体性能取决于码距的分布特性（,重量谱,），而纠、检错能力取决于其中的最小者,d,min,，,d,min,=min w(,C,i,),检、纠错能力：,可检,d,min,1,个差错,可纠,t=,INT(,d,min,1)/2,个差错,校验矩阵,H,中有（,d,min,-1),列线性无关,d,min,(,n-k,+1),，,极大最小距离码,37,12/3/2024,特殊的线性分组码,完备码,汉明码：,t=1,，,(2,m,-1,，,2,m,-1-m),高莱（,Golay,）码：二进制（,23,，,12,）线性码，其最小距离,d,min,7,，纠错能力,t,=3,38,12/3/2024,循环码,循环码用多项式表示：,C(x)=m(x)g(x),生成多项式：,x,n,+1,g(x)h(x),校验多项式：,C(x)h(x)=0 mod(x,n,+1),g,(,x,),x,n-k,+,g,n-k,-1,x,n-k,-1,+,g,1,x,+1,系统循环码：,C,(,x,)=,x,n-k,m,(,x,)+,r,(,x,),，,r,(,x,)=,x,n-k,m,(,x,)mod,g,(,x,),39,12/3/2024,扩展码和缩短码,扩展码,校验矩阵,H,e,缩短码,生成矩阵,G,40,H,12/3/2024,卷积码,(,n,k,L,),表示：矩阵、多项式、结构图、状态图、网格图,41,12/3/2024,42,12/3/2024,43,12/3/2024,44,12/3/2024,45,12/3/2024,46,12/3/2024,47,12/3/2024,48,12/3/2024,49,12/3/2024,50,12/3/2024,51,12/3/2024,52,12/3/2024,53,12/3/2024,54,12/3/2024,55,12/3/2024,56,12/3/2024,57,12/3/2024,