收藏 分销(赏)

信道编码定理.ppt

上传人:s4****5z 文档编号:13996287 上传时间:2026-05-24 格式:PPT 页数:51 大小:488KB 下载积分:10 金币
下载 相关
信道编码定理.ppt_第1页
第1页 / 共51页
信道编码定理.ppt_第2页
第2页 / 共51页


点击查看更多>>
资源描述
,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,第五章 信道编码定理,第二节 信道编码问题,第五节 信道容量的计算问题,第三节 离散无记忆信道,第四节 信道序列的正、反编码定理,第一节 概论,第一节 概论,1,、信道的分类:,根据信道用户的多少,可分为:,(,1,)单用户信道:只有一个输入端和一个输出端,(,2,)多用户信道:至少有一端有两个以上的用户,双向通信,根据输入端和输出端的关联:,(,1,)无反馈信道,(,2,)有反馈信道,第一节 信道的数学模型及分类,根据信道信道的统计特性:,(,1,)恒参信道,(,2,)随参信道,根据输入输出信号的特点,(,1,)离散信道,(,2,)连续信道,(,3,)半离散半连续信道:,(,4,)波形信道,第一节 信道的数学模型及分类,根据信道的记忆特性,(,1,)无记忆信道:只与当前输入有关;,(,2,)有记忆信道:不仅与当前输入有关,还与过去输入有关。,以下我们只研究无反馈、固定参数的单用户离散信道。,第一节 信道的数学模型及分类,(,1,)无干扰信道:输入信号与输出信号 有一一对应关系,(,2,)有干扰无记忆信道:输入与输出无一一对应关系,输出只与当前输入有关;,(,3,)有干扰有记忆信道:这是最一般的信道。,第二节 信道编码问题,P=,v,1,v,2,v,m,u,1,p(v,1,/u,1,),p(v,2,/u,1,),p(v,m,/u,1,),u,2,p(v,1,/u,2,),p(v,2,/u,2,),p(v,m,/u,2,),u,n,p(v,1,/u,n,),p(v,2,/u,n,),p(v,m,/u,n,),信道转移概率表示成矩阵形式:,在第三章中,我们已给出信道与信道序列,第二节 信道编码问题,例:三重二进信道,信道编码问题就是讨论信息在信道中通过的含义,以及给定信道有多少信息可以通过,即信道容量问题。,5.1.1,通信中编码的数量与质量关系问题,信道编码的目标是在保证通信误差充分小的情况下尽可能多得信息得到传送。为了减少误差最常用的方法是以数量换取质量。,第二节 信道编码问题,在信道不变的条件下,减少信源传输的信息量可以降低通信时的误差概率。在通信问题中,,牺牲数量可以换取质量。,5.1.2,信道序列的编码问题,实际通信问题中一般要求通信的平均误差很小。信道编,码问题要求解决的最大传输信息量到底有多少?,编码问题一 设,是一个具有均匀分布得信源序列,取,是一个正整数集合,,上取均匀分布,这时对任何,第二节 信道编码问题,的信源序列。,成立。这时称,是一个均有分布,称信源序列 在信道序列,是可通过的:若,Def5.1.1,(的可达速率)若存在一个具有均匀分布的信,源序列 与数列 满足以下条件,(,1,)的消息字母表,上取均匀分布。,第二节 信道编码问题,(,2,),编码问题一就是求信道序列,的最大可达速率,R,1,。,编码问题二,对给定 寻找一组 专线:,满足,:(,1,),且互不相同;,的一组子集,他们互不相交;,第二节 信道编码问题,此时称 为信道 的一个 专线组,,M,n,为这 的数目。,Def5.1.2,若,总有,条 专线,那么称,R,是 的一个可达速率。,编码问题二就是求信道序列 的最大可达速率,R,2,。,分别称,Def5.1.1,与,Def5.1.2,所定义的信道序列的可达速率为第一,可达速率与第二可达速率。事实上,二者具有等价性,可以等,价讨论。,第三节 离散无记忆信道,在对信道进行分类和建立数学模型后,就开始研究信道传输信息的能力可以用信道容量来表示,它代表了信道传输信息的最大能力。,我们先从最简单最基本的信道离散无记忆信道入手。,5.2.1,信道容量,是一信道序列,若,,,那么 是由,C,确定的无记忆信道。先讨论单字母信道的特性。,第三节 离散无记忆信道,1,、对,C,,分别称 上的概率分布为信道的入口分布、出口分布,记为,2,、若,C,与它的入口分布,p,给定,那么入口与出口的联合概率,分布为,p,(,u,v,)=,p,(,u,),p,(,v/u,),出口分布,q,确定为,称,为入口与出口信号的互信息密度函数。,第三节 离散无记忆信道,这时 为入口与出口的互,信息。,3,、由以上定义知,,I(U;V),是由,p(v/u,),及,p,决定,因此,I(U;V),是二者的函数,有时记为,I(C;p,)或,Ip(u),p(v/u,),,当信道固定时,互信息就是入口概率分布,p,的函数,记 上的全体概率分布为,Def5.2.1,当,C,固定时,称,C=,maxI(C;p,),为信道,C,的信道容量,此时的,p,为信道的最大入口分布。,第三节 离散无记忆信道,事实上,由互信息的凸性可知,对于每一个确定信道,都有一个信源分布,使得信息传输率达到最大值,我们把这个最大值称为该信道的,信道容量,。,信道容量与与信源无关,它是信道的特征参数,反应的是信道的最大的信息传输能力。,R=I(U;V)=H(U)-H(U/V)=H(V)-H(V/U),第三节 离散无记忆信道,5.2.2,几种典型的无记忆信道,典型的无记忆信道有:二元对称信道,,Z,信道,,M,信道,0 1-p 0,P,p,1 1-p 1,0,1 0,p,1,1-p 1,0 1-p 0,P,p,1,1-p 1,2,二元对称信道,Z,信道,M,信道,第三节 离散无记忆信道,例,1,二元对称信道(,BSC,),U=0,1;V=0,1;p(0/0)=p(1/1)=1-p;p(0/1)=p(1/0)=p;,P=,0,1,0,1-p,p,1,p,1-p,0 1-p 0,p,p,1 1-p 1,第三节 离散无记忆信道,例,2,二元删除信道,M,信道,U=0,1;V=0,2,1,P=,0,2,1,0,1 p,p,0,1,0,p,1-p,0 1-p 0,p,p,1 1-p 1,2,第三节 离散无记忆信道,例:对于二元对称信道,0 1-p 0,p,p,1 1-p 1,如果信源分布,X=,1-,,,则,I(X;Y),w,1/2,1-H(P),第三节 离散无记忆信道,与 无关,只需求,H(Y),的最大值即可,由,P41Th2.3.1 H(Y),在,q(0)=q(1)=1/2,时最大。,所以:,I(X;Y)=H(Y)-H(P),当信道固定时,平均互信息时信源分布的 型凸函数,最大值为,1-H(P),第三节 离散无记忆信道,如果一个离散信道的信道转移矩阵中的每一行都是由同一组元素的不同组合构成的,并且每一列也是由这一组元素组成的,则称为,对称信道,如:,和,2,、对称离散信道的信道容量,第三节 离散无记忆信道,如果离散信道的转移矩阵如下,则称此信道为,强对称信道,或,均匀信道,,它是对称离散信道的一种特例。该信道的各列之和也为,1,第四节 信道容量及其一般计算方法,下面我们来计算对称离散信道的信道容量,I(X;Y)=H(Y)-H(Y/X),而,H(Y/X=x),是对矩阵的行求和,而由于对称信道定义,我们知道,此值是一个与,x,无关的一个常数,即,因此,可以看出,当输出等概分布时,即,H(Y)=logs,时信道容量达到。,第三节 离散无记忆信道,Th5.2.1,(,1,)对称信道的条件熵,H(V/U),与信道的入口分布无关。,(2),对称信道的信道容量,C=log,|,V|,-H,0,其中,H,0,=H(V/U),,,且信道的最大入口分布为 上的均匀(等概)分布。,那么,在什么样的信源输出情况下,信道输出能等概分布呢?可以证明,输入等概分布时,输出也等概分布。,第三节 离散无记忆信道,例:,对于二元对称信道,这个式子很重要。,第三节 离散无记忆信道,例:对于强对称信道,其信道容量为:,第三节 离散无记忆信道,3,、准对称信道的信道容量:,若信道的列可以划分成若干个互不相交的子集,每一个子集都是对称信道,则称该信道为准对称信道,如:,可划分为:,第三节 离散无记忆信道,又如:,可分成:,第三节 离散无记忆信道,可以证明达到信道容量的输入分布是等概分布,也可计算准对称信道的信道容量为:,其中,r,是输入符号集的个数,为矩阵中的行元素,是第,k,各矩阵中的行元素只和,是第,k,个矩阵的列元素之和。,第三节 离散无记忆信道,例:,可分成:,第三节 离散无记忆信道,5.2.3,无记忆信道序列的信道容量,是信道序列,对每个 同样定义入口分布 ,则入口出口联合分布 ,此时入口出口随机变量 的互信息为,的容量为,第三节 离散无记忆信道,引理,5.2.1,如果 是无记忆信道,则,Th5.2.2,如果 是由,C,决定的无记忆信道,信道容量分别为,C,与,C,n,,那么必有,C,n,nC,。且 最大入口分布为 是 决,定的无记忆分布,是 的入口分布。,这就是离散无记忆扩展信道得信道容量,该信道容量在信源是无记忆信源且每一个输入变量,Xi,达到最佳分布时达到。,第三节 离散无记忆信道,信道的信道容量是固定的,如果某一信源通过该信道传输是,信息传输率(互信息)达到了信道容量,我们认为,信源与信道达到匹配,,否则,我们认为有剩余。,定义:,信道剩余度,C-I(U;V),信道的,相对剩余度,对于无损信道,相对剩余度,第三节 离散无记忆信道,如何才能做到匹配呢?,一般通信系统中,把信源发出的符号变成能在信道中传输的符号,在传输时,要能够尽量用较少的符号表示相同的信息,这样就可以提高信息的传输率,从而提高信道的利用率。这就是香农无失真信源编码理论,也就是无失真数据压缩理论。,无失真信源编码就是将信源输出的消息变换成适合信道传输的新信源的消息来传输,而使新信源的符号接近等概率分布,新信源的熵接近最大熵。这样,信源传输的信息量达到最大,信道剩余度接近于零,信源与信道达到匹配。,第四节 信道序列的正、反编码定理,5.3.1,一般信道序列的正反编码定理,为 的互信息密度函数。,Def5.3.1,称信道序列 是,J,n,信息稳定的,如果,且存在一信道的入口概率分布序列 ,使,第四节 信道序列的正、反编码定理,我们记,Th5.3.1,(一般信道序列的正、反编码定理)如果信道序列,是,J,n,信息稳定的,那么有一列,专线;反之亦然。,第四节 信道序列的正、反编码定理,1,、,有噪信道编码定理,如一个离散无记忆信道,信道容量为,C,。当信息传输率,RC,时,只要码长足够长,总可以在输入符号集中 找到,M,个码字组成的一组码 和相应的译码准则,使信道输出端的平均错误译码概率达到任意小。,第四节 信道序列的正、反编码定理,2,、,有噪信道编码逆定理,如一个离散无记忆信道,信道容量为,C,。当信息传输率,RC,时,则无论码长,n,多长,总找不到一种编码 使信道输出端的平均错误译码概率达到任意小。,第四节 信道序列的正、反编码定理,这个定理是信道编码的理论依据,可以看出:信道容量是一个明确的分界点,当取分界点以下的信息传输率时,以指数趋进于,0,;当取分界点以下的信息传输率时,以指数趋进于,1,;因此在任何信道中,信道容量都是可达的、最大的可靠信息传输率。,这个定理是一个存在定理,它没有给出一个具体可构造的编码方法,在它的证明过程中,码书是随机的选取的,它有助于指导各种通信系统的设计,有助于评价各种系统及编码的效率。,第四节 信道序列的正、反编码定理,5.3.2,无记忆信道的正、反编码定理即可得到无记忆信道的正、反编码定理。,Th5.3.2,(无记忆信道的正、反编码定理)如果,C,是一个离散无记忆信道,C,的信道容量,那么,C,必是该离散无记忆信道序列 的最大可达速率。,第五节 信道容量的计算问题,记 为固定信道,当入口分布,p(u,),给定,互信息函数,I(p,)=,I(C,p,),就确定了。信道容量就是,p,在,P,U,中变化的最大值。因此,信道容量的计算问题是一个条件极值的问题,即在,的约束下,求,I(p,),的最值问题。,5.4.1 Lagrange,乘子法,求信道容量的传统方法。,1,、,I(p,),函数的凸性,引理,5.4.1,对固定信道,C,,,I(p,),是,p,的上凸函数。,第五节 信道容量的计算问题,引理,5.4.2,如果,f(p,),是,P,U,上连续可微函数,那么,f(p,),对于,取最大值的充分必要条件为存在,且满足:,第五节 信道容量的计算问题,2,、信道容量的计算方程,Th5.4.1,为固定信道的最大入口分布的充要条件是存在一个常数,C,满足,这时,C,就是这个信道的信道容量。,第三节 离散无记忆信道,例,二元删除信道,M,信道,U=0,1;V=0,2,1,P=,0,2,1,0,1 p,p,0,1,0,p,1-p,0 1-p 0,p,p,1 1-p 1,2,入口分布,p,(p,0,,,p,1,),对应的出口分布为,q,=(q,0,,,q,1,,,q,2,),第五节 信道容量的计算问题,4,、一般离散信道的信道容量,我们可以对输入分布求极值,得到,而:,定理,3.3,一般离散信道达到信道容量的充要条件是输入概率分布满足,该定理说明,当平均互信息达到信道容量时,信源每一个符号都对输出端输出相同的互信息。,第五节 信道容量的计算问题,第五节 信道容量的计算问题,可以利用该定理对一些特殊信道求得它的信道容量,例:输入符号集为,:0,1,2,假设,P(0)=P(2)=1/2,,,P(1)=0,,则:,第五节 信道容量的计算问题,所以:,第五节 信道容量的计算问题,对于一般信道的求解方法,就是求解方程组,移项得:,令,则,若,r=s,,,此方程有解,可以解出,s,各未知数 ,再根据,得,从而,第五节 信道容量的计算问题,例:,可列方程组:,第五节 信道容量的计算问题,解之得:,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 包罗万象 > 大杂烩

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服