收藏 分销(赏)

第6章-连续信源与连续信道-信息论-教学.ppt

上传人:快乐****生活 文档编号:14643661 上传时间:2026-10-24 格式:PPT 页数:41 大小:2.65MB 下载积分:10 金币
下载 相关
第6章-连续信源与连续信道-信息论-教学.ppt_第1页
第1页 / 共41页
第6章-连续信源与连续信道-信息论-教学.ppt_第2页
第2页 / 共41页


点击查看更多>>
资源描述
单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,连续信源与连续信道,2010年3月,信息论导论,第6章 连续信源与连续信道,掌握时不变连续信源相对熵的定义及其意义,相对熵的计算和性质;,掌握连续系统平均互信息量的的定义、计算和性质;,掌握加性信道的特点,高斯加性信道最大信息传输速率计算式(香农公式)的导出、意义和计算。,一、连续信源及其相对熵,1、时不变连续信源,定义,如果任何时刻信源发出的消息都是单一符号,而这些符号的取值是连续的,则该信源为,时不变连续,信源。,表示,信源符号X取值于集合a,b,式中,p(x)为连续消息的概率密度函数,例1,连续消息落在第i个区域的概率为,根据中值定理,有,p(x),x,b,a,a+(i-1),x,a+i,x,绝对熵,相对熵不能作为连续信源的信息度量。,定义相对熵的目的:,相对熵,表示,与离散信源的熵在形式上统一,熵差具有信息度量的意义,指数分布信源的相对熵,不具有非负性,例如,当b-a1时,均匀分布信源的相对熵,严格上凸性,4、相对熵的主要性质,如果连续消息取值范围被限定在a,b,该限定域内的均匀分布信源具有最大相对熵,该,最大,相对,熵H,c,(X),max,=log(b-a),取值范围受限下的最大相对熵定理,设p(x)是限定域a,b内的任何概率密度函数,如果非负连续消息的均值被限定为m,均值为该限定值的指数分布信源具有最大相对熵,该,最大,相对,熵H,c,(X),max,=log(em),均值受限下的最大相对熵定理,设p(x)是非负域的任何概率密度函数,且,二、连续信道及信道容量,1、时不变连续信道,定义,对应于,时不变连续信源,和,时不变连续信宿,的信道为,时不变连续,信道。,表示,信源符号X取值于集合a,b,信,宿,符号Y取值于集合c,d,相对噪声熵,表示,3、平均互信息量,虽然相对熵不能作为信息度量,但,平均互信息量是,熵差,具有信息度量的意义。,非负性,4、平均互信息量的主要性质,严格,凸函数性,5、信道容量与最大信息传输速率,信道固定时,平均互信息量是信源概率,密度函数p(x)的严格上凸函数,,总能找到一种信源概率,密度函数p(x),,使通过信道的平均互信息量达到最大。,信道固定时,,I(X;Y),是信源概率,密度函数,p(x,),的严格上凸函数,信源固定时,,I(X;Y),是信道转移概率,密度函数,p(y/x,),的严格下凸函数,定义,信道转移概率,密度函数p(y/x),不变时平均互信息量的最大值为该信道的信道容量,用C表示。,表示,连续信道一般考虑信道在单位时间内平均互信息量的最大值。,6、加性信道,信道中噪声对信号的作用表现为线性叠加的称为加性噪声,相应的信道为加性信道。,其中,X的概率密度函数为p(x),Y的概率密度函数为p(y),噪声N的概率密度函数为p(n)。,X,Y=X+N,N,X和N相互独立时,,加性信道的转移概率密度函数,p(y/x)=p(n),设坐标变换,相应的雅可比行列式,7、高斯加性信道的信道容量,如果噪声N是均值m=0、方差,2,=P,N,的(白色)高斯,加性,噪声,WGAN,,信道,为高斯加性信道。,X和N相互独立时,,信源X取均值m=,0,、方差,的高斯分布,信宿Y也满足高斯分布,其均值m=,0,、方差为,根据平均功率受限下的最大相对熵定理,当信宿Y取均值m=,0,、方差 的高斯分布时具有最大相对熵,高斯加性信道的信道容量,8、高斯加性信道的最大信息传输速率,当所传输信号的有效带宽为B时,根据采样定理,只要采样频率取为2B,符号序列即可保留时间连续消息的全部信息。,平均不失真传输一条消息(符号)所需时间为T=1/2B,相应最大信息传输速率,该式称为香农公式。,香农公式的意义:,最大信息传输速率与所传输信号的有效带宽成正比,最大信息传输速率与信噪功率比基本呈对数关系,且信噪功率比小于,1,时最大信息传输速率仍大于,0,最大信息传输速率一定时,增大所传输信号的有效带宽,可以降低对信噪功率比的要求,反之亦然,当所传输信号的有效带宽趋于无穷时,最大信息传输速率趋于有限值,已知,高斯加性信道所传输信号的,带宽B=3kHz,最大信息传输速率C,t,=1.510,4,bps,求,信噪功率比;如果将信噪功率比降低,到-3dB,求保持同样最大信息传输速率所需的带宽,。,例1,习题:(P99-101)3.19、3.20,
展开阅读全文

开通  VIP、SVIP  下载更划算
下载10份以上建议开通 VIP 会员
下载20份以上建议开通SVIP会员


开通VIP      成为共赢上传

当前位置:首页 > 教育专区 > 其他

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        关注我们

©2010-2026 宁波自信网络信息技术有限公司  版权所有

客服电话:0574-28810668  投诉电话:18658249818

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :微信公众号    抖音    微博    LOFTER 

客服