信息论基础.pptx

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,#,第一章 概论与基础知识,信息论基础,何永琪,北京大学电子学系,Tel,：,62756700,；,Mobile,：,13801196827,Email,：,heyongqi,通信原理,通信系统基本问题,服务质量,信噪比性,/,误码率性能,抗干扰能力,抵御,/,补偿线性,/,非线性失真能力,纠错能力,传输带宽,带宽资源,带宽利用率,色散与非线性效应的抑制能力,传输距离,传输损耗,高发射功率,低接收灵敏度,性价比,系统实现复杂度,系统单位比特成本,*,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,关于信息论,1/2,定义：研究信息的基本性质与度量方法、信息的获取、传输、存贮、处理和变换的一般规律的科学,应用：由通信的发展中产生，已渗透到化学、物理学、生物学和心理学等许多领域,发展：随着计算机技术的发展，信息处理和利用也飞速发展，人类对信息重要性的认识逐步深化,理论基础：概率论,关于信息论,2/2,里程碑：,1924,年：奈魁斯特等人研究了通信系统传输信息的能力，并试图度量系统的信息量，开始了现代信息论的研究,1947,年：诺伯特,维纳研究自行火炮，发表了题为,控制论,的专著，提出了控制论,1948,年：克芬特,仙农研究密码通信，发表了他的著名论文,通信的数学理论,，奠定了信息论的基础，第一次把信息通信领域的概念确切化，而且从概率论的观点，提出了信息量的概念。他所建立的信息论包括三大内容：信源理论、信道理论和信息失真函数理论,信息、消息与信号,消息是随机、无法预知的,预先确知的消息不会给接收者带来 任何信息，无传递意义,只有消息中不确定的内容才构成信息,消息分类：,离散消息：消息数有限,连续消息：消息数无限,信息是消息的内涵,信号是消息的载体,通信能传输信号，但不一定是传递信息,通信系统的目标：传递信息,信源的输出是随机的，只能用统计方法来描述,通信系统传输能力的衡量，需要对信息进行定量度量,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,离散消息统计特性,1/2,离散消息可看作一种有限状态的随机序列，采用离散型随机过程来描述,统计独立消息的概率场分布：,离散消息统计特性,2/2,统计关联消息的概率场分布：,当前出现的符号的概率与先前出现过的符号相关联，需采用条件概率来描述,通常只考虑当前一个符号对后一个符号的影响，这是马尔可夫链问题,马尔可夫链含义：在给定当前知识或信息的情况下，过去（即当期以前的历史状态）对于预测将来（即当期以后的未来状态）是无关的,数学描述方法：转移概率矩阵,连续消息统计特性,连续信源所产生的消息数无限，消息取值也无限，其统计特性需采用概率密度函数来描述,统计关联消息的描述需采用二维或多维概率密度函数,通常只考虑各态经历的平稳随机过程,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,信息的度量,1/2,信息度量原理,信息量与消息出现概率相关：消息出现的可能性越小，消息所携带的信息越多,信息量与消息持续时间相关：信息量随消息持续时间的增加而增加,消息的信息量：仅反映概率,对数以,2,为底时，信息量单位为,比特（,bit,），,应用最广,对数以,e,为底时，信息量单位为,奈特,（,nit,）,信息的度量,2/2,信息量的基本性质：,极限情况：,若干相互独立事件构成的消息，所含信息量等于各独立事件信息量之和，即：,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,离散信源的信息量,1/3,统计独立离散信源的信息量：,概率场分布：,信息量计算：,两个离散信源的信息量：,普遍公式：,统计独立情形：,离散信源的信息量,2/3,示例：,离散信源由,0,，,1,，,2,，,3,四个符号组成，它们出现的概率分别为,3/8,1/4,1/4,1/8,，且每个符号的出现都是独立的。试求某消息,201020130213001203210100321010023102002010312032100120210,的信息量。,解：离散信源的概率场分布为：,此信源中，,0,出现,23,次，,1,出现,14,次，,2,出现,13,次，,3,出现,7,次，共有,57,个符号，故该消息的信息量为：,离散信源的信息量,3/3,互信息量：,问题提出：对通信系统的发送信源消息,X,与接收消息,Y,，通常发送信源消息的概率场 （先验概率）已知；接收机每接收一个符号,y,i,均需重新评估发送符号,x,i,的出现概率分布 （后验概率）,先验概率与后验概率：,先验概率：概率场已知,后验概率：条件概率,互信息量：后验概率与先验概率之比的对数，即：,数学意义：两个随机过程的关联程度,物理意义：接收机能够接受到发送信源的信息程度,极限状态：,离散信源的平均信息量,1/2,平均信息量（信源熵）的基本定义：每个符号所含信息量的统计平均值,信源熵的物理意义：,信源中每个离散消息所提供的平均信息量,信源的不确定度,信源变量,X,的随机性,信源熵与信源信息量的等价性：,消息序列长度趋于无穷时完全等价,上例两种计算方法之比较：,信息负熵；熵缺乏信息无知,离散信源的平均信息量,2/2,最大熵：当离散信源中每个符号等概出现，且各符号出现为统计独立时，该信源的平均信息量最大。即：,关于熵,*,1/2,熵的概念来自热力学：,1864,年克劳修斯（,Clausius,）提出，用于反映系统的微观混乱程度,1882,年玻尔兹曼（,Boltzmann,）发展了熵理论，并把熵解释为“失去的信息”,1948,年香农（,Shannon,）采用熵函数建立了通信理论,熵的物理意义,熵的提出：源于热力学第二定律（一切自发地实现的涉及热现象的过程都是不可逆的）,熵的含义：熵的大小反映一个系统中微观粒子热运动所引起的无序程度（一个系统从有序趋于无序，从不平衡到平衡，熵的值也趋于极大）,熵增加原理：在一个不与外界发生物质和能量交换的孤立系统中，熵的变化总量总是大于零或等于零,关于熵,*,2/2,熵的数学描述方法,熵,S,的定义：,克劳修斯不等式：,等号对应可逆过程，不等号对应不可逆过程,绝热过程：,系统与有关的周围物质（外界）两者熵的总和始终不可能减小,孤立系统熵增原理：不可逆过程中两者熵的总和总是不断增大；可逆过程中两者熵的总和保持不变,根据孤立系统熵增原理，可以判断任意复杂过程是否可能实现，而不必涉及该过程所经历的各个具体细节,根据两者熵的总和的变化来判断过程实现的可能性,离散信源的平均互信息量,1/3,联合熵（共熵）的定义：即为两个离散信源,X,和,Y,存在时，,x,i,和,y,i,同时出现的平均信息量：,条件熵的定义：,已知,x,i,出现条件下，出现,y,i,的条件平均信息量：,已知,y,i,出现条件下，出现,x,i,的条件平均信息量：,平均互信息量的定义：,离散信源的平均互信息量,2/3,熵、共熵和条件熵之间的关系：,熵、条件熵和平均互信息量之间的关系：,损失熵：,条件熵,H(X/Y),表示收到随机变量,Y,以后，对随机变量,X,，仍然存在不确定性，称为信道疑义度,条件熵,H(X/Y),代表在信道中的损失信息，亦称损失熵,P,（,X/Y,）,X,Y,离散信源的平均互信息量,3/3,熵、条件熵和平均互信息量之间的关系：,噪声熵：,条件熵,H(Y/X),表示发出随机变量,X,以后，对随机变量,Y,仍然存在的平均不确定性,若信道中不存在噪声，发送和接收端必存在确定关系,若发出,X,后，不能完全确定,Y,，显然是噪声引起的，,H(Y/X),亦称噪声熵,平均互信息量的对称性：,I(X,Y),是指从,Y,获得关于,X,的平均信息量。,I(Y,X),是指发出,X,前、后，,Y,的不确定性减少的量。显然有：,P,（,Y/X,）,X,Y,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,连续信源的信息度量,1/2,连续消息统计特性的描述：概率密度函数,连续消息可以可作离散消息的极限,连续消息的概率描述,连续信源的绝对熵,连续信源的相对熵,无穷大,连续信源的信息度量,2/2,信源为何种分布时，连续信源熵最大？,峰值功率受限条件下：,均方功率受限条件下：,均匀分布,高斯分布,大,纲,概述,消息的统计特性,信息的度量,离散信源的信息量,连续信源的信息度量,信道容量和香农公式,信道容量,1/3,信道容量模型,P,（,X/Y,）,X,Y,信源熵,由于干扰或其它，损失的部分,接收到的平均信息量,目标：平均,接收的信息量最大能达到多少,*,信道容量,2/3,信道容量模型,假设,r,为通信系统发送能力（单位：符号,/,秒）,I(X,Y),可理解为信道的信息平均传输速率（单位：比特,/,符号）,定义,R,为有扰信道的信息传输速率（单位：比特,/,秒）,信道容量定义：在信道条件一定的前提下，信道容量为最大的信息传输速率,信道容量,3/3,信道容量分析方法,平均互信息量,信道确定后，,P,(,y,j,/x,i,),就确定,求信道容量问题，转化为,P,(,x,i,),求极值问题,思考：如果确定的信源，会引出什么问题？,有扰离散信道的信道容量,1/4,无噪声信道和有噪声信道,P(x,i,),表示发送符号,x,i,的,概率，,P(y,i,),表示收到符号,y,i,的概率，,P(y,i,/x,i,),是转移概率,有扰离散信道的信道容量,2/4,典型实例：无记忆二进制对称信道,有扰离散信道的信道容量,3/4,无记忆二进制对称信道的信道容量求解,研究型作业：推导出求有扰离散无记忆信道信道容量的一般性方法，即，已知信道转移概率矩阵，求信道容量,C,的一般性方法,对称，,与P,(x),无关,等概，得极值,有扰离散信道的信道容量,4/4,例题：设信源有符号,0,与,1,组成，且等概。如果在信道中传输速率为每秒,1000,个符号，由于干扰引起的误符号率为,110,-2,。求信道容量？,解：,信道中传输速率为每秒,1000,个,0/1,符号，信道容量为,919,比特,/,秒,有扰连续信道的信道容量,1,/3,有扰连续信道的信道容量模型：,在有扰连续信道中，可以认为，接收到的信号,Y,是发送信号与噪声的叠加,与离散信道信道容量的分析相同，对于连续信道，仍满足：,X,N,Y=N+X,加性信道,有扰连续信道的信道容量,2,/3,有扰连续信道的信道容量分析方法：,噪声,N,与信号,X,相互独立：,噪声熵,有扰连续信道的信道容量,3,/3,有扰连续信道的信道容量模型：,对带宽为,W,的连续信号，可根据抽样定理转化为离散信号，理想时最低抽样频率为,2W,，因此：,求解方法,加性信道容量：噪声,N,（即信道）的统计特性,选择,p(x),使输出熵,H(Y),达到最大值,高斯噪声连续信道的信道容量,1,/2,假设条件：,有扰连续信道为高斯噪声信道，且平均功率受限,信号功率为,S,，噪声功率为,N,达到最大熵的最佳概率分布为高斯分布,高斯噪声连续信道的信道容量,2,/2,高斯噪声连续信道的信道容量,香农公式：在连续信道中，假设输入信道的噪声是加性高斯白噪声功率为,N,（,W,），信道带宽为,W,（,Hz,），信号功率为,S,（,W,），该信道的信道容量为：,香农公式的物理意义,1,/3,提高信号与噪声功率之比（信噪比,S/N,）能增加信道容量,当噪声功率,N0,时，信道容量,C,，即无干扰信道容量为无限大,增加信道带宽,W,并不能无限地使信道容量增大,当噪声为高斯白噪声时，随着,W,增大，噪声功率,N,Wn,0,（,n,0,为噪声单边功率谱密度）也增大，因此有：,香农公式的物理意义,2,/3,信道容量一定时，带宽与信噪比,S/N,之间可以彼此互换,信道容量,C,是信道能传输的极限信息速率，通常把实现上述速率的通信系统称为理想通信系统,香农公式只证明了理想系统的“存在性”，却没有给出这种通信系统的实现方法。因此，理想系统只能作为实际系统的理论极限,香农公式是在信道噪声为高斯白噪声下得到的，对其他类型的噪声，香农公式需要修正,香农公式的物理意义,3,/3,数字通信中的香农极限，,E,b,是单码元的能量,香农公式例题,1,/2,例：已知黑白电视图像大约由,310,5,个像素组成，设每个像素有,10,个亮度等级，他们出现的概率是相等的。要求每秒传送,30,帧图像，为了满意地再现图像，需要信噪比为,1000,倍（,30db,），试求传输此电视信号所需的带宽？,解：由于每个像素有,10,个亮度等级，且等概率，则每个像素包含的信息量为：,每帧有,310,5,个像素,每帧的信息量为：,每秒传送,30,帧，故信息速率为,香农公式例题,2,/2,解（续）：,由香农公式可知，信道信道容量必须大于或等于,R,，则所需信道最小的信道容量为：,由题可知，,S/N,30db=10,3,，可求出最小带宽为,因此，传送黑白电视图像信号所需最小带宽为,3MHz,香农信道编码定理*,香农在他那篇著名的“通信的数学理论”论文中还提出了另一条具有十分重要指导意义的结论：若信道容量为,C,，消息源产生信息的速率为,R,，只要,CR,，则总可以找到一种信道编码方式实现无误传输；若,CR,，则不可能实现无误传输。这一结论为信道编码指出了方向,若有一离散无记忆平稳信道，其容量为,C,，输入序列长度为,L,，只要待传送的信息速率,RC,，总可以找到一种编码，当,L,足够长时，译码差错概率,P,e,C,时，任何编码的,P,e,必然大于,0,，当,L,趋于无穷大时，,P,e,趋于,1,小结,离散信源、连续信源的信息度量与计算,平均互信息量在通信中的意义,信道容量的概念与计算,香农公式及其重要的物理意义,总结,通信系统的基本问题,随机信号分析,随机过程、随机过程的平稳性和各态历经性,用数字特征，均值、相关函数（功率谱密度）描述随机噪声（信号）。,高斯过程、窄带过程、窄带高斯过程加正弦信号是后续的主要分析工具,信息论初步,信息度量,香农公式，最大通信能力的理论极限（带宽与信噪比权衡的依据）,信道编码定理，指明努力的方向,信道与噪声*（自学）,作业,曹志刚、钱亚生,现代通信原理,清华大学出版社，,1994,（,2007,重印）；“第二章：信息论初步”习题：,2-1,，,2-2,，,2-3,，,2-12,，,2-14,读关于随机过程和信息论方面的书,自学：樊昌信、曹丽娜,通信原理,（第,6,版）国防工业出版社，,2008.6,重印；“第,4,章：信道”,