信息论理论基础-1.ppt

教材教材n信息论理论基础（第信息论理论基础（第3版）版）贾世楼，哈贾世楼，哈尔滨工业大学出版社尔滨工业大学出版社参考书参考书n信息理论与编码信息理论与编码 姜丹，中国科技大学姜丹，中国科技大学出版社出版社n信息论基础理论与应用信息论基础理论与应用 傅祖芸，电子傅祖芸，电子工业出版社工业出版社n纠错码与差错控制纠错码与差错控制 王新梅，人民邮电王新梅，人民邮电出版社出版社5/27/20241第1章 引言韩宇辉5/27/20242第1章 引言1.1 1.1 通信系统的基本模型通信系统的基本模型1.2 1.2 信息论的研究范畴信息论的研究范畴5/27/202431.1 通信系统的基本模型5/27/202441.1.1 通信基本模型n信源：信源：信息的发出者信息的发出者 离散信源离散信源 连续信源连续信源5/27/202451.1.1 通信基本模型n信宿：信宿：信息的接收者信息的接收者5/27/202461.1.1 通信基本模型n变换变换：使信息适合在信道中传输：使信息适合在信道中传输n反变换反变换：将变换后的信息还原：将变换后的信息还原 能量变换能量变换 模数变换和数模变换模数变换和数模变换 编码与译码编码与译码 提高传输的有效性和可靠性提高传输的有效性和可靠性 调制与解调调制与解调 频谱搬移频谱搬移5/27/202471.1.1 通信基本模型n信道：信道：信息传输的通道信息传输的通道 有线信道和无线信道有线信道和无线信道 恒参信道和变参信道恒参信道和变参信道 离散信道和连续信道离散信道和连续信道5/27/202481.1.2 对通信的基本要求n有效性有效性：尽量用较少的资源传输较多的信：尽量用较少的资源传输较多的信息。息。n可靠性可靠性：由于受到干扰和噪声的影响所产：由于受到干扰和噪声的影响所产生的畸变和错误越小越好。生的畸变和错误越小越好。模拟通信系统：模拟通信系统：SNR 数字通信系统：数字通信系统：SER、BERn其它要求其它要求：适应性、经济性、实用性。：适应性、经济性、实用性。5/27/202491.1.3 通信理论的研究方法n信源的状态是随机的，信息传输过程中受信源的状态是随机的，信息传输过程中受到的噪声和干扰也是随机的。到的噪声和干扰也是随机的。n需要用需要用概率论概率论和和随机过程随机过程等统计数学工具等统计数学工具来描述和分析通信的问题。来描述和分析通信的问题。5/27/2024101.2 信息论的研究范畴5/27/2024111.2.1 信息论的研究内容1.1.信息论研究的内容信息论研究的内容(1)通信的统计理论的研究通信的统计理论的研究 利用统计数学工具分析信息和信息传输的统计规律。利用统计数学工具分析信息和信息传输的统计规律。信息的度量信息的度量 信息速率与熵信息速率与熵 信道容量信道容量(2)信源的统计特性信源的统计特性 文字、字母统计特性文字、字母统计特性 语音的参数分析和统计特性语音的参数分析和统计特性 图片和活动图像的统计特性图片和活动图像的统计特性其他信源的统计特性其他信源的统计特性5/27/202412(3)收信者接收器官的研究收信者接收器官的研究与生物学、生理学、心理学密切相关。与生物学、生理学、心理学密切相关。人的听觉和视觉器官的特性人的听觉和视觉器官的特性 人的大脑感受和记忆能力的模拟人的大脑感受和记忆能力的模拟(4)编码理论与技术的研究编码理论与技术的研究 有效性编码（信源编码）有效性编码（信源编码）可靠性编码（信道编码）可靠性编码（信道编码）(5)提高信息传输效率的研究提高信息传输效率的研究 功率的节约功率的节约 频带的压缩频带的压缩 传输时间的压缩传输时间的压缩5/27/202413(6)抗干扰理论与技术的研究抗干扰理论与技术的研究 各种调制制度的抗干扰性各种调制制度的抗干扰性 理想接收机的实现理想接收机的实现(7)噪声中信号检测理论与技术的研究噪声中信号检测理论与技术的研究 信号检测的最佳准则信号检测的最佳准则 信号最佳检测的实现信号最佳检测的实现5/27/2024142.2.信息论的研究范畴信息论的研究范畴n狭义信息论狭义信息论 也也称称为为基基本本信信息息论论，主主要要研研究究信信息息度度量量、信信道道容容量、信源编码等。量、信源编码等。n一般信息论一般信息论 主主要要研研究究一一般般的的通通信信理理论论，包包括括信信号号与与噪噪声声理理论论、信信号号过过滤滤与与检检测测、调调制制制制度度、信信道道编编码码、信信息息处处理等问题。理等问题。n广义信息论广义信息论 不不仅仅包包括括上上述述两两个个方方面面，还还包包括括与与信信息息有有关关的的其其他领域，如生理学、生物学、遗传工程学等。他领域，如生理学、生物学、遗传工程学等。5/27/2024151.2.2 信息论的发展简史n1924年年奈奈奎奎斯斯特特发发表表了了“影影响响电电报报速速率率因因素素的的确确定定”，证证明明了了通通信信系系统统的的信信息息传传输输能能力力与与带带宽宽成成正比。正比。n1928年年哈哈特特莱莱发发表表了了“信信息息传传输输”，给给出出了了信信息息度量的方法。度量的方法。n1946年年柯柯契契尔尔尼尼科科夫夫发发表表了了“起起伏伏噪噪声声下下的的潜潜在在抗抗干干扰扰理理论论”，根根据据最最小小错错误误概概率率准准则则和和最最小小均均方误差准则研究信号的过滤问题。方误差准则研究信号的过滤问题。5/27/202416n1848年年山山农农发发表表了了“通通信信中中的的数数学学理理论论”；1949年年他他又又发发表表了了“噪噪声声中中通通信信”。这这两两篇篇文文章章给给出出了了通通信信系系统统的的模模型型，讨讨论论了了信信源源和和信信道道的的统统计计特特性性以以及及信信道道容容量量，并并给给出出了了信信源源编编码码定定理理和和信信道道编码定理，奠定了现代信息论的基础。编码定理，奠定了现代信息论的基础。n1948年年和和1849年年，维维纳纳发发表表了了两两篇篇文文章章，根根据据最最小均方误差准则研究了信号的过滤问题。小均方误差准则研究了信号的过滤问题。5/27/202417