信息论与编码课件.pptx

1开篇寄语开篇寄语l每一次面对新同学，我的内心总是很忐忑，因每一次面对新同学，我的内心总是很忐忑，因为不管你们信不信，反正我深深地相信：为不管你们信不信，反正我深深地相信：90后后的大学生，伤不起啊！的大学生，伤不起啊！l你们生长在一个拼爹的年代，如果你没有一个你们生长在一个拼爹的年代，如果你没有一个名爹，那就一定要名爹，那就一定要hold住自己！上课的时候尤住自己！上课的时候尤其要其要hold住自己的手机，既不要让它上住自己的手机，既不要让它上QQ聊天，聊天，也不要到农场偷菜！也不要到农场偷菜！2开篇寄语开篇寄语l不要以为老师是什么潮人，因为信息论是枯燥不要以为老师是什么潮人，因为信息论是枯燥的，因而也非常的干燥，老师怎么可能潮得起的，因而也非常的干燥，老师怎么可能潮得起来呢！来呢！l中央电视台李咏主持有一档节目叫中央电视台李咏主持有一档节目叫“非常非常6+1”，陈景润研究的哥德巴赫猜想被人称为，陈景润研究的哥德巴赫猜想被人称为“1+1”，其实信息论也可看作，其实信息论也可看作“2+3”。所以，这门课。所以，这门课主要是要搞懂主要是要搞懂“2”和和“3”！3Fundamentals of Fundamentals of Information TheoryInformation Theory信信 息息 理理 论论 基基 础础4教师情况教师情况 教师：教师：李红莲李红莲 副教授副教授 博士博士 电子信息工程系电子信息工程系 （2-5132-513东）东）E-mail:E-mail:, Mobile:[phone] Mobile:[phone]授课、考试有关安排授课、考试有关安排l学时数学时数:讲课讲课 3232学时学时 实验实验 8 8学时（学时（1010，1414周周五周周五9-129-12节节?，计算中心），计算中心）l上课时间和地点上课时间和地点:第第1-4,6-161-4,6-16周一周一3 3、4 4节，节，1-1-四阶四阶 第第8 8周二周二1 1、2 2节，节，3-3-五阶五阶7l考试时间：考试时间：第第1717周左右周左右l考试成绩计算：考试成绩计算：作业作业+实验实验 ：30%30%；期末考试：开卷期末考试：开卷 70%70%；l答疑时间：答疑时间：每周三第每周三第5 5、6 6节课（节课（13:30-15:3013:30-15:30）l答疑地点：答疑地点：2-5132-513东东8信息论基础的重要性信息论基础的重要性l信息论是信息科学和技术的基本理论信息论是信息科学和技术的基本理论,是信息是信息科学大厦的地基科学大厦的地基;l没有信息论的基础，从事通信与信息领域的研没有信息论的基础，从事通信与信息领域的研究和创新是不可能的事情究和创新是不可能的事情;l总之总之,信息论是高层次信息技术人才必不可少信息论是高层次信息技术人才必不可少的基础知识。的基础知识。9 信息论基础是通信和信息领域的专业基础信息论基础是通信和信息领域的专业基础课程，只有学好这门课，才能学好后续课程、课程，只有学好这门课，才能学好后续课程、将来进一步从事通信和信息领域的科研和创新。将来进一步从事通信和信息领域的科研和创新。要珍惜这个良好的学习机会，认真学习，要珍惜这个良好的学习机会，认真学习，逐渐培养科研能力，树立完善的人格基础，为逐渐培养科研能力，树立完善的人格基础，为将来的进一步学习和科研奠定坚实的基础。将来的进一步学习和科研奠定坚实的基础。信息论基础的重要性信息论基础的重要性10教学目标教学目标l充分理解、熟练掌握教材的内容充分理解、熟练掌握教材的内容熟练掌握基本的信息理论概念和定理熟练掌握基本的信息理论概念和定理熟练掌握通信与信息工程中基本研究对象的数学描熟练掌握通信与信息工程中基本研究对象的数学描述述l通过学习和习题练习，具备一定的解决问题分通过学习和习题练习，具备一定的解决问题分析问题的能力析问题的能力l掌握一定的科学思想方法掌握一定的科学思想方法(用信息论的思想和用信息论的思想和观点观点)11对学习者的要求对学习者的要求l三个重要环节三个重要环节课前预习课前预习课上认真听讲课上认真听讲课后认真复习消化、做作业课后认真复习消化、做作业l经常进行阶段复习经常进行阶段复习掌握知识的窍诀：反复思维实践掌握知识的窍诀：反复思维实践12其他约定其他约定l不得迟到、早退、缺课，有事请假不得迟到、早退、缺课，有事请假l上课时请关闭手机（或调至振动）上课时请关闭手机（或调至振动）l作业不得用纸片信纸之类，必须使用作业本作业不得用纸片信纸之类，必须使用作业本l迟交的作业及纸片做的作业恕不修改，只作记迟交的作业及纸片做的作业恕不修改，只作记录录13信息理论基础信息理论基础的内容的内容l信息论的基本问题信息论的基本问题-信息与信道的度量信息与信道的度量l无失真信源编码定理无失真信源编码定理-香农第一定理香农第一定理l信道编码定理信道编码定理-香农第二定理香农第二定理l限失真信源编码定理限失真信源编码定理-香农第三定理香农第三定理14ShannonShannon信息论的基本任务信息论的基本任务l19481948年年shannonshannon发表了发表了“通信的数学理论通信的数学理论”奠奠定了信息论理论基础定了信息论理论基础l基本任务是设计有效而可靠的通信系统基本任务是设计有效而可靠的通信系统可靠是要使信源发出的消息经过传输后，尽可能准可靠是要使信源发出的消息经过传输后，尽可能准确地、不失真地再现在接收端确地、不失真地再现在接收端有效是用尽可能短的时间和尽可能少的设备来传输有效是用尽可能短的时间和尽可能少的设备来传输一定量的消息一定量的消息15 内容安排内容安排 第一章第一章 绪论绪论 2 2学时学时第二章第二章 信源和熵信源和熵 8 8学时学时第三章第三章 信道及其容量信道及其容量 6 6学时学时第四章第四章 离散信源的无失真编码离散信源的无失真编码 6 6学时学时第五章第五章 信道编码信道编码 4 4学时学时第六章第六章 限失真信源编码限失真信源编码 4 4学时学时复习复习 2 2学时学时16第一章第一章 绪绪 论论一、信息的概念一、信息的概念二、信息论产生背景二、信息论产生背景三、信息论的发展简史三、信息论的发展简史四、信息论的应用四、信息论的应用五、信息论研究的内容五、信息论研究的内容六、参考书目六、参考书目17l在人类的历史长河中，信息传输和传播手段经在人类的历史长河中，信息传输和传播手段经历了五次变革：历了五次变革：第一次变革：语言的产生第一次变革：语言的产生第二次变革：文字的产生第二次变革：文字的产生第三次变革：印刷术的发明第三次变革：印刷术的发明第四次变革：电报第四次变革：电报、电话、电话的发明的发明第五次变革：计算机技术与通信技术相结合，促进第五次变革：计算机技术与通信技术相结合，促进了网络的发展。了网络的发展。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁18历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁 我国上古时期的我国上古时期的“结结绳记事绳记事”法，史书上法，史书上有很多记载。有很多记载。汉朝郑玄的汉朝郑玄的周易注周易注中记载：中记载：“古者无古者无文字，结绳为约，事文字，结绳为约，事大，大结其绳，事小，大，大结其绳，事小，小结其绳。小结其绳。”19 后来，文字的出现解后来，文字的出现解决了这一问题。自从决了这一问题。自从造纸术和印刷术的发造纸术和印刷术的发明，使文字成为信息明，使文字成为信息记录、储存和传递的记录、储存和传递的有效手段。有效手段。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁20 特别是电报、电话和特别是电报、电话和电视的发明，使信息电视的发明，使信息传送快速、便利，再传送快速、便利，再次体现了信息加工和次体现了信息加工和传输的变革。传输的变革。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁21 电子计算机的迅速发电子计算机的迅速发展和广泛应用，尤其展和广泛应用，尤其是个人微型计算机的是个人微型计算机的普及，大大提高了人普及，大大提高了人们处理加工信息、存们处理加工信息、存储信息及控制管理信储信息及控制管理信息的能力。息的能力。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁22近年来，以计算机为主近年来，以计算机为主体的互联网技术的兴起体的互联网技术的兴起和发展，以空前的威力和发展，以空前的威力推动着人类经济和社会推动着人类经济和社会高速发展，将人类社会高速发展，将人类社会推入到高度化的信息时推入到高度化的信息时代。代。历史回顾历史回顾:信息传输方式的变迁信息传输方式的变迁23信息信息是信息论中最基本、最重要的概念，是一是信息论中最基本、最重要的概念，是一个既复杂又抽象的概念。个既复杂又抽象的概念。信息概念十分广泛，由于信息科学比起其他学信息概念十分广泛，由于信息科学比起其他学科（如物理学、化学、数学）还很年轻，人类科（如物理学、化学、数学）还很年轻，人类对信息的认识还很不够。迄今为止，信息对信息的认识还很不够。迄今为止，信息并没并没有形成一个很完整的、系统的概念有形成一个很完整的、系统的概念。不同的研究学派对信息的本质及其定义还没有不同的研究学派对信息的本质及其定义还没有形成统一的意见和认识。形成统一的意见和认识。一、信息的概念一、信息的概念24通俗通俗的信息概念的信息概念信息是一种信息是一种消息消息。这是一种最普遍的概念，是目前社会上最流行这是一种最普遍的概念，是目前社会上最流行的概念，这个概念好像使人一听就明白，但不的概念，这个概念好像使人一听就明白，但不准确。确切地说，这种概念把消息认为是信息。准确。确切地说，这种概念把消息认为是信息。信息信息 消息消息，同一条消息有不同信息量。，同一条消息有不同信息量。例如例如:某人收到一条消息某人收到一条消息包含许多原来不知道的包含许多原来不知道的新新内容内容信息量信息量大大包含许多原来已知道的包含许多原来已知道的旧旧内容内容信息量信息量小小25广义广义的信息概念的信息概念物质、能量和信息是构成客观世界三大要素，信息物质、能量和信息是构成客观世界三大要素，信息是是物质和能量物质和能量在在空间和时间空间和时间中分布的中分布的不均匀程度不均匀程度。信息不是物质信息不是物质，信息是事物的表征，是对，信息是事物的表征，是对物质存在物质存在状态和运动形式状态和运动形式的一般描述。的一般描述。信息存在于任何事物之中，有物质的地方就有信息，信息存在于任何事物之中，有物质的地方就有信息，信息充满物质世界。信息充满物质世界。信息本身看不见、摸不着，它信息本身看不见、摸不着，它必须依附于一定的物必须依附于一定的物质形式质形式（如（如文字、声波、电磁波文字、声波、电磁波等）。这种运载信等）。这种运载信息的物质称为信息的载体，一切物质都有可能成为息的物质称为信息的载体，一切物质都有可能成为信息的载体。信息的载体。26概率概率信息的概念信息的概念概率信息是由美国数学家香农提出来的，故称概率信息是由美国数学家香农提出来的，故称香香农信息农信息或或狭义信息狭义信息。是从。是从不确定性不确定性 (UncertaintyUncertainty)和概率测度出发定义信息的。和概率测度出发定义信息的。香农从信源具有随机不确定度出发，为信源推出香农从信源具有随机不确定度出发，为信源推出一个与统计力学的熵相似的函数，称为信息熵。一个与统计力学的熵相似的函数，称为信息熵。信息熵是信源的信息选择不确定度的测量，但它信息熵是信源的信息选择不确定度的测量，但它不等同于不确定度，而是为了消除一定的不确定不等同于不确定度，而是为了消除一定的不确定度，必须获得的、与此不确定度相等的信息量。度，必须获得的、与此不确定度相等的信息量。27信息的特征信息的特征l信息虽无确切定义，但是却具有两个明显的特征：信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。广泛性与抽象性。l广泛性广泛性客观世界充满着信息客观世界充满着信息 人类离不开信息人类离不开信息 知识、书本是有用信息的积累知识、书本是有用信息的积累 l抽象性抽象性 信信息息是是组组成成客客观观世世界界并并促促进进社社会会发发展展的的最最基基本本的的三三大大要要素素之之一一。三三大大要要素素是是：物物质质、能能量量与与信信息息。三三要要素素中中物物质质是是基基础础，是是实实体体。能能量量是是物物质质运运动动的的形形式式，E=mcE=mc2 2，物物质质可可转转换成能量，而能量又是改造客观世界的主要动力。换成能量，而能量又是改造客观世界的主要动力。28信息的重要性质信息的重要性质l存在的普遍性；有序性；相对性；可度量性；存在的普遍性；有序性；相对性；可度量性；可扩充性；可存储可扩充性；可存储、传输与携带性；可压缩性；、传输与携带性；可压缩性；可替代性；可扩散性；可共享性；时效性。可替代性；可扩散性；可共享性；时效性。l信息在信息化程度越来越高的社会中将起到越信息在信息化程度越来越高的社会中将起到越来越重要的作用，是比物质和能量更为宝贵的来越重要的作用，是比物质和能量更为宝贵的财富。财富。29l信息：它依附于物质和能量，但又不同于物质和信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信而言，在通信中对信息的表达分为三个层次：信号、消息、信息。号、消息、信息。信息的重要性质信息的重要性质30l信号：是信息的物理表达层，是三个层次中最信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。息的实体，可测量、可描述、可显示。l消息：消息：(或称为符号或称为符号)是信息的数学表达层，它是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具它是具体物理信号的进一步数学抽象，可将具体物理信号抽象为两大类型：体物理信号抽象为两大类型：离离散散(数数字字)消消息息，是是一一组组未未知知量量，可可用用随随机机序序列列来来描述：描述：U U=(U=(U1 1 U Ul l U UL L)连连续续(模模拟拟)消消息息，也也是是未未知知量量，它它可可用用随随机机过过程程来来描述：描述：U(t,)U(t,)信息、消息、信号信息、消息、信号31l信息：它是更高层次哲学上的抽象，是信号与消息的更高表信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。之间的关系是哲学上的内涵与外延的关系。l理解：理解：信息可以认为是具体的物理信号、数学描述的消息的信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式层表达的外延。同一信息，可以采用不同的信号形式(比如文比如文字、语言、图象等字、语言、图象等)来载荷；同一信息，也可以采用不同的数来载荷；同一信息，也可以采用不同的数学表达形式学表达形式(比如离散或连续比如离散或连续)来定量描述。同样，同一信号来定量描述。同样，同一信号形式，比如形式，比如“0 0”与与“1 1”可以表达不同形式的信息，比如无可以表达不同形式的信息，比如无与有、断与通、低与高与有、断与通、低与高(电平电平)等等。等等。信息、消息、信号信息、消息、信号信号信号信息、消息、信号信息、消息、信号消息消息信息信息信息蕴含在消息中信息蕴含在消息中消息蕴含在信号中消息蕴含在信号中信号中装着消息信号中装着消息消息中装着信息消息中装着信息33什么是信息论什么是信息论l它是它是C.E.ShannonC.E.Shannon四十年代末期，以客观概率四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。主要研究的问题结和开拓出来的理论。主要研究的问题 ：信源的描述，信息的定量度量、分析与计算信源的描述，信息的定量度量、分析与计算 信道的描述，信道传输的定量度量、分析与计算。信道的描述，信道传输的定量度量、分析与计算。信源、信道与通信系统之间的统计匹配，以及通信信源、信道与通信系统之间的统计匹配，以及通信系统的优化系统的优化 ShannonShannon的三个编码定理。的三个编码定理。l信息论诞生五十多年来，至今，仍然是指导通信息论诞生五十多年来，至今，仍然是指导通信技术发展的理论基础，是创新通信体制的源信技术发展的理论基础，是创新通信体制的源泉泉 。341.1.信息的如何度量？信息的如何度量？2.2.需要解决的问题：需要解决的问题：l通信系统中信息传输的效率。通信系统中信息传输的效率。l信息传输的准确性问题。信息传输的准确性问题。l噪声干扰。噪声干扰。l频率特性。频率特性。本质为：信息传输的可靠性与有效性问题。本质为：信息传输的可靠性与有效性问题。二二.信息论产生背景信息论产生背景信信道道信信源源信信宿宿通信系统模型通信系统模型信信源源信信道道信信宿宿编码编码器器译码译码器器消消息息信信号号噪声噪声源源干干扰扰恢复的恢复的消息消息信号信号+干扰干扰通信系统模型通信系统模型37 信源：信源：产生消息的源。消息可以是文字、语言、图产生消息的源。消息可以是文字、语言、图像等。像等。编码器：编码器：将信源发出的消息变换成适于信道传送的将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、纠错编码器、调制信号的设备。包含信源编码器、纠错编码器、调制器。器。信道：信道：把载荷消息的信号从发射端传到接收端的媒把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实际信道有电缆、波导、光纤、质或通道。狭义的实际信道有电缆、波导、光纤、无线电波传播空间。无线电波传播空间。通信系统模型通信系统模型38 干扰源：干扰源：系统其他各部分产生的噪声和干扰都等效系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。成信道干扰，集中作用于信道。译码器：译码器：编码的逆变换。它的作用是从受干扰的信号编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出有关信源传出消息的信息。中最大限度地提取出有关信源传出消息的信息。信宿：信宿：信息传送过程中的接收者，即接收消息的人或信息传送过程中的接收者，即接收消息的人或物。物。通信系统模型通信系统模型39三三.信息论发展简史信息论发展简史l电磁理论和电子学理论对通信理论技术发展起电磁理论和电子学理论对通信理论技术发展起重要的促进作用重要的促进作用1820182018301830年，法拉第发现电磁感应年，法拉第发现电磁感应莫尔斯莫尔斯1832183218351835建立电报系统。建立电报系统。18761876年年BellBell发明发明电话电话18641864麦克斯韦预言电磁波存在，麦克斯韦预言电磁波存在，18881888年赫兹验证该年赫兹验证该理论理论18951895年马可尼发明了无线电通信年马可尼发明了无线电通信微波电子管导致微波通信系统，微波雷达系统微波电子管导致微波通信系统，微波雷达系统激光技术使通信进入光通信时代激光技术使通信进入光通信时代40信息论发展简史信息论发展简史l18321832年莫尔斯电码对年莫尔斯电码对shannonshannon编码理论的启发编码理论的启发l18851885年凯尔文研究了一条电缆的极限传信速率年凯尔文研究了一条电缆的极限传信速率l19221922年卡逊对调幅信号的频谱结构进行研究年卡逊对调幅信号的频谱结构进行研究l19241924年奈奎斯特证明了信号传输速率和带宽成年奈奎斯特证明了信号传输速率和带宽成正比正比l19281928年年HartleyHartley提出信息量定义为可能消息量提出信息量定义为可能消息量的对数的对数l19391939年年DudleyDudley发明声码器发明声码器l19401940维纳将随机过程和数理统计引入通信与控维纳将随机过程和数理统计引入通信与控制系统制系统41信息论发展简史信息论发展简史19481948年年shannonshannon信息论奠基信息论奠基19521952年年FanoFano证明了证明了FanoFano不等式，给出了不等式，给出了shannonshannon信道编码逆定理的证明信道编码逆定理的证明19571957，WolfowitzWolfowitz，1961 Fano1961 Fano，1968Gallager1968Gallager给出信道编码定理的简洁证明给出信道编码定理的简洁证明并描述了码率，码长和错误概率的关系，并描述了码率，码长和错误概率的关系，19721972年年ArimotoArimoto和和BlahutBlahut发明了信道容量的发明了信道容量的迭代算法迭代算法1956McMillan1956McMillan证明了证明了KraftKraft不等式。不等式。19521952年年FanoFano码，码，HuffmanHuffman码。码。1976 Rissanen1976 Rissanen算术编算术编码，码，19771977，78 Ziv78 Ziv和和LempelLempel的的LZLZ算法算法42信息论发展简史信息论发展简史19501950年汉明码，年汉明码，19601960年卷积码的概率译码，年卷积码的概率译码，ViterbiViterbi译码，译码，19821982年年UngerboeckUngerboeck编码调制编码调制技术，技术，19931993年年TurboTurbo编译码技术编译码技术19591959年，年，ShannonShannon提出率失真函数和率失真提出率失真函数和率失真信源编码定理信源编码定理19611961年，年，ShannonShannon的的“双路通信信道双路通信信道”开拓开拓了网络信息论的研究，目前是非常活跃的研了网络信息论的研究，目前是非常活跃的研究领域。究领域。43语音信号压缩（语音信号压缩（G.711,GSM,VocoderG.711,GSM,Vocoder）图象信号的压缩（图象信号的压缩（JPEG,MPEGJPEG,MPEG）计算机文件压缩（计算机文件压缩（compress,gzipcompress,gzip）模拟话路中数据传输速率的提高模拟话路中数据传输速率的提高降低信息传输所需的功率降低信息传输所需的功率四、信息论的应用四、信息论的应用44计算机网中数据传输可靠性的保证计算机网中数据传输可靠性的保证计算机中的容错问题计算机中的容错问题图像信号的复原与重建图像信号的复原与重建模式分类问题与树分类器的设计模式分类问题与树分类器的设计其他（信息经济学、医学、生物学、管理科其他（信息经济学、医学、生物学、管理科学等）学等）四、信息论的应用四、信息论的应用45五五.信息论的研究内容信息论的研究内容l狭义信息论（经典信息论）狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论研究信息测度，信道容量以及信源和信道编码理论l一般信息论一般信息论研究信息传输和处理问题，除经典信息论外还包括研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论调制理论，信息处理理论和保密理论l广义信息论广义信息论除上述内容外，还包括自然和社会领域有关信息的除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学神经生理学46狭义信息论体系结构狭义信息论体系结构ShannonShannon信息论信息论压缩理论压缩理论有失真编码有失真编码无失真编码无失真编码等长编码等长编码定理定理ShannonShannon19481948McMillanMcMillan19531953变长编码变长编码定理定理ShannonShannon19481948McMillanMcMillan19561956HuffmanHuffman码码(1952)(1952)、FanoFano码码算术码算术码(1976,1982)(1976,1982)LZLZ码码(1977,1978)(1977,1978)率失真理论率失真理论ShannonShannonGallagerGallagerBergerBerger压缩编码压缩编码JPEGJPEGMPEGMPEG传输理论传输理论信道编码定理信道编码定理网络信息理论网络信息理论纠错码纠错码编码调制理论编码调制理论网络最佳码网络最佳码47 信息信息用来消除接收者某种认识上不确用来消除接收者某种认识上不确 定性的东西。定性的东西。信息论信息论研究信息的本质、描述和度量方法以研究信息的本质、描述和度量方法以及传输和处理的基本原理的理论。及传输和处理的基本原理的理论。信息科学信息科学信息科学是研究信息规律和指导信信息科学是研究信息规律和指导信息技术开发及应用的学问。息技术开发及应用的学问。信息技术信息技术运用信息科学为经济和社会发展而运用信息科学为经济和社会发展而共同协作组成的各种工具和规则体系。共同协作组成的各种工具和规则体系。信息、材料、能源是现代科学的三大支柱。信息、材料、能源是现代科学的三大支柱。有关概念有关概念48 信息论的主要贡献是：信息论的主要贡献是：（1 1）把统计信息定义为）把统计信息定义为“用来消除信息接收者某种认用来消除信息接收者某种认识上的不确定性的东西识上的不确定性的东西”，并给出了其度量公式，并给出了其度量公式-熵和熵和互信息；互信息；（2 2）建立了一些重要的性能界：信源输出的最大可能）建立了一些重要的性能界：信源输出的最大可能的信息量，满足一定失真度的要求所必须传递的最小信的信息量，满足一定失真度的要求所必须传递的最小信息量，信道上的最大可能通过能力等；息量，信道上的最大可能通过能力等；（3 3）建立了一组重要的编码定理，从理论上指明了为）建立了一组重要的编码定理，从理论上指明了为达到上述性能界限应当遵循的信息处理的方法和原则。达到上述性能界限应当遵循的信息处理的方法和原则。这就不仅从定性方面而且也从定量方面深刻地揭示了信这就不仅从定性方面而且也从定量方面深刻地揭示了信息传递和处理的规律，使通信的研究从经验的阶段转变息传递和处理的规律，使通信的研究从经验的阶段转变为科学。为科学。49六六.参考书目参考书目l焦瑞莉，李红莲，冷俊敏，信息论基础教程。焦瑞莉，李红莲，冷俊敏，信息论基础教程。机械工业出版社，机械工业出版社，20082008年。年。l周荫清，信息理论基础。北京航空航天大学出周荫清，信息理论基础。北京航空航天大学出版社，版社，20062006年。年。l曲炜等曲炜等,信息论基础及应用。清华大学出版社，信息论基础及应用。清华大学出版社，20052005年。年。l曹雪虹等，信息论与编码，清华大学出版社，曹雪虹等，信息论与编码，清华大学出版社，20042004年。年。l仇佩亮，信息论与编码。高等教育出版社，仇佩亮，信息论与编码。高等教育出版社，20032003年。年。l朱雪龙，应用信息论基础。清华大学出版社，朱雪龙，应用信息论基础。清华大学出版社，20042004年。年。50lROBERT J.MCELIECEROBERT J.MCELIECE，信息论与编码理论。电子工，信息论与编码理论。电子工业出版社，业出版社，20032003年。年。l吴伟陵，信息处理与编码。人民邮电出版社，吴伟陵，信息处理与编码。人民邮电出版社，20032003年。年。l陈运等，信息论与编码。电子工业出版社，陈运等，信息论与编码。电子工业出版社，20032003年。年。l吕锋、王虹等，信息理论与编码。人民邮电出版吕锋、王虹等，信息理论与编码。人民邮电出版社，社，20042004年。年。lRANJAN BOSERANJAN BOSE，信息论、编码与密码学。机械工业，信息论、编码与密码学。机械工业出版社，出版社，20032003年。年。51附附.Shannon.Shannon及其影响和贡献及其影响和贡献1.1.Shannon Claude Elwood Shannon Claude Elwoodl19161916年年4 4月月3030日出生于美国密执安日出生于美国密执安州的加洛德。州的加洛德。l早年获得了密执安州大学的数学和早年获得了密执安州大学的数学和电子工程学的学士学位。电子工程学的学士学位。l19401940年获得麻省理工学院博士学位。年获得麻省理工学院博士学位。l19411941年至年至19721972年间，在贝尔实验室年间，在贝尔实验室工作。工作。l从从19581958年在麻省理工学院任教，至年在麻省理工学院任教，至19781978年退休。年退休。l20012001年年2 2月月2424日在马萨诸塞州的日在马萨诸塞州的MedfordMedford因老年痴呆症与世长辞，因老年痴呆症与世长辞，享年享年8484岁。岁。522.2.贡献贡献l奠定了大型数字计算机构建的理论基础。奠定了大型数字计算机构建的理论基础。19381938年：年：继电器和开关电路的符号分析继电器和开关电路的符号分析 首次用布尔代数进行开关电路分析，证明了布尔代数的逻辑首次用布尔代数进行开关电路分析，证明了布尔代数的逻辑运算，可以通过继电器电路来实现，给出了实现加，减，乘，运算，可以通过继电器电路来实现，给出了实现加，减，乘，除等运算的电子电路的设计方法。这篇论文成为开关电路理除等运算的电子电路的设计方法。这篇论文成为开关电路理论的开端。论的开端。l开创了信息论。开创了信息论。19481948年：年：The mathematical Theory of Communication The mathematical Theory of Communication 1949 1949年：年：Communication in Presence of NoiseCommunication in Presence of Noise53香农的贡献香农的贡献l19481948年发表年发表“保密通信的信息理论保密通信的信息理论”，首先用，首先用信息论的观点对信息保密问题作了全面的论述；信息论的观点对信息保密问题作了全面的论述；l19591959年发表年发表“保真度准则下的离散信源编码定保真度准则下的离散信源编码定理理”-提出信息率失真理论，为信源压缩编码提出信息率失真理论，为信源压缩编码研究奠定理论基础；研究奠定理论基础；l19611961年发表年发表“双路通信信道双路通信信道”，开拓了多用户，开拓了多用户信息理论（网络信息论）的研究。信息理论（网络信息论）的研究。54 3.3.影响影响l是是2020世纪最杰出的人物之一。如果没有他，很多我们现世纪最杰出的人物之一。如果没有他，很多我们现在使用的物品根本就不可能存在。数字革命是由香农最在使用的物品根本就不可能存在。数字革命是由香农最初发起的。初发起的。内尔内尔斯罗恩（香农理论选集的编辑）斯罗恩（香农理论选集的编辑）lShannonShannon理论的问世，象是引爆了一枚重磅的原子弹，理论的问世，象是引爆了一枚重磅的原子弹，震撼了整个科学界。震撼了整个科学界。J.Pierce(J.Pierce(香农的合作者和朋友）香农的合作者和朋友）554.4.香农理论的局限性香农理论的局限性 Shannon Theory:dead or aliveShannon Theory:dead or alive？（香农信息论过时了吗？）（香农信息论过时了吗？）“要知道，企望一次就能揭开自然界的全部奥秘是要知道，企望一次就能揭开自然界的全部奥秘是不切实际的。不切实际的。”香农对自己理论的局限性有清醒的认识，他在香农对自己理论的局限性有清醒的认识，他在19521952年指出，年指出，“信息论肯定不是通信工作者医治百病的灵丹信息论肯定不是通信工作者医治百病的灵丹妙药，对于其他领域的人更是如此。实际上，信息论在妙药，对于其他领域的人更是如此。实际上，信息论在核心本质上是数学的分支，是一个严密的演绎系统。信核心本质上是数学的分支，是一个严密的演绎系统。信息论的基本结果都是针对某些特殊的问题，他们未必适息论的基本结果都是针对某些特殊的问题，他们未必适合于心理学，经济学以及其他一些社会科学。合于心理学，经济学以及其他一些社会科学。”因此，我们不能也不应该期望香农信息论能应用因此，我们不能也不应该期望香农信息论能应用于任何领域。于任何领域。概率复习贝叶斯贝叶斯公式公式概率复习贝叶斯贝叶斯公式公式58作作 业业思考题思考题1 1 信号、消息、信号的定义是什么？信号、消息、信号的定义是什么？三者的关系是什么？三者的关系是什么？2 2 简述一个通信系统包括的各主要简述一个通信系统包括的各主要功能模块及其作用。功能模块及其作用。59l皇者李玲玉-天竺少女 l【小品小品】赵本山赵本山,范伟范伟心病心病-视频视频-优酷视频优酷视频-在线观看在线观看迈克尔乔丹十大扣篮