资源描述
*,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。本资料仅供参考，不能作为科学依据。谢谢。本资料仅供参考，不能作为科学依据。,信息论与编码,information theory and codingorinformatics and coding,学习得来终觉浅，绝知此事要自悟,1/82,1,教学目标,掌握基本理论和应用,了解信息论思想和方法，总结香农怎么能够创建一套理论,掌握信息论在实践中一些主要应用,不为了毕业和考试而学，不为了应付纲领而教,2/82,2,基本教学步骤,（,1,）课堂教学：标志性问题；案例启发；勉励学生共同参加讨论和问题探寻；重点传授方法和思想以及好学习和研究方法和习惯。期中和期末会有,talk,，让学生谈想法，展示自己作品和发觉。,（,2,）课外自学：布置一定自学任务和思索题进行课外学习和资料查阅准备。,（,3,）研究与实践：学生选择性进行研究与编程实践，提交对应汇报，或者程序，作品等等，作为平时成绩一部分。要求写创新日志。,3/82,3,基本教学步骤,（,4,）答疑辅导：固定时间在答疑教室,05505,进行答疑，也可在网络教学平台上或者,QQ,，,E-mail,进行讨论。,（,5,）考评：本课程将愈加强调学生对知识了解和应用，避开死记硬背和应试技巧。不要划重点，强调平时学习领悟和了解积累。让考前抱佛脚失效。,4/82,4,基本教学步骤,（,6,）跟踪、反馈和继续教育：课程结束后能够继续提问，把这一课在今后学习和应用中碰到问题及时反馈给我。另外在这方面提供深入帮助和指导。把这个教学延伸到一个终生、全程教育。另外可能依据情况补充一定教案、视频、屏幕录像教学。,5/82,5,教学方式,多媒体教学为主,教学中会有几个,talk,可能补充录制一定屏幕录像，提供网络资源和电子资源，推荐一定自学资料。关于课堂教学，强调发挥学生自主性，包含勉励思索，要有创新日志。,重视学习兴趣培养，因为信息论与编码在许多人看来是枯燥无味，欢迎提出反馈意见。,6/82,6,教学方式,如同对待科研一样，对待教学，像科研一样去了解钻研它。,将教材上直接给出答案变成一个引导，而且是一个引导过程，比如可能会发好几个锦囊，即一个逐步提醒。同时将不一样内容进行穿插教学。,教学过程中提出一些个人看法，也是作为一个示范，希望同学们也能够用类似方式，提出类似看法，同时也能够批评指正。,7/82,7,考评方式与安排,多样化形式，包含自己学习心得和感想。,重视对讲课内容了解和领悟，不死记硬背，降低考前抱佛脚：更名词解释为名词解释、了解与应用，不要求死记硬背，改卷勉励创新，宽容错误（学生错误都会很多，是正常）。,尽可能不针对考试题目划重点，可能会有一个总结，不过不是针对考试题划重点，而是对这一门课程画龙点睛。,8/82,8,考评方式与安排,评分标准答案将会愈加灵活和自由，允许学生用自己了解和表示方式来给出答案，宽容独立于书本外新看法。,不要抱剽窃想法，答案将会含有很大随意性，雷同将会受处处罚。,开放、自由题型。,平时个人讲话，,talk,上主动讲话有加分。,品行好会有加分，表示在平时成绩。,9/82,9,考评方式与安排,命题标准：勉励创新，勉励批判精神，考试题映射学生多方面能力和素质，强调实践能力，加大答题自由度，容纳学生平时对知识了解和思索。坦诚自己失败将会受到勉励、宽容学生自主创新中失败标准，勉励答案有超出书本和讲授内容新发觉。防止应试和暂时抱佛脚。注意一些全程思索题会在考试中有映射。不重视咬文嚼字。,导向：就业、创业、能力（活学活用），防止高分低能和低分高能。好品行导向。,10/82,10,考评方式与安排,考试注意：,讨论题：针对主要问题从多方面进行叙述，包含，个人了解，利弊分析，应用价值探讨，能够应用领域，勉励将其与现实问题结合起来（比如将现实问题抽象为该理论问题）。,名词解释会增加对名词了解，而不是死记硬背。,创新题，写自己在整个过程中创新性想法，平时就能够准备，能够任意发挥。,11/82,11,考勤方法及基本纪律要求,点名、布置小作业、其它互动方式、作业情况。,要求按时到课，不要旷课，本学期严格执行旷课超出三分之一取消考试资格要求。,请假要有请假条。,上课不要喧闹。,上课不要接电话。,12/82,12,参考教材,参考教材,傅祖芸编著，信息论,基础理论与应用，,王育民,李晖,梁传甲信息论与编码理论北京：高等教育出版社,沈连丰，叶芝慧信息与编码北京：科学出版社，,.,傅祖芸信息理论与编码,-,学习辅导及精选题解北京：电子工业出版社，,.,13/82,13,参考教材,姜丹，信息论与编码,中国科学技术大学出版社,Robert J.McEliece.The Theory of Information and Coding,（,Second Edition,）,.,电子工业出版社,Gallager.Information Theory and Reliable Communications.John Wiley&Sones,1968,姜楠，信息论与编码理论，清华大学出版社,王勇，黄雄华，蔡国永，信息论与编码，清华大学出版社，,14/82,14,参考网站,www.inference.phy.cam.ac.uk/mackay/info-theory/course.html,www.ouhk.edu.hk/WCM/?FUELAP_TEMPLATENAME=tcGenericPage&ITEMID=CC_COURSE_GUI_874486&BODY=tcGenericPage,Information Theory,ocw.usu.edu/Electrical_and_Computer_Engineering/Information_Theory/,Information Theory/,好习惯。,3.,思索自己前途。,4.,思念父母恩德。,5.,思索自己为他人做什么。,21/82,21,好习惯,6.,以好人为榜样，能够和好人比较，学好人，远离坏人。远离游戏，电影。软件、数媒专业不要开发游戏。,7.,好品行是方向，方向不对是南辕北辙，好习惯、方法是加速度，学习好是速度。常规教学中往往忽略前面二者。,22/82,22,全程问题,思索一切信息都能够用二进制（或者其它进制）数据表示，一切处理都能够用计算处理给我们启示？,什么是信息？信息怎样度量？,现实信源、信道和加密编码各自需要考虑哪些原因，假如要开发一个对应软件需要考虑哪些原因，需要增加哪些书本上没有提到步骤？,纸质，手写文件针对于现在信息化环境下文件不足？要完全取代纸质文件、手写署名，能够采取什么样方法？,教材上提到编码需求（压缩、纠错、安全）之外，现实编码还需要或可能考虑到那些需求？,23/82,23,全程问题,面对信息化环境，你认为能够抽象出哪些问题，需要怎么处理？（发散思维，不要局限于所学）。,在搜索引擎和各种电子资源库中检索每一章关键词，以及这些关键词联合“综述”、“发展”、“进展”等进行检索，阅读最新相关文件。,学习到信息论与编码知识是否能够应用在新领域？,当前所学习理论给我们启示？学习过程中有哪些创新性想法？,所学知识有不足吗？是否能够据此进行改进或拓展？,利用学习到信息论与编码知识能够做哪些对社会有益事情，可能会给社会带来一些什么样危害？,24/82,24,自学选题,-,选作,阅读和翻译香农经典论文，或者是其它相关论文，写读书日志。,阅读压缩、纠错、检错和安全相关源代码，学习一些相关类库和函数，尝试编程。,阅读量子信息论和广义信息论相关论文。,阅读信息理论发展前沿论文。,为自己设定就业目标，然后了解这一目标需要知识，搜索和学习相关知识。,25/82,25,信息论标志性问题,1.,信息是什么？怎样度量？,2.,关于两个事件相互提供信息量大小？,3.,信息压缩极限（与信息度量）,4.,怎样进行,限失真编码问题,5.,怎样进行纠错编码？,6.,怎样进行加密编码？,26/82,26,信息论标志性问题,7.,在编码、密码算法、密码协议中质数（或者互质）身影无处不在，一个看起来似乎毫无用处质数，会有什么用途？,8.,在编码中经常会碰到取模，分析其用途和限制？,9.,长序列对于编码有什么好处？,27/82,27,信息论标志性问题锦囊,1,信息是什么,（,1,）什么是知道？什么是不知道？,（,2,）假如信息我们确定了班上有,30,位同学，不过不知道是班上哪一位同学，以后知道是同学甲，知道前后有什么差异。是否与信息相关系？,（,3,）欲建立信息度量，必定要用数学方法。上述问题能够用哪一数学分支表示？用数学模型或方法，比较一下上例中知道前后差异。,28/82,28,信息论标志性问题锦囊,2,（,4,）“完全不知道是班上哪位同学”与“知道班上某位同学可能性很大，不过也不能确定是他”之间有差异吗？,（,5,）假如实现不知道肇事者，以后被通知肇事者是一个班上同学，假如这个班上只有,2,位同学，与这个班上有,100,位同学，二者提供信息是否有差异？,（,6,）利用极端例子思索问题。知道肇事者是一个班上同学，假如这个班上有,100,位同学，以后愈加确定某甲肇事概率到达,99.9999%,，二者提供信息是否有差异？,29/82,29,信息论标志性问题锦囊,3,（,7,）概率小事情发生让人以为惊奇，如范进中举。从消除不确定性角度来说，它排除不确定性是大还是小（以概率分布值来计算，而不是可能消息来计）？,（,8,）分析一下消息提供信息量各自有多少？来考虑洪水例子：新闻播报某地发生了一年一遇（假如有这么说法）、两年一遇，千年一遇、万年一遇洪水，一样汉字字数，它们信息量有差异吗？思索信息怎样来表示？,30/82,30,信息论标志性问题锦囊,4,（,9,）我们认为，信息量与概率相关系，概率越小，信息量越大，当一个事情确定时候，即概率为,1,时候，信息量为,0,，什么函数能够输入,1,得到,0,？,（,10,）我们普通认为，告诉我们两个独立事件，信息量是相加关系，不过从概率上来说，两个独立事件同时发生，其概率是相乘关系，什么函数有这么性质？,31/82,31,第,1,章 绪论,1.1,信息技术优势及其带来根本变革,理论,应用,32/82,32,信息技术优势,-,理论角度,可将全部数据（信息）都变成统一二进制。软件、图片、视频等。,可以将几乎绝大多数数据处理转换为CPU计算。,对现实中包括到信息问题进行抽象化，这么我们信息可以进行转换成它最适用形式，在存放时候用最利于存放形式，如磁信号，传输时候用最为利于传输形式（光纤），现实中大量事务变成了可认为信息技术处理问题。,理论上证实，一些计算和算法（如神经网络）可以具有很好学习未知事务能力，大多数函数都是可以用这些逼近。对于离散结果函数，照样具有逼近能力。,33/82,信息技术优势,-,理论角度,经过将现实各种问题，包含分析、判断都能够转换为连续或离散函数问题，然后用算法来迫近它，这么我们就能够经过计算机来处理几乎全部问题。,一定程度上能够说：机械化取代人手（体力），信息化取代人脑（脑力）,-,分析、判断、指挥。,34/82,信息技术优势,-,应用角度,将任意交互、指令和数据处理变成一个二进制数据。,任意信息处理过程能够转换为程序，也变成二进制，几乎无所不能。,利用通信技术，能够将任意二进制数据（包含指令）传递到远方，而且在远方依据二进制数据约定执行，这种执行只需要用,CPU,和对应控制器即可。当代通信技术传输速度快、带宽大、能够到达互联网联通、卫星覆盖、无线信号覆盖地方。,对比人脑，计算机运算速度快，能够存放和处理数据量大，更准确。,信息能够被低成当地有效存放、复制、异地备份，易于分类和查找，很轻易被修改、再处理。,含有很好智能，能够取代人，而且在未来能够在一些方面优于人智能,-,快速学习、海量学习、快速判断。降低人力、适应老龄化。,能够准确控制（比如用量、用时、强度），能够在各种性能和指标上到达最优化、节能减排。,能够信息化方式能够取代一些传统业务，以虚拟操作代替实体操作，降低成本、节能减排，比如签字、邮件。,改变传统方式，而催生了大量新概念（电子、数控、数字），而且依然有很大空间。,35/82,信息论与编码意义：,全部以上这些编码为二进制，以及计算数字，都是依靠编码方法。,36/82,第,1,章 绪论,信息论形成与发展,通信系统模型,37/82,37,1.2,信息论形成与发展,信息论发展过程,1924,年奈奎斯特,(HNyquist),发表了,影响电报速度一些原因,一文，指出了电信信号传输速率与信道频带宽度之 间存在着确定百分比关系。,带宽,（,band width,）又叫频宽，是指在固定时间可传输资料数量，亦即在传输管道中能够传递数据能力。,1928,年，哈特莱（,Ralph Vinton Lyon Hartley,，,1888-1970,）在,信息传输,（,Transmission of Information,）（,1928,）一文中早就指出，信息是包含在消息（讯息）中抽象量，消息是信息载荷者；消息是详细，信息是抽象。不过，在传输中，传者传出讯息，并不意味着受者就一定收到讯息；受者收到讯息，也不能确保“翻译”、还原成传者意欲传递那种信息。因为，传受二者共享信息前提，是拥有基本相同等级符号系统和经验系统。他认为“信息是指有新内容、新知识消息”，将信息了解为选择通信符号方式，并用选择自由度来计量这种信息大小。,符号系统，比如汉字，经验系统：比如语法、约定俗成东西,38/82,38,1.2,信息论形成与发展,信息论发展过程,1936,年，,EH Armstrong,，带宽与抗干扰能力，加大带宽来提升抗干扰能力。,1939,年，达德利,(H.Dudley),创造了声码器（,vocoder,），用于统计和分析声音，基于此，提出了通信所需要带宽最少应与所传送消息带宽相同。达德利和莫尔斯都是研究信源编码先驱者。,39/82,39,1.2,信息论形成与发展,信息论发展过程,1943,年维纳,（,Norbert Wiener,，,1894-1964,）教授,与别格罗和罗森勃吕特合写了,行为、目标和目标论,论文，从反馈角度研究了有目标性行为，找出了神经系统和自动机之间一致性。这是第一篇关于控制论论文。这时，神经生理学家匹茨和数理逻辑学家合作应用反馈机制制造了一个神经网络模型。第一代电子计算机设计者艾肯和冯,.,诺依曼认为这些思想对电子计算机设计十分主要，就提议维纳召开一次关于信息、反馈问题讨论会。,1943,年底在纽约召开了这么会议，参加者中有生物学家、数学家、社会学家、经济学家，他们从各自角度对信息反馈问题发表意见。以后又连接举行这么讨论会，对控制论产生起了推进作用。,40/82,40,1.2,信息论形成与发展,信息论发展过程,1948,年，维纳出版了专著,控制论一动物和机器中通信与控制问题,（,Cybernetics,），并创建了控制论。维纳从愈加辽阔领域研究了信息，他认为信息是“我们在适应外部世界、控制外部世界过程中同外部世界交换内容名称。”他还认为：“接收信息和使用信息过程，就是我们适应外部世界环境偶然性改变过程，也是我们在这个环境中有效地生活过程。”,41/82,41,1.2,信息论形成与发展,信息论发展过程,1948,年和,1949,年，美国著名数学家、贝尔试验室电话研究所香农（,Claude Elwood Shannon,，,1916-,，也译作申农）博士连续发表了两篇论文，即“通信数学理论（,Mathematical Theory of Communication,）”和“在噪声中通信”，他提出了信息量概念和信息熵计算方法，并所以被视为当代信息论创始人。香农还给信息下了一个高度抽象化定义：“信息是用以消除随机不确定性东西。”,50,年代开始，,IRE,成立信息论组，出版信息论汇刊。,42/82,42,1.2,信息论形成与发展,信息论形成与发展,1959,年，,Shannon,信源压缩编码理论，,“,Coding theorem for a discrete source with a fidelity criterion,”,1961,年，,Shannon,“,双路通信信道,”,，多用户理论,-,网络信息论,1972,年，,Cover,广播信道,43/82,43,1.2,信息论形成与发展,三大定理,无失真信源编码定理（第一极限定理）,信道编码定理（第二极限定理）,限失真信源编定理（第三极限定理）,Shannon,信息论：在噪声环境下，可靠地、安全地、有效地传送信息理论,-,狭义信息论,44/82,44,香农生平、学术格调和习惯,45/82,45,香农祖父是一位农场主兼创造家，创造过洗衣机和许多农 业机械，这对香农影响比较直接。另外，香农家庭与大创造家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。,2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔试验室和MIT发表讣告都尊崇香农为信息论及数字通信时代奠基之父。,1938 年香农在MIT取得电气工程硕士学位，硕士论文题目是A Symbolic Analysis of Relay and Switching Circuits(继电器与开关电路符号分析)。当初他已经注意到电话交换电路与布尔代数之间类似性，即把布尔代数“真”与“假”和电路系统“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路理论基础。,香农生平、学术格调和习惯,46/82,46,研究兴趣广泛，多方面取得成就。（生看成人杰，死亦为鬼雄）,善于刻画问题本质,白天总是关起门来工作，晚上则骑着他独轮车来到贝尔试验室。,指出不要滥用信息论。,香农有着非常好学术眼光，香农一生论文不算太多，不过，不鸣则已，一鸣惊人，篇篇都是经典，许多都含有开拓性，他是信息时代引路人和开拓者，被称,Father of Information Theory,。,他也不提倡人们迷信权威，提醒人们不要滥用信息论，而且认为主要工作往往是基于慎重批判。他反对对一些已经有领域过分研究，而是强调转向有意义研究领域，他反对跟风研究，强调自己在“自己屋子里”做自己、一流、最高科学水平工作。,香农生平、学术格调和习惯,47/82,47,Shannon,定理证实是非结构性，而且也不够严格，但他“数学直观出奇地正确”,(A.N.Kolmogrov,，,1963),。,“数学家通常是先经过直觉来发觉一个定理；这个结果对于他首先是似然，然后他再着手去制造一个证实。”哈代,已在数学上严格地证实了,Shannon,编码定理，而且发觉了各种详细可结构有效编码理论和方法，能够实现,Shannon,指出极限。,善于简化问题，建立模型。理论作用是浓缩知识之树，“简单模型胜于繁琐现象罗列”，“简单化才能显现出事物本质，它表现了人洞察力”。,香农生平、学术格调和习惯,48/82,48,香农平时兴趣广泛，不但做了许多研究，而且也喜欢动手制作各种设备，一生有许多出色制作创造。如受控飞碟、会走迷宫机器鼠等。他含有很强工程素养又精通数学，得天独厚知识结构使他能把数学理论自如地利用于工程。,香农生平、学术格调和习惯,49/82,49,we must keep our own house in first class order.The subject of information theory has certainly been sold,if not oversold.We should now turn our attention to the business of research and development at the highest scientific plane we can maintain.,Research rather than exposition is the keynote,and our critical thresholds should be raised.Authors should submit only their best efforts,and these only after careful criticism by themselves and their colleagues.,The writer is indebted to his colleagues at the Laboratories,particularly to Dr.H.W.Bode,Dr.J.R.Pierce,Dr.B.McMillan,and Dr.B.M.Oliver for many helpful suggestions and criticisms,香农生平、学术格调和习惯,50/82,50,1.1,信息论形成和发展,信息,定义,广义定义：,信息是物质普遍属性，所谓物质系统信息是指它所属物理系统在同一切其它物质系统全方面相互作用（或联络）过程中，以质、能和波动形式所展现结构、状态和历史,概率信息：,信息表征信源不定度，但它不等同于不定度，而是为了消除一定不定度必须取得与此不定度相等信息量,51/82,51,1.2,信息论形成和发展,信息,性质,信息是无形,信息是可共享,信息是无限,信息是无所不在,信息是可度量,52/82,52,1.1,信息论形成和发展,信息,信息与消息、信号比较,消息是信息数学载体、信号是信息物理载体,信号：详细、物理,消息：详细、非物理,信息：非详细、非物理,53/82,53,信息定义和性质,信息、消息、信号,信号最详细，它是一物理量，可测量、可显示、可描述，同时它又是载荷信息实体,信息物理层表示,消息是详细、非物理，可描述为语言文字、符号、数据、图片，能够被感觉到，同时它也是信息载荷体。是信息论中主要描述形式,信息数学层表示,这些内容都能够认为是数学符号，以概率表征,信息是抽象、非物理，,是哲学层表示,。,54/82,54,信息定义和性质,信息是详细信号与消息内涵，是信号载荷内容，是消息描述对象。反过来，信号则是信息在物理表示上外延，消息则是信息在数学表示上外延。同一信息，能够采取不一样形式物理量来载荷，也能够采取不一样数学描述方式。一样，同一类型信号或消息也能够代表不一样内容信息。,55/82,55,56,2,讲,信息定义和性质,信息普通指消息、情报、资料、数据、信号等包含内容。普通是消息中所给予收信者新知识或消息中包含有意义内容。,消息：通常把包含信息语言和声音、音乐、文字、符号、数据、图象等统称为消息。在通信中，消息是指担负传送信息任务单个符号或者符号序列。,信号：描写与消息相对应电信号或光信号，是传递信息载体。,比如，他说：“我什么都不知道。”,狼来了,56/82,信息（,Information,）其它定义,信息是确定性增加。,信息是事物现象及其属性标识集合。,信息是物质、能量、信息及其属性标示。,信息以物质介质为载体，传递和反应世界各种事物存在方式和运动状态表征。,信息是物质运动规律总和，信息不是物质，也不是能量,!,信息是客观事物状态和运动特征一个普遍形式，客观世界中大量地存在、产生和传递着以这些方式表示出来各种各样信息。,57/82,57,信息（,Information,）其它定义,信息是抽象于物质映射集合。,信息是有价值，就像不能没有空气和水一样，人类也离不开信息。所以人们常说，物质、能量和信息是组成世界三大要素。所以说，信息传输是极具主要与有效。,信息是事物运动状态和过程以及关于这种状态和过程知识。它作用在于消除观察者在对应认识上不确定性，她数值则以消除不确定性大小，或等效地以新增知识多少来度量。即使有着各式各样传输活动，但全部社会传输活动内容从本质上说都是信息。,58/82,58,信息（,Information,）其它定义,信息是对物质属性反应（是“信息是被反应物质属性”必定式变换）,信息是事物属性标识,信息是客观事物普遍属性表征,信息就是信息，它既不是物质也不是能量。,信息是选择自由度（,Hartley,1928,）,信息是被反应物质属性,信息是通信传输内容（,Wiener,1950,）。,信息是人与外界相互作用过程中所交换内容名称,59/82,59,信息（,Information,）其它定义,信息是使概率分布发生变动东西（,Tribes etal,1971,）。,信息是事物之间差异（,Longo,1975,）。,信息是集合变异度（,Ashby,1956,）。,信息是一个场（,Eepr,1971,）。,信息是负熵（,Brillouin,1956,）。,信息是有序性度量（,Wiener,1948,）。,信息是系统组织程度度量（,Wiener,1948,）。,信息是被反应差异（,cy,，,1968,）。,信息是被反应变异度,60/82,60,思索题,？你对信息定义了解、看法等？,？是否能够给出一个信息定义？,61/82,61,假如实际信源或信道符合所采取概率模型描述，这种方法是有效，不然只能是近似，甚至根本无效。,语言熵描述是非常困难，其是非平稳，除了确定信息，还有含糊信息，比如“韵味”，“意境”,不一样接收者对同一个东西得到信息可能是不一样,Shannon,信息论适合于能够定量描述信息，对难于定量描述信息则无能为力。,信息论不足,？信息论还含有哪些不足？,62/82,信息论常被了解为包含更广领域,语义学,语言学,神经生理学,心理学,组织学,信息不一样属性定义产生不一样信息论,含糊信息论,量子信息论,生物信息论,信息复杂度信息理论,信息广义性,63/82,香农信息论：狭义信息论是一门应用数理统计方法来研究信息处理和信息传递科学。它研究存在于通讯和控制系统中普遍存在着信息传递共同规律，以及怎样提升各信息传输系统有效性和可靠性一门通讯理论。,普通信息论（工程信息论）主要也是研究信息传输和处理问题，除香农信息论，还包含噪声理论、信号滤波和预测、统计检测和预计、调制理论、信息处理理论以及保密理论等。,-,注：本教材称为广义信息论。,信息论推广,64/82,64,广义信息论：不但包含上述两方面内容，而且包含全部与信息相关自然和社会领域，如模式识别、计算机翻译、心理学、遗传学、神经生理学、语言学、语义学甚至包含社会学中相关信息问题。,量子信息论：全新理论，建立在量子力学特征基础上，量子比特、并行运算，叠加纠缠等，有疑。,信息论推广,65/82,65,一、形式化假说,香农指出：“通信基本问题，是在消息接收端准确地或近似地复制发送端所挑选信息。通常消息是有意义，即是说，它按某种关系与一些物质或概念实体联络着。通信语义方面问题与工程问题是没相关系。”这种通信工程“形式化”假说，大胆地去掉了消息语义、语用原因，巧妙地保留了能用数学描述形式，所以，这使应用数学工具定量度量信息成为可能。,香农信息论特色,66/82,66,一、形式化假说,The fundamental problem of communication is that of reproducing at one point either exactly or approximately a message selected at another point.Frequently the messages have,meaning;that is they refer,to or are correlated according to some system with certain physical or conceptual entities.These semantic aspects of communication are irrelevant to the engineering problem.,香农信息论特色,67/82,67,二、非决定论,香农指出：,“,主要是，一个实际消息，总是从可能发生消息集合中选择出来。所以，系统必须设计得对每一个选择都能工作，而不是只适合工作于某一个选择。因为，各种消息选择是随机，设计者事先无法知道什么时候会选择什么消息来传送。”这种“非决定论”观点，是对通信活动总认识观，它从标准上回答了应采取什么样数学工具来处理信息度量问题。,香农信息论特色,68/82,68,二、非决定论,The significant aspect is that the actual message is one,selected from a set of possible messages.The system must be designed to operate for each,possible selection,not just the one which will actually be chosen since this is unknown at the time of design.,香农信息论特色,69/82,69,三、不确定性,香农指出：,“,人们只有在两种情况下有通信需要。其一，是自己有某种形式消息要通知对对方，而预计对方不知道这个消息；其二，是自己有某种疑问要问询对方，而预计对方能作出一定解答。”所以通信作用是经过消息传递，使接收者从收到消息中获取了一样东西，因而消除了通信前存在“不确定性”。这种东西，就是信息。这么，我们就有理由给信息一个明确定义：“信息就是用来消除不确定性东西”，进而，可合理地推断：通信后接收者获取信息，在数量上等于通信前后“不确定性”消除量。,香农信息论特色,70/82,70,香农信息论,压缩理论,有失真信源编码,无失真信源编码,率失真理论,压缩编码,等长编码,定理,变长编码,定理,最优码组成,Huffman,码,Fano,码,传输理论,有噪声,信道编码理论,码组成,纠错码,代数编码,卷积码,网络信道,网络信息理论,网络最正确码,保密理论,保密系统,信息理论,保密码,香农信息论科学体系,71/82,71,1.2,通信系统模型,通信系统模型方框图,:,信源,信宿,信源,编码,加密,信源,译码,解密,信道,编码,信道,译码,信道,干扰,噪声,？是否能够调换,3,种编码次序？,？是否能够将信源编码与信道编码取消？,是否在任何场所这些编码都需要？,72/82,72,1.3,通信系统模型,信源,(information source,，,source),：向通信系统提供消息人和机器,实际上普通指信源发出符号。,信宿（,Destination,）：传递消息对象。即接收消息人或机器。,信道（,channel,）：传递消息通道，有是传送物理信号设施。,(,一对导线，一条同轴电缆，传输电磁波空间，一条光导纤维等,),实际上普通指信道抽象出来收发端统计特征。,信道主要问题是它容量。,73/82,73,1.3,通信系统模型,干扰源：通信系统中干扰集中反应，类似于质点一样。,密钥源：产生密钥源。密钥是加密明文参数。通俗地说，就是密码。,74/82,74,信源,信源：向通信系统提供消息人和机器。,(,我们只研究信源输出消息,),离散消息：字母、文字、数字等符号组成符号序列或者单个符号。,Hello,上课,连续消息：话音,图像、在时间上连续改变电参数等。,75/82,A Speech Signal,A Speech Signal,76/82,A Picture,一个自然图像,77/82,Continuous-time Signal,78/82,Discrete-time Signal,79/82,信源编码和信源解码,有效性，去除冗余,信道编码和信道解码,可靠性，添加冗余,加密,/,解密,安全性，密钥,1.2,通信系统模型,80/82,80,通信系统中各部分研究内容,信源：包含信息到底有多少,?,怎样将信息定量地表示出来,?,信宿：能收到或提取多少信息,?,信道：能够传送多少信息问题,?,(,信道容量大小,),干扰源；干扰性质、大小对系统性能影响,?,信源编码：怎样转换和怎样提升有效性,?,信道编码：怎样编码和怎样提升可靠性,?,难点：信息、消息和信号差异,重点：通信系统模型中各部分功效。,81/82,我们致力于使得本书,上达思想与方法，下及实现与应用,，,不过力所不及，欢迎多提宝贵意见至,hellowyin,
展开阅读全文
浙ICP备2021020529号-1 | 浙B2-20240490 
