信息论与编码英文课件-应用信息理论程序.doc

应用信息理论程序
引言：自香农提出信息理论以来，对通信技术的发展产生了持久和深刻的影响，但对其它方面，则很少有理论指导作用。正因为此，人们对更广泛意义下的信息研究一直未停止。
Ø 1957年——最大熵原理理论（E.T.Jaynes）
Ø 1959年——1980年，鉴别信息及最小鉴别信息原理理论
Ø 1965年——信息量度定义的三种办法—概率法，组合法，计算法
Ø 1968年——1987年，算法信息理论
这些成果大大丰富了信息理论的概念办法、应用

第1章．信息论与信息论分法概述
1． 信息、信息科学、信息说。
广义信息：被告知的内容、情报、消息等，既所有信息的表现形式及载体和内容，这是一个含糊的术语。只有这样，才能对多种多样及不断涌现的对象得到统一、全面，不需在时时改变的表达/
信息
统计信息：是一种有明确定义的科学名词，它与信息的内容无关、且不随信息表达形式的变化而复杂，独立与形式，是统计学上的抽象概念。
Ø 信息技术：泛指计算机所涉及的各种各样的技术（很笼统）
举例说明：是信息科学的具体实践。
Ø 信息科学：作为信息技术的理论基础（或科学根据、理论、依据），举例：
Ø 信息理论：是信息科学不可缺少的一块基石，由各种信息理论构成信息科学，如引言提到的。
2信息理论分法的应用及取得成果。
信息论取得成果（信息论诞生至今，有失败也有成功的例子）
⑴语言信号压缩
语言信号一直是通信传输的主要对象，其中压缩语言信号的编码速率成为通信中的重要问题。根据信息理论分析：编码速率可以远远低于仅按Nuquist采样定理和量化噪声分析所决定的编码速率，由64kbit/s——100bit/s(信息论指极限)
⑵图象信息压缩
图象的压缩对存/传有重大的意义
H.261 48=1 (电视会议)
JPEG 24=1 (静态图象)
MPEG-1 50=1 （动态图象）
⑶文件的压缩
解决计算机的存贮量，现有20多种压缩算法，压缩内容有：源程序、目标码、论文、小说、科学数据、图书，一般压缩30%（占原文件）。无损压缩
⑷模拟话路中数据传输速率的提高
信息论指出，宽带4KHZ，信噪比250LB，其话路信道的极限速率为25Kbit/s,所以从最初100bit/s——19.2Kbit/s几乎接近极限25Kbit/s
⑸降低信息传输所需的功率
降低传输功率，可以降低发送设备、天线尺寸要求，意义重大（余用信息编码）
根据信息理论分析：采用低码率的信息编码可以降低传送单位比特所需的能量Eb与噪声功率谱窑度N0之比，一般为6—10db
⑹计算机网中传输可靠性保证
随着计算机网络的发展、设备愈分散，网中电（内）噪声、电磁（外）干扰在局域网出错10-8，广域网10-3-10-5（这是无法接受的）
（余用差错检验码）
奇偶检验。简单
循环冗余检验、复杂，在较大的网采用，例如HDLC（高级数据链路协议）采用CRC码进行循环冗余检验（举例）
⑺计算机容错问题
计算机存贮错误难免（存贮体表面（外有）难免有损失）
采用检错纠错装置，如：
IBM4300，内存都有较简单检错纠错措施
计算机外存有：Fire码、BCH码、RS码、IBM360采用了RS码
⑻图象信号的复员与重建
是图象信息处理的一个重要内容
80年代采用最大熵方法，比其它方法更合理，能得到最好的期望结果
⑼模式分类问题与树分类器的设计
模式分类是一个在很多学科中遇到的问题，具有普遍意义，利用熵鉴别信息、互信息，在语言识别（包括汉字识别）有很好的结果。
⑽其它应用成果
在语言学、生物学、医学、神经网络、经济学。如，美国经济学家K.J.Arrow开创的语言经济学获得若贝尔奖。
经济决策都是在其有相当的不确定性的条件下作出的，改变不确定性是信息的获得。
3． 息论的形成与发展
从历史上看，由两部分人共同努力完成（通信工程、统计学）
Ø 通信技术的理论基础
人们关心的是信息能在接受端精确再现发送端，正因为此，人们苦苦追求一种理论，即信息论。
⑴19世纪面临的主要问题是如何获得信息的电气表现形式，以及如何将它们进行远距离的传输。
19世纪30年代发明了电报——1876年发明了电话（Bell）获得电信号形式——1904年发明了二三级管，是远距离传输成为可能。
⑵20世纪电信技术飞速发展，如何提高信道利用率问题。
20世纪30年代前：研究发送信号无失真地送到接受端
30、40年代后期：香农提出了信息论的一系列概念（除通用编码外），是信息论的创始人。
50年代：通信界，主要精力转向信源编码和信道编码。如Huffman、算术、通用编码。形成各种标准。如：H.261、JPEG、MPEG。
(香农提出的理论缺陷是不能构造好的编码提出指导)！
统计学的一个分歧。（略）
信号与信息处理的一般理论基础，见引言。