信息论与编码基础知识点.doc

信息论与编码根底知识点
〔仅供复习参考，不作为出卷依据〕
1． 当代文明的三大科学支柱
2． 信息论开展的过程
3． 信息理论中度量信息的根本观点
4． 衡量通信系统的性能指标有几个，对应编码是哪些？
5． 信源符号自信息量的含义与计算
6． 信源符号间互信息量与平均互信息量的三个含义
7． 信源熵的三种物理含义。
8． 离散信源的联合熵、条件熵、平均互信息量的含义及相互之间的关系。
9． 平均互信息量的三种物理含义、性质及相应的公式，与信道容量、信息率失真函数的关系
10． 信源的平稳性与无记忆性的含义
11． 离散无记忆信源的信源熵、N次扩展的信源熵计算。
12． N阶马尔科夫信源的定义
13． 低阶〔1、2〕马尔科夫信源的状态转移图、各状态的稳态分布概率(状态极限概率)、极限熵H∞=Hn+1
14． 信道容量的含义
15． 常见信道〔无噪信道、强对称、对称、准对称〕容量的计算，到达信道容量时对应信源的概率分布情况。
16． 香浓编码、费诺编码、哈夫曼编码方法及步骤，其编码效率的计算
17． 信息率失真函数的含义
18． Dmax的含义
19． 二、三元离散信源的Rmax Rmin Dmin、Dmax计算，及等概率信源分布信息率失真函数R(D)的计算
20． 在信道编码中检错与纠错的含意是什么？
理解相关根本概念〔定理、性质〕 多练习课后习题〔作业与讲解〕
第 2 页