信息论与编码-简答.doc

四、简答（每题4分）
1、信息的主要特征有哪些？（4）
答：信息具有以下特征：（1）信息是可以识别的（2）信息的载体是可以转换的（3）信息是可以存贮的（4）信息是可以传递的（5）信息是可以加工的（6）信息是可以共享的
2、信息的重要性质有哪些？
答：可靠性、保密性、有效性、认证性
3、简述几种信息分类的准则和方法。
狭义信息论、一般信息论、广义信息论
4、信息论研究的内容主要有哪些？
答：对信息论的研究内容一般有以下三种理解。
狭义信息论（经典信息论）：主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论，又称为香农信息论。
一般信息论（通信理论）：主要是研究信息传输和处理问题，除了香农理论外，还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。
广义信息论：广义信息论不仅包括上述两方面的内容，而且包括所有与信息有关的领域，如模式识别、计算机翻译、心理学、遗传学、语言学等等。
五、简述自信息的性质。
答：概率为0时，相应的自信量无意义、非负性、可加性
六、简述信源熵的基本性质。
答：1、对称性：H(P) 的取值与分量 p1, p2 , ··· , pq的顺序无关。2、确定性：H(1,0)=H(1,0,0)=H(1,0,0…,0)=0
3、非负性： H(P)≥ 0
4、扩展性5、可加性：统计独立信源X和Y的联合信源的熵等于信源X和Y各自的熵之和。H(XY) = H(X)+ H(Y)

6、强可加性：两个互相关联的信源X和Y的联合信源的熵等于信源X的熵加上在X已知条件下信源Y的条件熵。
H（XY）=H（X）+ H（Y/X）7、递增性8、极值性
在离散信源情况下，信源各符号等概率分布时，熵值达到最大。9、上凸性
七、简述信源熵、条件熵、联合熵和交互熵之间的关系。
H(XY) = H(X) + H(Y|X)
H(XY) = H(Y) + H(X|Y)
H(X) >= H(X|Y)
H(Y) >= H(Y|X)
H(XY) <= H(X) + H(Y)
H(X1X2)＝H(X1)+H(X2/X1) ≤ H(X1)+H(X2) = 2H(X)
八、信道的分类方法有哪些？
答：根据载荷消息的媒体不同（邮递信道、电信道、光信道、声信道）。根据信息传输的方式（输入和输出信号的形式。信道的统计特性、信道的用户多少）。根据信道的用户多少：两端(单用户)信道、多端(多用户)信道。根据信道输入端和输出端的关联（无反馈信道、反馈信道）根据信道的参数与时间的关系（固定参数信道、时变参数信道。根据输入和输出信号的特点（离散信道、连续信道、半离散或半连续信道波形信道）
10、简述多用户信道的分类。
答：多址接入信道、广播信道和相关信源的多用户信道

9、简述一般离散信道容量的计算步骤。

11、简述信道编码定理。
答：定理3.7.1 有噪信道编码定理(香农第二定理)：若有一离散无记忆平稳信道，其容量为C，输入序列长度为L，只要待传送的信息率R>C，总可以找到一种编码，当L足够长时，译码错误概率，ε为任意大于零的正数。反之，当R<C时，任何编码的必大于零，当L→∞时，。香农第二定理只是一个存在性定理，它指出信道容量是一个临界值，只要信息传输率不超过这个临界值，信道就可几乎无失真地把信息传送过去，否则就会产生失真。即在保证信息传输率低于(直至无限接近)信道容量的前提下，错误概率趋于“0”的编码是存在的。

12、简述率失真函数的性质。
答：
1、 R(D)的定义域为且：
允许失真度D的下限可以是零，即不允许任何失真的情况。
2、 R(D)是关于平均失真度D的下凸函数
设D1，D2为任意两个平均失真，0≤α≤1则有：

3 、 R(D) 是（Dmin,Dmax区间上的连续和严格单调递减函数。 由信息率失真函数的下凸性可知， R(D)在(Dmin,Dmax)上连续。又由R(D)函数的非增性且不为常数知， R(D)是区间 (Dmin,Dmax)上的严格单调递减函数。
20、简述循环码的系统码构造过程。
答：我们可以通过矩阵的行运算，得到系统的生成矩阵，使之具有

的形式，生成矩阵的行运算实质上就是码字间和基底间进行线性组合运算。系统循环码的生成矩阵的一致校验矩阵是

15、简述编码的分累及各种编码的目的。
答：分类：对不同的信道需要设计不同类型的信道编码方案，按照信道特性进行划分，信道编码可分为：以纠独立随机差错为主的信道编码、以纠突发差错为主的信道编码和纠混合差错的信道编码。从功能上看，信道编码可分为检错(可以发现错误)码与纠错(不仅能发现而且能自动纠正)码两类，纠错码一定能检错，检错码不一定能纠错，平常所说的纠错码是两者的统称。
目的：进行信道编码是为了提高信号传输的可靠性，改善通信系统的传输质量，研究信道编码的目标是寻找具体构造编码的理论与方法。 在理论上，香农第二定理已指出，只要实际信息传输率 (信道容量)，则无差错的信道编、译码方法是存在的。从原理上看，构造信道码的基本思路是根据一定的规律在待发送的信息码元中人为地加入一定的多余码元(称为监督码)，以引入最小的多余度为代价来换取最好的抗干扰性能。
16、简述费诺编码的编码步骤。
费诺编码的步骤:
1）信源符号以概率递减的次序排列起来；
2）将排列好的信源符号按概率值划分成两大组，使每组的概率之和接近于相等，并对每组各赋予一个二元码符号“0”和“1”；
3）将每一大组的信源符号再分成两组，使划分后的两个组的概率之和接近于相等，再分别赋予一个二元码符号；
4）依次下去，直至每个小组只剩一个信源符号为止；
5）信源符号所对应的码字即为费诺码。

17、简述二元哈夫曼编码的编码步骤。
1）将q个信源符号按概率递减的方式排列起来；
2）用“0”、“1”码符号分别表示概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个新的符号，从而得到只包含q-1个符号的新信源，称之为S信源的S1缩减信源；
3）将缩减信源中的符号仍按概率大小以递减次序排列，再将其最后两个概率最小的符号合并成一个符号，并分别用“0”、“1”码符号表示，这样又形成了由q-2个符号构成的缩减信源S2；
4）依次继续下去，直到缩减信源只剩下两个符号为止，将这最后两个符号分别用“0”、“1”码符号表示；
5）从最后一级缩减信源开始，向前返回，沿信源缩减方向的反方向取出所编的码元，得出各信源符号所对应的码符号序列，即为对应信源符号的码字。
18、简述广义的信道编码的分类及各类编码的作用。
答：1、按照信道特性进行划分，信道编码可以分为：以纠独立随机差错为主的信道编码、以纠突发差错为主的信道编码、和纠混合差错的信道编码。
2、从功能上看，信道编码可以分为纠错码与检错码两类，纠错码一定能检错，检错吗不一定能纠错，平常所说的纠错码是两者的统称。

19、简述线性分组码的性质。
性质：
A、线性分组码的最小距离等于非零码字的最小重量
B、零向量θ=（0，0…0）一定是一个码字
C、任意码字C是G的行向量g0,g1,….gk-1
D、任意两码子的和任然是一个码字
13、简述求解一般离散信源率失真函数的步骤。