1、信息论与编码理论复习题(一)一、填空题(1) 1948年,美国数学家 发表了题为“通信的数学理论”的长篇论文,从而创立了信息论。(2) 必然事件的自信息是 。 (3) 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 。 (4) 对于离散无记忆信源,当信源熵有最大值时,满足条件为_ _。(5) 对于香农编码、费诺编码和霍夫曼编码,编码方法惟一的是 。(6) 设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R_C(大于、小于或者等于),则存在一种编码,当输入序列长度n足够大,使译码错误概率任意小。(7) 平均错误概率不仅与信道本身的统计特性有关,还与_和_ _有关。二、
2、综合题1.黑白气象传真图的消息只有黑色和白色两种,求:1) 黑色出现的概率为0.3,白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联,求熵;2) 假设黑白消息出现前后有关联,其依赖关系为 ,求其熵。3)分别求上述两种信源的冗余度,比较它们的大小并说明其物理意义。2.信源空间为,试构造二元霍夫曼码,计算其平均码长和编码效率(要求有编码过程)。3.二元对称信道如图。1)若,求、和;2)求该信道的信道容量。4.设一线性分组码具有一致监督矩阵1)求此分组码n=?,k=?共有多少码字?2)求此分组码的生成矩阵G。3)写出此分组码的所有码字。4)若接收到码字
3、(101001),求出伴随式并给出翻译结果。参考答案:填空(1) 香农(2)0 (3)N倍(4) 信源符号等概分布 (5)香农编码 (6) 小于_(7)译码规则_编码方法综合题1.解:1)信源模型为 (1分) (2分) 2)由题意可知该信源为一阶马尔科夫信源。 (2分)由 (4分)得极限状态概率 (2分) (3分)3) (1分) (1分)。说明:当信源的符号之间有依赖时,信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大。(2分)2.3. 解:1)共6分 2) (3分)此时输入概率分布为等概率分布。(1分)4.解:1)n=6,k=3,共有8个码字。(3分)2)设码字由得 (3分) 令监督位为,则有 (3分)生成矩阵为 (2分)3)所有码字为000000,001101,010011,011110,100110,101011,110101,111000。(4分)4)由得 ,(2分)该码字在第5位发生错误,(101001)纠正为(101011),即译码为(101001)(1分)