信息论与编码理论复习题(一).doc

信息论与编码理论复习题（一）
一、填空题
（1） 1948年，美国数学家 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2） 必然事件的自信息是 。
（3） 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 。
（4） 对于离散无记忆信源，当信源熵有最大值时，满足条件为__ _。
（5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 。
（6） 设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R____C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（7） 平均错误概率不仅与信道本身的统计特性有关，还与______________和___ ___有关。
二、综合题
1..黑白气象传真图的消息只有黑色和白色两种，求：
1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

2） 假设黑白消息出现前后有关联，其依赖关系为 ，，，，求其熵。

3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。

2.信源空间为
，试构造二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。

3..二元对称信道如图。　　　　　　　　　　　
1）若，，求、和；
2）求该信道的信道容量。

4.设一线性分组码具有一致监督矩阵
1）求此分组码n=?,k=?共有多少码字？
2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001），求出伴随式并给出翻译结果。

参考答案：
填空
（1） 香农（2）0 （3）N倍（4） 信源符号等概分布 (5)香农编码 (6) 小于_(7)译码规则_编码方法
综合题
1.解：1）信源模型为 （1分）

（2分）

2）由题意可知该信源为一阶马尔科夫信源。 （2分）
由

（4分）

得极限状态概率

（2分）

（3分）

3）
（1分）
（1分）
。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）
2.

3.
解：1）共6分

2） （3分）此时输入概率分布为等概率分布。（1分）
4.解：1）n=6,k=3,共有8个码字。（3分）
2）设码字由得
（3分）
令监督位为，则有
（3分）
生成矩阵为 （2分）
3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）
4）由得
，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（1分）