信息论习题集一.doc

习题集一
1. 信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特征为，。
（1）求的自信息；
解：　
（2）求的自信息；
解：

（3）求和的联合自信息；
解：

（4）求条件自信息；
解：　

（5）求和的互信息。
解：

3.无记忆离散信源的符号集为{0,1}，若信源的概率空间为。计算由100个符号构成的符号序列的熵。
解：

4. 令为掷一枚均匀硬币直至其正面第一次向上所需的次数。

（1）求的概率分布；
解： （）
（2）求的熵。
解：
令，则，错位相减得
所以
5.设为[-1，1]上的均匀分布随机变量。
（1）求的微分熵；
解：
（2）求的概率密度函数；
解：令，则的分布函数为

，补充定义
所以的概率密度函数为。
（3）求的微分熵。
解：=．．．．．．．(2分)
=．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(2分)
6. 一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 ，发出符号。
（1）求此信源的二次扩展信源的信源熵；
解：由题意知此信源是无记忆信源，故

（2）求；
解：由题意知此信源是无记忆信源，故

（3）求；
解：由题意知此信源是平稳无记忆信源，故
=

7.已知一个二元一阶平稳马尔可夫信源的状态转移概率为，。
（1）写出此马尔可夫信源的状态转移概率矩阵；
解：由题意知，，
所以状态转移概率矩阵为。
（2）求此马尔可夫信源的平稳分布；
解：由平稳性知，得到，
再由，
解得 。
（3）求此马尔可夫信源的熵率；
解：

=

（4）求符号序列1000011的概率。

解：

8.已知离散无记忆信源如下，

（1）试求信源符号熵；

．．．．．．．．．．．．．．．．．(2分)
．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(1分)
（2）试求二元的Huffman编码；

符号
S1
S2
S3
S4
S5
S6
S7
概率
0.20
0.19
0.18
0.17
0.15
0.10
0. 01
码字
10
11
000
001
010
0110
0111

本题得分
阅卷签字

9.下面以码字集合的形式给出两种不同的编码，第一个码为，第二个码为。对于上述两种码分别回答下列问题：
① 此码的码长是否满足Kraft不等式？
② 此码是否是及时码？如果不是，请说明原因。
③ 此码是否是唯一可译码？如果不是，请说明原因。
（1）对于第一个码分别回答上述问题；
解：① 由于，故此码满足Kraft不等式；
② 此码是及时码；
③ 由于此码是及时码，所以此码也是唯一可译码。
（2）对于第二个码分别回答上述问题。
解：① 由于，故此码满足Kraft不等式；
② 此码不是及时码，因为码字00是码字000的前缀；
③ 此码不是唯一可译码，因为码符号序列000000可以译为00，00，00，也可以译为000，000。
10. 求以下两个信道的信道容量及最佳概率分布：
（1）
解：=0（）
bit．．(2分)
由于此信道是对称信道，故当输入分布为等概率分布时，输出分布也为等概率分布，
因此最佳概率分布是等概率分布。．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．(1分)
（2）
解：=0（）
bit．．．．(2分)
11. 对二元信源，其失真矩阵为，求时，率失真函数的和？
解：

．

12.若随机变量与相互独立，试证明：。
解：由于与相互独立，则。