信息论与编码理论1(B卷答案).doc

2011-2012 信息论与编码理论1 B卷答案
一、 单项选择题（每题3分，总计15分）
1．当底为时，熵的单位为（ C ）。
A 奈特 B 哈特 C 奈特/符号 D 哈特/符号
2．下列关系式中( B )正确。
A B
C D
3．下列（ D ）陈述是正确的。
A Shannon编码是最优码 B LZ编码是异字头码
C Huffman编码可以不需要知道信源的分布 D 典型序列的数目不一定比非典型的多
4．下列数组中（ A ）不满足二个字母上的Kraft不等式。
A (1，1，1) B (2,2,2,2) C (3,3,3) D （4，4，4）
5．下列（ D ）是只对输出对称的。
A B C D
二、填空题（每空2分，总计20分）
1．若二元离散无记忆中，，则当给出比特的信源序列，其中有个，则其自信息为比特，整个序列的熵为比特/符号.
2．若某离散信道信道转移概率矩阵为，则其信道容量为比特/符号；转移概率矩阵为，则其信道容量为比特/符号。
3. 两个相同的BSC做级联信道，其信道转移矩阵分别为 ， 则级联信道的信道转移矩阵为，无穷多个级联后的矩阵为。
4．若一个信道的输入熵为比特/符号，输出熵为比特/符号，

比特/符号，则3.2比特/符号，散布度为0.6比特/符号。
5．在二元LZ 编码中，若信源有个，某段信源序列共有个字典，则码长
。
6．存在元唯一可译码，其平均码长必小于。

三、判断题（每题2分，总计10分）
1. 概率小的事件自信息大 （√ ）
2. 若一个码字集合中的码字长度满足Kraft不等式 ，则其必为逗点码。 （ ）
3. 若码字都被配置在树的叶子节点处，则这种码一定是异字头码。（ √ ）
4. 平均互信息是下凸函数。（ ）
5. 算数编码需要知道信源的分布。 （√）
四、计算题（55分）
1）（15分）设随机变量的联合概率分布如下：

0

1
0

1
0

。分别求。
解: 的分布率为

0
1

则比特/符号.
的分布率为

0
1

则比特/符号.

0

1

0

1
0

=,=

=0,=

==比特/符号.

0
1

=1,=0

=0,=1
则=0比特/符号.
2）（20分）若离散无记忆信源的概率分布为

① 分别构造二元，三元Huffman编码（要求码长方差最小，但不需求出），Shannon编码，Fano编码，Shannon-Fano-Elias编码。
② 并求①中二元Huffman编码的编码效率。（只列出式子即可）

解:对信源按概率从大到小排序, ,建立码树则有二元Huffman编码:
要进行三元Huffman编码,则需要添加一个空信源,成为,
建立码树则有三元Huffman编码:
Shannon编码如下:
信源
码长
累加概率
码字

2
0
00

2
0.4
01

3
0.7
101

4
0.9
1110
③ Fano编码如下:
信源
概率
第1次分组
第2次分组
第3次分组
码字

0.4
0

0

0.3
1
0

10

0.1
1
0
110

0.1
1
111
④ Shannon-Fano-Elias编码
信源
概率

二元
码字

0.1
0.1
0.05
5
0.00001
00001

0.2
0.3
0.2
4
0.000100
0001

0.3
0.6
0.45
3
0.011
011

0.4
1
0.8
3
0.110
110
⑤ 二元Huffman编码的平均码长为==1.9
⑥ 编码效率为

3）（20分）若离散无记忆信道的信道转移矩阵为，用两种方法求该信道容量。
方法一:

方法二: 令输入概率为时达到了信道容量,则代入中,得到关于的函数,另其导数为0,解得=,则当=时达到信道容量,为.

（注：专业文档是经验性极强的领域，无法思考和涵盖全面，素材和资料部分来自网络，供参考。可复制、编制，期待你的好评与关注）