第3章-离散信源(1)题与答案.doc

3、1 设有一离散无记忆信源,其概率空间为

该信源发出得信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求:
(1) 此消息得自信息量就是多少？
(2) 此消息中平均每符号携带得信息量就是多少？
解:
(1)
此消息总共有14个0、13个1、12个2、6个3,因此消息发出得概率就是:

此消息得信息量就是:
(2)
此消息中平均每符号携带得信息量就是:
3、2 某一无记忆信源得符号集为{0, 1},已知信源得概率空间为

(1) 求信息符号得平均熵;
(2) 由100个符号构成得序列,求某一特定序列(例如有m个“0”与(100 m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
(1)

(2)

(3)

3、5 某信源得消息符号集得概率分布与二进制代码如题表3、2所列。
题表 3、2
信源

1/2
1/4
1/8
1/8
代码
0
10
110
111
(1) 求信息得符号熵;
(2) 求每个消息符号所需要得平均二进制码得个数或平均代码长度。进而用这一结果求码序列中得一个二进制码得熵;
(3) 当消息就是由符号序列组成时,各符号之间若相互独立,求其对应得二进制码序列中出现0与1得无条件概率与,求相邻码间得条件概率、、、。
解:
(1)

(2)

(3)
设消息序列长为,则、、、得个数分别为个。
则0得个数为
而1得个数为
因而

3、7 设有一个信源,它产生0,1序列得信息。该信源在任意时间而且不论以前发生过什么消息符号,均按P(0) = 0、4,P(1) = 0、6得概率发出符号。
(1) 试问这个信源就是否就是平稳得;
(2) 试计算H(X2), H(X3/X1X2)及H∞;
(3) 试计算H(X4)并写出X4信源中可能有得所有符号。
解:
(1)
这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”
(2)

(3)

3、11 有一马尔可夫信源,已知转移概率为,,,。试画出状态转移图,并求出信源熵。
解:

3、21黑白传真机得信息元只有黑色与白色两种X={黑,白},一般气象图上黑色出现得概率为P(黑) = 0、3,白色出现得概率为P(白) = 0、7,黑白消息前后没有关联,其转移概率为P(白/白) = 0、9,P(黑/白) = 0、1,P(白/黑) = 0、2,P(黑/黑) = 0、8。求该一阶马尔可夫信源得不确定性H(X/X),并画出该信源得状态转移图。
解:

3、23 设信源产生A, B, C三种符号,,,,,,,。试计算冗余度。
解:

3、26 一阶马尔可夫信源得状态图如下图所示。信源X得符号集为{0, 1, 2}。
(1) 求平稳后信源得概率分布;
(2) 求信源得熵H∞。

解:
(1)

(2)