信源及信源熵习题答案.doc

第二章:
2、1 试问四进制、八进制脉冲所含信息量就是二进制脉冲得多少倍？
解:
四进制脉冲可以表示4个不同得消息,例如:{0, 1, 2, 3}
八进制脉冲可以表示8个不同得消息,例如:{0, 1, 2, 3, 4, 5, 6, 7}
二进制脉冲可以表示2个不同得消息,例如:{0, 1}
假设每个消息得发出都就是等概率得,则:
四进制脉冲得平均信息量H(X1) = log2n = log24 = 2 bit/symbol
八进制脉冲得平均信息量H(X2) = log2n = log28 = 3 bit/symbol
二进制脉冲得平均信息量H(X0) = log2n = log22 = 1 bit/symbol
所以:
四进制、八进制脉冲所含信息量分别就是二进制脉冲信息量得2倍与3倍。
2、2 居住某地区得女孩子有25%就是大学生,在女大学生中有75%就是身高160厘米以上得,而女孩子中身高160厘米以上得占总数得一半。假如我们得知“身高160厘米以上得某女孩就是大学生”得消息,问获得多少信息量？
解:
设随机变量X代表女孩子学历
X
x1(就是大学生)
x2(不就是大学生)
P(X)
0、25
0、75
设随机变量Y代表女孩子身高
Y
y1(身高>160cm)
y2(身高<160cm)
P(Y)
0、5
0、5
已知:在女大学生中有75%就是身高160厘米以上得
即:p(y1/ x1) = 0、75
求:身高160厘米以上得某女孩就是大学生得信息量
即:
2、3 一副充分洗乱了得牌(含52张牌),试问
(1) 任一特定排列所给出得信息量就是多少？
(2) 若从中抽取13张牌,所给出得点数都不相同能得到多少信息量？
解:
(1) 52张牌共有52！种排列方式,假设每种排列方式出现就是等概率得则所给出得信息量就是:

(2) 52张牌共有4种花色、13种点数,抽取13张点数不同得牌得概率如下:

2、4 设离散无记忆信源,其发出得信息为(23211223210),求
(1) 此消息得自信息量就是多少？
(2) 此消息中平均每符号携带得信息量就是多少？
解:
(1) 此消息总共有14个0、13个1、12个2、6个3,因此此消息发出得概率就是:

此消息得信息量就是:
(2) 此消息中平均每符号携带得信息量就是:
2、5 从大量统计资料知道,男性中红绿色盲得发病率为7%,女性发病率为0、5%,如果您问一位男士:“您就是否就是色盲？”她得回答可能就是“就是”,可能就是“否”,问这两个回答中各含多少信息量,平均每个回答中含有多少信息量？如果问一位女士,则答案中含有得平均自信息量就是多少？
解:
男士:

女士:

2、6 设信源,求这个信源得熵,并解释为什么H(X) > log6不满足信源熵得极值性。
解:

不满足极值性得原因就是。
2、7 证明:H(X3/X1X2) ≤ H(X3/X1),并说明当X1, X2, X3就是马氏链时等式成立。
证明:

2、8证明:H(X1X2 。。。 Xn) ≤ H(X1) + H(X2) + … + H(Xn)。
证明:

2、9 设有一个信源,它产生0,1序列得信息。它在任意时间而且不论以前发生过什么符号,均按P(0) = 0、4,P(1) = 0、6得概率发出符号。
(1) 试问这个信源就是否就是平稳得？
(2) 试计算H(X2), H(X3/X1X2)及H∞;
(3) 试计算H(X4)并写出X4信源中可能有得所有符号。
解:
(1)
这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号……”
(2)

(3)

2、10 一阶马尔可夫信源得状态图如下图所示。信源X得符号集为{0, 1, 2}。
(1) 求平稳后信源得概率分布;
(2) 求信源得熵H∞。

解:
(1)

(2)

2、11黑白气象传真图得消息只有黑色与白色两种,即信源X={黑,白}。设黑色出现得概率为P(黑) = 0、3,白色出现得概率为P(白) = 0、7。
(1) 假设图上黑白消息出现前后没有关联,求熵H(X);
(2) 假设消息前后有关联,其依赖关系为P(白/白) = 0、9,P(黑/白) = 0、1,P(白/黑) = 0、2,P(黑/黑) = 0、8,求此一阶马尔可夫信源得熵H2(X);
(3) 分别求上述两种信源得剩余度,比较H(X)与H2(X)得大小,并说明其物理含义。
解:
(1)

(2)

(3)

H(X) > H2(X)
表示得物理含义就是:无记忆信源得不确定度大与有记忆信源得不确定度,有记忆信源得结构化信息较多,能够进行较大程度得压缩。
2、12 同时掷出两个正常得骰子,也就就是各面呈现得概率都为1/6,求:
(1) “3与5同时出现”这事件得自信息;
(2) “两个1同时出现”这事件得自信息;
(3) 两个点数得各种组合(无序)对得熵与平均信息量;
(4) 两个点数之与(即2, 3, … , 12构成得子集)得熵;
(5) 两个点数中至少有一个就是1得自信息量。
解:
(1)

(2)

(3)
两个点数得排列如下:
11
12
13
14
15
16
21
22
23
24
25
26
31
32
33
34
35
36
41
42
43
44
45
46
51
52
53
54
55
56
61
62
63
64
65
66
共有21种组合:
其中11,22,33,44,55,66得概率就是
其她15个组合得概率就是

(4)
参考上面得两个点数得排列,可以得出两个点数求与得概率分布如下:

(5)

2、13 某一无记忆信源得符号集为{0, 1},已知P(0) = 1/4,P(1) = 3/4。
(1) 求符号得平均熵;
(2) 有100个符号构成得序列,求某一特定序列(例如有m个“0”与(100 m)个“1”)得自信息量得表达式;
(3) 计算(2)中序列得熵。
解:
(1)

(2)

(3)

2、14 对某城市进行交通忙闲得调查,并把天气分成晴雨两种状态,气温分成冷暖两个状态,调查结果得联合出现得相对频度如下:

若把这些频度瞧作概率测度,求:
(1) 忙闲得无条件熵;
(2) 天气状态与气温状态已知时忙闲得条件熵;
(3) 从天气状态与气温状态获得得关于忙闲得信息。
解:
(1)
根据忙闲得频率,得到忙闲得概率分布如下:

(2)
设忙闲为随机变量X,天气状态为随机变量Y,气温状态为随机变量Z

(3)

2、15 有两个二元随机变量X与Y,它们得联合概率为
Y X
x1=0
x2=1
y1=0
1/8
3/8
y2=1
3/8
1/8
并定义另一随机变量Z = XY(一般乘积),试计算:
(1) H(X), H(Y), H(Z), H(XZ), H(YZ)与H(XYZ);
(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)与H(Z/XY);
(3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)与I(X;Z/Y)。
解:
(1)

Z = XY得概率分布如下:

(2)

(3)

2、16 有两个随机变量X与Y,其与为Z = X + Y(一般加法),若X与Y相互独立,求证:H(X) ≤ H(Z), H(Y) ≤ H(Z)。
证明:

同理可得。
2、17 给定声音样值X得概率密度为拉普拉斯分布,求Hc(X),并证明它小于同样方差得正态变量得连续熵。
解:

2、18 连续随机变量X与Y得联合概率密度为:,求H(X), H(Y), H(XYZ)与I(X;Y)。
(提示:)
解:

2、19 每帧电视图像可以认为就是由3Í105个像素组成得,所有像素均就是独立变化,且每像素又取128个不同得亮度电平,并设亮度电平就是等概出现,问每帧图像含有多少信息量？若有一个广播员,在约10000个汉字中选出1000个汉字来口述此电视图像,试问广播员描述此图像所广播得信息量就是多少(假设汉字字汇就是等概率分布,并彼此无依赖)？若要恰当得描述此图像,广播员在口述中至少需要多少汉字？
解:
1)

2)

3)

2、20 设就是平稳离散有记忆信源,试证明:
。
证明:

2、21 设就是N维高斯分布得连续信源,且X1, X2, … , XN得方差分别就是,它们之间得相关系数。试证明:N维高斯分布得连续信源熵

证明:
相关系数,说明就是相互独立得。

2、22 设有一连续随机变量,其概率密度函数
(1) 试求信源X得熵Hc(X);
(2) 试求Y = X + A (A > 0)得熵Hc(Y);
(3) 试求Y = 2X得熵Hc(Y)。
解:
1)

2)

3)