信息论第2章作业.doc

19
第2章作业
1． 同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？

2． 居住在某地区的女孩中有25%是大学生,在大学生中有75%是身高1.6以上的，而女孩中身高1.6米以上的占总数一半.假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
信息量：比特

3． 设离散无记忆信源，其发出的消息为（202120130213001203210110321010021032011223210），求
（1） 求每个符号的自信息量；
（2 若信源发出一消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)，求该消息序列的自信息量及平均每个符号携带的信息量。

4． 有一信源输出X∈{0,1,2}，其概率为p0=1/4，p1=1/4，p2=1/2。设计两个独立实验去观察它，其结果为Y1∈{0,1}和Y2∈{0,1}。已知条件概率为
P(Y1|X)
0
1

P(Y2|X)
0
1
0
1
0
0
1
0
1
0
1
1
1
0
2
1/2
1/2
2
0
1
求：
1) I(X;Y1)和I(X;Y2)，并判断哪一个实验好些。
2) I(X;Y1,Y2)，并计算做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得多少关于X的信息。
3) I(X;Y1/Y2)和I(X;Y2/Y1)，并解释它们的含义。
解：（1）

类似的

=0.5bit/sym
I(X;Y1)= －=0.5 bit/sym
=0 bit/sym
I(X;Y1)= －=1bit/sym
I(X;Y1)多。
（2）因为Y1和Y2相互独立

类似地得出Y1和Y2的联合概率分布
由P(XY1Y2)=P(X)P(Y1Y2︱X)= P(X) P(Y1︱X) P(Y2︱X)，
得出X和Y1Y2的联合概率分布

Y1
Y2

0
1
0

1

X
Y1Y2

0
1
0

0
1

0
Y1和Y2的联合概率分布
2

X和Y1Y2的联合概率分布

=-4·log=2bit/sym
=-4·log=2bit/sym
=H(,,)=1.5bit/sym

=1.5+2-2=1.5bit/sym
- I(X;Y1)=1.5-0.5=1 bit/sym
- I(X;Y2)=1.5-1=0.5 bit/sym
故做Y1和Y2两个实验比做Y1或Y2中的一个实验各可多得1 bit/sym和0.5 bit/sym。
（3）=－
=
==0.5 bit/sym
同理，得出==1 bit/sym
结果说明，在做完实验Y1或Y2的条件下再做第二个实验，并没有获得更多的信息，因为Y1和Y2相互独立，没有任何关联。

5． 为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A,01代表B,10代表C,11代表D。每个二元码脉冲宽度为5ms。
（1） 不同字母等概率出现时，计算传输的平均信息速率？
（2） 若每个字母出现的概率分别为pA=1/5，pB=1/4，pC=1/4，pD=3/10，试计算传输的平均信息速率？
(1) 因为A,B,C,D四个字母,每个字母用两个码,每个码为5ms, 所以每个字母用10ms
当信源等概率分布时,信源熵为H(X)=log(4)=2
平均信息传递速率为=2bit/ms=200bit/s
(2) 信源熵为
H(X)=
传输的平均信息速率为
=0.198bit/ms=198bit/s

6． （1）为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用5×105个像素和10个不同亮度电平，设每秒要传送30帧图像，所有像素是独立变化的，且所有亮度电平等概率出现，求传送此图像所需的信息率（bit/s）。
（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。
解：（1）需要5×105个像素和10个不同亮度电平，则可能出现的不同画面为
每个画面等概率出现，P=1/
每帧图像的熵 H(X)= Log()=5×﹒Log10=1.66×比特

传送此图像所需的信息率： 30×H(X)=4.98×比特/秒
（2）彩色系统，要求三十个不同色彩度，则有可能出现的不同画面为
每个画面等概率出现，P=1/
每帧图像的熵 H(X)= Log()=5×﹒Log300
传送此图像所需的信息率： 30H(X)=1.234×比特/秒

故传输这彩色系统的信息率要比黑白系统的信息率大约2.5倍。
7． 设有一个信源，它产生0、1序列的消息。它在任意时间而且不论以前发生过什么符号，均按P(0)=0.4，P(1)=0.6概率发出符号。
（1）试问这个信源是否平稳的？
（2）试计算H()，H(X3/ X1 X2)及HN(X)。
（3）试计算H()并写出信源中可能有的所有符号。

解：(1) 这个信源是平稳无记忆信源。因为有这些词语：“它在任意时间而且不论以前发生过什么符号……”
(2)
(3)

8． 给定语声样值X的概率密度为

求HC(X)，并证明它小于同样方差的正态变量的微分熵。
解：

=（奈特/符号）

同样方差的正态变量的微分熵
H(X)=
HC(X)< H(X),故证明HC(X)小于同样方差的正态变量的微分熵

9． 设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，，在下列几种情况下，计算I(X;Y)：
（1）r＝1；
（2）r＝0；
（3）r＝－1。

10．若有二个串接的离散信道，它们的信道矩阵都是

设第一个信道的输入符号Xє{a1,a2,a3,a4}是等概率分布，输出符号用Z表示。第二个信道输出用Y表示。求I(X;Z)和I(X;Y)，并加以比较。
解：

11．有一个一阶平稳马尔可夫链X1，X2,……Xr……，各Xr取值于集合A={a1,a2,a3}。已知起始概率p(Xr)为p1=1/2，p2=p3=1/4，转移概率如下。
j
i
1
2
3
1
1/2
1/4
1/4
2
2/3
0
1/3
3
2/3
1/3
0
（1）求(X1,X2,X3)的联合熵和平均符号熵。
（2）求这个链的极限平均符号熵。
（3）求H0，H1，H2和它们所对应的冗余度。

11．设有一个马尔可夫信源，它的状态集为{s1,s2,s3}，符号集为{a1,a2,a3}，及在某状态下发符号的概率为P(ak/ si)(i,k=1,2,3),如图所示。

a3:1/2
a2:1/2
a1:1
a3:1/4
a2:1/4
a1:1/2
S1

S2

S3

（1）求出图中马尔可夫信源的状态极限概率并找出符号的极限概率。
（2）计算信源处在某一状态下输出符号的条件熵H(X/S=j)(j= s1,s2,s3)。
（3）求出马尔可夫信源熵。

12．黑白气象传真图的消息只有黑色和白色两种，即信源X={黑,白}，设黑色出现的概率P(黑)=0.3，白色出现的概率P(白)=0.7。
(1)设图上黑白消息出现前后没有联系，求熵H(X)；
(2)假设消息出现前后有关联，其依赖关系为P(白/白)=0.9，P(黑/白)=0.1，P(白/黑)=0.2，P(黑/黑)=0.8，求此一阶马尔可夫信源的熵H2；
(3)分别求上述两种信源的剩余度，并比较H(X)和H2的大小，并说明其物理意义。
解:(1)
(2)
=0.553bit/symbol
(3)
信源一的冗余度 R1=1-=1-=
信源二的冗余度 R2=1-=0
H(X)> H2 , 表示的物理含义是：无记忆信源的不确定度大与有记忆信源的不确定度，有记忆信源的结构化信息较多，能够进行较大程度的压缩。

3－21设有二个离散信道，其分别输入为X1和X2，输出为Y1和Y2，对应这二个信道的传递概率为p1(y/x)和p2(y/x)，如图3.39所示。其X1和X2的概率分布分别为P1(x) 和P2(x)。

图3.39 题3.21的信道

19