信息论与编码第二章复习资料.doc

2-1、一阶马尔可夫链信源有3个符号，转移概率为：，，， ，，，，，。画出状态图并求出各符号稳态概率。
解：由题可得状态概率矩阵为：

状态转换图为：

令各状态的稳态分布概率为，，，则：
， , = 且：1
稳态分布概率为：
=，=，=
2-2.由符号集｛０，１｝组成的二阶马尔可夫链，其转移概率为：P(0|00)=0.8(0|11)=0.2(1|00)=0.2(1|11)=0.8(0|01)=0.5(0|10)=0.5(1|01)=0.5(1|10)=0.5画出状态图，并计算各符号稳态概率。
解：状态转移概率矩阵为：

令各状态的稳态分布概率为、、、，利用（2-1-17）可得方程组。

且；
解方程组得： 即：
2-3、同时掷两个正常的骰子，也就是各面呈现的概率都是，求：
（1）、“3和5同时出现”事件的自信息量；
（2）、“两个1同时出现”事件的自信息量；
（3）、两个点数的各种组合的熵或平均信息量；
（4）、两个点数之和的熵；
（5）、两个点数中至少有一个是1的自信息量。

解：（1）3和5同时出现的概率为：

（2）两个1同时出现的概率为：

（3）两个点数的各种组合（无序对）为： (1,1),(1,2),(1,3),(1,4),(1,5),(1,6)
(2,2),(2,3),(2,4),(2,5),(2,6)
(3,3), (3,4),(3,5),(3,6)
(4,4),(4,5),(4,6)
(5,5),(5,6)
(6,6)
其中，(1,1), (2,2), (3,3), (4,4), (5,5), (6,6)的概率为1/36，其余的概率均为1/18
所以，事件
（4）两个点数之和概率分布为：

信息为熵为：
（5）两个点数之中至少有一个是1的概率为：

2-4.设在一只布袋中装有100个用手触摸感觉完全相同的木球，每个球上涂有一种颜色。100个球的颜色有下列三种情况：
（1）红色球和白色球各50个；
（2）红色球99个，白色球1个；
（3）红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。
解：（1）设取出的红色球为，白色球为；有，
则有：=1事件
(2) ,;
则有：=0.081（事件）
(3)设取出红、黄、蓝、白球各为、、、，有
则有：/事件

2-5、居住某地区的女孩中有25%是大学生，在女大学生中有75%身高为1.6M以上，而女孩中身高1.6M以上的占总数一半。假如得知“身高1.6M以上的某女孩是大学生”的消息，问获得多少信息量？
解：设女孩是大学生为事件A，女孩中身高1.6m以上为事件B，则p(A)=1/4, p (B)=1/2，p ()=3/4，则
P()
I（）＝（1()）=1.42
2-6.掷两颗 ，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？
解：（1）小圆点数之和为3时有（1,2）和（2,1），而总的组合数为36，即概率为，则

（2）小园点数之和为7的情况有（1,6），（6,1）（2,5）（5,2）（3,4）（4,3），则概率为，则有
2-7、设有一离散无记忆信源，其概率空间为
（1）、求每个符号的自信息量；
（2）、信源发出一消息符号序列为
，求该消息序列的自信息量及平均每个符号携带的信息量。

解：（1）的自信息量为：
的自信息量为：
的自信息量为：
的自信息量为：
（2）在该消息符号序列中，出现14次，出现13次，出现12，出现6次，所以，该消息序列的自信息量为：
I（）=14 I（）+13 I（）+12 I（）+6 I（）

平均每个符号携带的信息量为：

2-8．试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？
解;设二进制、四进制、八进制脉冲的信息量为

所以，四进制、八进制脉冲信息量分别是二进制脉冲信息量的2倍、3倍。

2-10 在一个袋中放5个黑球、10个白球，以摸一个球为实验，摸出的球不再放进去。求：
（1）一次实验中包含的不确定度；
（2）第一次实验X摸出是黑球，第二次实验Y给出的不确定度；
（3）第一次实验X摸出是白球，第二次实验Y给出的不确定度；
（4）第二次实验包含的不确定度。
解：（1）一次实验的结果可能摸到的是黑球或白球，它们的概率分别是，。所以一次实验的不确定度为

(2)当第一次实验摸出是黑球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是 、。
所以该事件的不确定度为

/符号
(3)当第一次实验摸出是白球，则第二次实验Y的结果可能是摸到黑球或白球，它们的概率分别是 、。
所以该事件的不确定度为

/符号
（4）
二次实验B出现结果的概率分布是p()(黑，黑)= ，p()(黑，白)= ，p()(白，黑)= ，p()(白，白)=
所以二次实验的不确定度为
H(B)= =0.91符号

2-11有一个可旋转的圆盘，盘面上被均匀地分成38份，用1，2，、、、，38数字标示，其中有2份涂绿色，18份涂红色，18份涂黑色，圆盘停转后，盘面上指针指向某一数字和颜色。
（1）若仅对颜色感兴趣，则计算平均不确定度；
（2）若对颜色和数字都感兴趣，则计算平均不确定度；
（3）如果颜色已知时，则计算条件熵。
解：令X表示指针指向某一数字，则{1,2,……….,38}
Y表示指针指向某一种颜色，则{绿色，红色，黑色}
Y是X的函数，由题意可知
（1）仅对颜色感兴趣，则
H(c)=——2 =0.2236+1.0213 =1.245
(2)对颜色和数字都感兴趣，则
H()(n)=38(-) =5.249
(3)如果颜色已知时，则
H（）()(h)=5.249-1.245=4.004

2-12、两个实验X和Y，，，联合概率为

（1）如果有人告诉你X和Y的结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的结果，你得到的平均信息量是多少？
（3）在已知Y的实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：（1）、

（2）、

（3）、

2-13有两个二元随机变量X和Y，它们的联合概率如右图所示。
并定义另一随机变量（一般乘积）。
试计算：
（1） ，，，，，
（2） ，，，，，，，，
（3） ，，，，，
解：（1）1）

同理：

(000)=1/8, (010)=3/8, (100)=3/8, P(111)=1/8
(110)(001)(101)(011)=0

（2）
由于所以：
；则，

**
（3）

由于则

同理有：

2.16 黑白传真机的消息元只有黑色和白色两种，即{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7。
（1）假设黑白消息视为前后无关，求信源熵H(X)，并画出该信源的香农线图
（2）实际上各个元素之间是有关联的，其转移概率为：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求这个一阶马尔可夫信源的信源熵，并画出该信源的香农线图。
（3）比较两种信源熵的大小，并说明原因。
解：（1）符号
P(黑|白)(黑)
P(白|白)＝P(白)
P(黑|黑)＝P(黑) P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时
间变化）

＝0.512符号
2.20 给定语音信号样值X的概率密度为,,求(X)，并证明它小于同样方差的正态变量的连续熵。
解：

2-23 连续随机变量X和Y的联合概率密度为

求,,,
解：

随机变量X的概率密度分布为，呈标准正态分布。其中数学期望为0，方差为S；随机变量Y的概率密度分布为 ，也呈标准正态分布。其中数学期望为0，方差为（）。

2-25 某一无记忆信源的符号集为{0，1}，已知
（1）求符号的平均熵。
（2）由100 个构成的序列，求某一特定序列（例如有m个0和100个1）的自由信息量的表达式。
（3）计算（2）中的序列的熵。
解：（1）
（2）
（3）

2-26 一个信源发出二重符号序列消息（，），其中第一个符号可以是A，B，C中的任一个，第二个符号可以是D，E，F，G中的任一个。已知各个为,,；各个值列成如下。求这个信源的熵（联合熵）.

解：

2.29 有一个一阶平稳马尔可夫链,各取值于集合,已知起始概率P()为，转移概率如下图所示
j
i
1
2
3
1
2
3
1/2
2/3
2/3
1/4
0
1/3
1/4
1/3
0
(1) 求的联合熵和平均符号熵
(2) 求这个链的极限平均符号熵
(3) 求和它们说对应的冗余度
解：（1）

符号
X1，X2的联合概率分布为

1
2
3
1
1/4
1/8
1/8
2
1/6
0
1/12
3
1/6
1/12
0

1
2
3
14/24
5/24
5/24

X2的概率分布为
那么

=1.209符号
X2X3的联合概率分布为

1
2
3
1
7/24
7/48
7/48
2
5/36
0
5/12
3
5/36
5/12
0
那么

=1.26符号
/符号
所以平均符号熵／符号
（2）设a123稳定后的概率分布分别为W123,转移概率距阵为
由 得到 计算得到
又满足不可约性和非周期性
/符号
(3)/符号 /符号 /符号

2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P(0)(1)(2)
（2）求此信源的熵
（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与进行比较
解:根据香农线图,列出转移概率距阵
令状态0,1,2平稳后的概率分布分别为W123
得到 计算得到
由齐次遍历可得

符号 由最大熵定理可知存在极大值
或者也可以通过下面的方法得出存在极大值:

又所以当2/3时
0