信息论习提答案.doc

电信吴兰华 5
1、 熵 是香农信息论最基本最重要的概念。
2、 单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
3、 两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
4、 离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。
5、 对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。
6、 若一离散无记忆信源的信源熵H（X）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为 5 。
7、 同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是 log218或（1+2 log23）。
8、 一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。
9、 具有一一对应关系的无噪信道的信道容量C= log2n 。
10、 信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。
11、 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小
12、 平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
13、 率失真函数对允许的平均失真度是 单调递减和连续的 。
14、 对于离散无记忆信源的率失真函数的最大值是 log2n 。
15、 信源编码的目的是： 提高通信的有效性 。
16、 对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长 最短，应增加 2 个概率为0的消息。
17、 对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。
18、 游程序列的熵 等于 原二元序列的熵。
19、 n位重复码的编码效率是 1/n 。
20、 若纠错码的最小距离为dmin，则可以纠正任意小于等于t= 个差错。

1、 单符号离散信源的自信息和信源熵都具有非负性。对
2、 自信息量、条件自信息量和联合自信息量之间有如下关系：
对
3、 自信息量、条件自信息量和互信息量之间有如下关系：
对
4、 当随即变量X和Y相互独立时，条件熵等于信源熵.对
5、 若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般>K。 错
6、 信道容量C是I（X；Y）关于p（xi）的条件极大值。 对
7、 离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 错
8、 率失真函数没有最大值。 错
9、 率失真函数的最小值是0 。对
10、 信源编码通常是通过压缩信源的冗余度来实现的。 对
在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对
11、 在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
12、汉明码是一种线性分组码。对
13、循环码也是一种线性分组码。 对
14、卷积码是一种特殊的线性分组码。 错
1、αi，βj是两个码符号{0,1}组成的符号序列
，求αi，βj 之间的汉明距离
解：D(αi，βj)=
2·、已知随即变量X和Y的联合分布如下所示：
Y

X

0
1
0
1/8
3/8
1
3/8
1/8
试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）
1bit 1bit 0.54bit 081bit 0.81bit 0.19bit
3、一个消息由符号0，1，2，3组成，已知P(0)=3/8,P(1)=1/4, ,P(2)=1/4, ,P(3)=1/8,试求由60个符号构成的消息所含有的信息量和平均信息量。无答案
4、在一个袋子里放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放回去。求：
（1）一次实验包含的不确定度。
（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；
（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；
0.92bit 0.86bit 0.94bit
5、 两个实验X和Y，X＝{x1,x2,x3},Y={y1,y2,y3},联合概率p(xiyj)=pij已经给出。（p11=7/24,p12=1/24,p13=0,p21=1/24,p22=1/4,p23=1/24,p31=0,p32=1/24,p33=7/24）
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
2.3bit/符号 1.58 bit/符号 0.72bit/符号
6、 黑白传真机的消息源只有黑色和白色两种，即X∈{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7.
（1）假设黑白消息前后无关，求信源熵H(X)。
（2）实际上各个元素之间关联，其转移概率为：P(白/白)＝0.9143，p(黑/白)＝0.0857， P(白/黑)＝0.2，p(黑/黑)＝0.8，求这个一阶马尔可夫信源的信源熵。并画出转移图。
（3）比较两种信源熵的大小，并说明理由。
0.8813bit /符号 0.513bit/符号
6、设有一个二进制马尔可夫信源，其信源符号为X∈（0，1），条件概率为：P(1/1)=0.5, P(0/0)=0.25, P(0/1)=0.50, P(1/0)=0.75,.画出状态图并求出各稳态概率。
无答案
7、一阶马氏链信源有三个符号{u1,u2,u3},转移概率为：P(u1/u1)=1/2, P(u2/u1)=1/2, P(u3/u1)=0, P(u1/u2)=1/3, P(u2/u2)=0, P(u3/u2)=2/3, P(u1/u3)=1/3, P(u2/u3)=2/3, P(u3/u3)=0.画出状态图并求出状态的稳态概率。
10/25 9/25 6/25
8、 某信源有8个符号，概率分布分别是1/2,1/4,1/8,1/16,1/32,1/64,1/128,1/128,编成这样的码：000，001，010，011，100，101，110，111。求
（1）信源的符号熵H(U);
（2）出项一个“1”或一个“0”的概率。
（3）这种码的编码效率。
（4）相应的香农码和费诺码；
（5）该码的编码效率。
(1)
H(U)=
(2) 每个信源使用3个二进制符号,出现0的次数为

出现1的次数为

P(0)=
P(1)=
(3)

(4) 相应的香农编码
信源符号xi
符号概率pi
累加概率Pi
-Logp(xi)
码长Ki
码字
x1
1/2
0
1
1
0
x2
1/4
0.5
2
2
10
x3
1/8
0.75
3
3
110
x4
1/16
0.875
4
4
1110
x5
1/32
0.938
5
5
11110
x6
1/64
0.969
6
6
111110
x7
1/128
0.984
7
7
1111110
x8
1/128
0.992
7
7
11111110
相应的费诺码

信源符号xi
符号概率pi
第一次分组
第二次分组
第三次分组
第四次分组
第五次分组
第六次分组
第七次分组
二元码
x1
1/2
0

0
x2
1/4
1
0

10
x3
1/8
1
0

110
x4
1/16
1
0

1110
x5
1/32
1
0

11110
x6
1/64
1
0

111110
x7
1/128
1
0
1111110
x8
1/128
1
11111110

（5）香农码和费诺码相同
平均码长为
编码效率为：
9、设输入符号为X∈{0,1，2，3},输出符号为Y∈{0，1，2，3}，且输入信号的分布为：
P(X=i)=1/4,i=0,1,2,3,设失真矩阵为：
求Dmax和Dmin及R（Dmax）和R（Dmin）.
无答案
12、设某信道，其信道矩阵为
若信道的输入符号a1,a2,a3先验等概，
（1） 若使平均错误译码概率最小,请选择译码函数。
（2） 求出此错误译码概率Pemin。
解：(1)
因为先验等概,所以选择最大似然译码准则
F(b1)=a1 F(b2)=a3 F(b3)=a2
(2) Pemin=
13、设分组码（n,k）中，n=6，n=3，并按下列方程选取字中的码字。

求信息序列(a1a2a3)变换成六位的八个码字，并求出编码效率。
解：
信息序列 码字
(a1a2a3) (c1c2 c3c4c5c6)
000 000000
001 001011
010 010101
100 100110
011 011110
101 101101
110 110011
111 111000
编码效率

电信吴兰华 5