信息论2010练习答案.doc

熵 是香农信息论最基本最重要的概念。
单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。
两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。
离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。
对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。
若一离散无记忆信源的信源熵H（X）等于4.2，对信源进行等长的无失真二进制编码，则编码长度至少为 5 。
同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和6同时出现”这件事的自信息量是 log218（1+2 log23）。
一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 。
具有一一对应关系的无噪信道的信道容量C= log2n 。
信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。
信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小
平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。
率失真函数对允许的平均失真度是 单调递减和连续的 。
对于离散无记忆信源的率失真函数的最大值是 log2n 。
信源编码的目的是： 提高通信的有效性 。
对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加 2 个概率为0的消息。
对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是 香农编码 。
游程序列的熵 等于 原二元序列的熵。
n位重复码的编码效率是 1/n 。
若纠错码的最小距离为dmin，则可以纠正任意小于等于t= 个差错。
单符号离散信源的自信息和信源熵都具有非负性。对
自信息量、条件自信息量和联合自信息量之间有如下关系：
对
自信息量、条件自信息量和互信息量之间有如下关系：
对
当随即变量X和Y相互独立时，条件熵等于信源熵。对
若对一离散信源（熵为H（X））进行二进制无失真编码，设定长码子长度为K，变长码子平均长度为，一般>K。 错
信道容量C是I（X；Y）关于p（xi）的条件极大值。 对
离散无噪信道的信道容量等于log2n，其中n是信源X的消息个数。 错
率失真函数没有最大值。 错
率失真函数的最小值是0 。对
信源编码通常是通过压缩信源的冗余度来实现的。 对
在编m（m>2）进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。 对
在游程编码过程中，“0”游程和“1”游程应分别编码，因此，它们的码字不能重复。 错
汉明码是一种线性分组码。对
循环码也是一种线性分组码。 对 卷积码是一种特殊的线性分组码。 错

1、αi，βj是两个码符号{0,1}组成的符号序列，求αi，βj 之间的汉明距离 解：D(αi，βj)=
2、已知随即变量X和Y的联合分布如下所示：
Y

X

0
1
0
1/8
3/8
1
3/8
1/8
试计算：H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、I（X；Y）
(1) (2)
(3)H（X/Y）= H（XY）-- H（Y）=1.811-1=0.811 (4)H（Y/X）= H（XY）-- H（X）=1.811-1=0.811
(5)
4、在一个袋子里放有5个黑球、10个白球，以摸一个球为一次实验，摸出的球不再放回去。
（1）一次实验包含的不确定度。（2）第一次实验X摸出的是黑球，第二次实验Y给出的不确定度；（3）第一次实验X摸出的是白球，第二次实验Y给出的不确定度；

5、 两个实验X和Y，X＝{x1,x2,x3},Y={y1,y2,y3},联合概率p(xiyj)=pij已经给出。（p11=7/24,p12=1/24,p13=0,p21=1/24,p22=1/4,p23=1/24,p31=0,p32=1/24,p33=7/24）
（1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
（2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
（3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？

6、 黑白传真机的消息源只有黑色和白色两种，即X∈{黑，白}，一般气象图上，黑色的出现概率p(黑)＝0.3，白色出现的概率p(白)＝0.7.
（1）假设黑白消息前后无关，求信源熵H(X)。（2）实际上各个元素之间关联，其转移概率为：P(白/白)＝0.9143，p(黑/白)＝0.0857， P(白/黑)＝0.2，p(黑/黑)＝0.8，求这个一阶马尔可夫信源的信源熵。并画出转移图。（3）比较两种信源熵的大小，并说明理由。
1）bit/符号
P(黑|白)=P(黑)
P(白|白)＝P(白)
P(黑|黑)＝P(黑)
P(白|黑)＝P(白)
（2）根据题意，此一阶马尔可夫链是平稳的（P(白)＝0.7不随时间变化，P(黑)＝0.3不随时
间变化）

＝0.512bit/符号13、设分组码（n,k）中，n=6，n=3，并按下列方程选取字中的码字。
求信息序列(a1a2a3)变换成六位的八个码字，并求出编码效率。
信息序列 码字
(a1a2a3) (c1c2 c3c4c5c6)
000 000000
001 001011
010 010101
100 100110
011 011110
101 101101
110 110011
111 111000 编码效率
2.32 一阶马尔可夫信源的状态图如图2－13所示，信源X的符号集为（0，1，2）。
（1）求信源平稳后的概率分布P(0),P(1),P(2)（2）求此信源的熵（3）近似认为此信源为无记忆时，符号的概率分布为平稳分布。求近似信源的熵H(X)并与进行比较

解:根据香农线图,列出转移概率距阵令状态0,1,2平稳后的概率分布分别为W1,W2,W3
得到 计算得到
由齐次遍历可得

符号 由最大熵定理可知存在极大值
或者也可以通过下面的方法得出存在极大值:

又所以当p=2/3时
0<p<2/3时
2/3<p<1时
所以当p=2/3时存在极大值,且符号 所以
8、 设有一信源，它在开始时以p(a)=0.6,p(b)=0.3,p(c)=0.1的概率发出X1，如果X1为a时则X2为a,b,c的概率为1/3;如果X1为b时则X2为a,b,c的概率为1/3;如果X1为c时则X2为a,b的概率为1/2，而为c的概率是0;而且后面发出Xi的概率只与 Xi-1有关。又p(Xi/ Xi-1)=p(X2/ X1),i≥3。试利用马儿可夫信源的图示法画出状态转移图，并求出状态转移矩阵和信源熵H∞
P(j/i)= 解方程组 得到W1= , W2= , W3=