信息论与编码试卷及答案2.doc

信息论与编码试卷及答案2

篇一：信息论与编码试卷及答案

一、概念简答题（每题5分，共40分）

1.什么是平均自信息量与平均互信息，比拟一下这两个概念的异同？

2.简述最大离散熵定理。关于一个有m个符号的离散信源，其最大熵是多少？

3.解释信息传输率、信道容量、最正确输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

4.关于一个一般的通讯系统，试给出其系统模型框图，并结合此图，解释数据处理定理。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。

6.解释无失真变长信源编码定理。

7.解释有噪信道编码定理。

8.什么是保真度准那么？对二元信源

时率失真函数的和？ ，其失真矩阵，求a0二、综合题（每题10分，共60分）

1.黑白气象图的音讯只有黑色和白色两种，求：

1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白音讯出现前后没有关联，求熵；

2） 假设黑白音讯出现前后有关联，其依赖关系为：，

，求其熵 ； ，

，

2.二元对称信道如图。

；

1）假设，，求和；

2）求该信道的信道容量和最正确输入分布。

曼码，计算其平均码长和编码效率。

，试分别构造二元和三元霍夫

4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准那么与最大似然译码准那么确定译码规那么，并计算相应的平均错误概率。

5.已经明白一（8，5）线性分组码的生成矩阵为。

求：1）输入为全00011和10100时该码的码字；2）最小码距。

6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。试求：

（1）无过失传输需要的最小输入功率是多少？

（2）如今输入信号的最大连续熵是多少？写出对应的输入概率密度函数的方式。

一、 概念简答题（每题5分，共40分）

1.答：平均自信息为

表示信源的平均不确定度，也表示平均每个信源音讯所提供的信息量。 平均互信息

表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通讯前后整个系统不确定性减少的量。

2.答：最大离散熵定理为：离散无经历信源，等概率分布时熵最大。 最大熵值为。

3.答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能到达的最大信息传输率。信息传输率到达信道容量时所对应的输入概率分布称为最正确输入概率分布。

平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。

4.答：通讯系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有

。说明经数据处理后，一般只会增加信息的损失。 ，

5.答：香农公式为

信道容量，其值取决于信噪比和带宽。 ，它是高斯加性白噪声信道在单位时间内的

由得，那么

6.答：只要，当N足够长时，一定存在一种无失真编码。

7.答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规那么，使译码错误概率无穷小。

8.答：1）保真度准那么为：平均失真度不大于同意的失真度。

2）由于失真矩阵中每行都有一个0，因此有，而

二、综合题（每题10分，共60分）

1.答：1）信源模型为

2）由得 那么

2.答：1）

2），最正确输入概率分布为等概率分布。

3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。

平均码长，编码效率

2）三元码的码字依序为：1，00，02，20，21，22，010，011。 。

平均码长，编码效率

4.答：1）最小似然译码准那么下，有，

2）最大错误概率准那么下，有，

5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。 2）

6.答：1）无错传输时，有 即那么

2）在时，最大熵 对应的输入概率密度函数为

篇二：信息论与编码期末题(全套)

（一）

7、某二元信源

一、推断题共 10 小题，总分值 20 分.

1. 当随机变量X和Y互相独立时，条件熵H(X|Y)等于信源熵H(X). （ ）

2. 由于构成同一空间的基底不是唯一的，因此不同的基

1??X??0

?P(X)???1/21/2?，其失真矩阵????

?0a?

，那么该信源的Dmax= D????a0?

三、此题共 4 小题，总分值 50 分.

1、某信源发送端有2种符号xi(i?1,2),p(x1)?a；接收端

底或生成矩阵有可能生成同一码集.符号 y( j ? 1 ,2) ，转移概率矩阵为 有3 种,3（） 3.一般情况下，用变长编码得到的平均码长比定长编码大得多. （ ）

4. 只要信息传输率大于信道容量，总存在一种信道编译码，能够以所要求的任意小的误差概率实现可靠的通

信

（ ） 5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件. （ ） 6. 连续信源和离散信源的熵都具有非负性. （ ）

7. 信源的音讯通过信道传输后的误差或失真越大，信宿收到音讯后对信源存在的不确定性就越小，获得的信息量就越小. 8. 汉明码是一种线性分组码. （ ） 9. 率失真函数的最小值是0

. （ ）

10.必定事件和不可能事件的自信息量都是0. （ ）

二、填空题共 6 小题，总分值 20 分.

1

、

码

的

检

、

纠

错

能

力

取

决

于 .

2、信源编码的目的是的目的是 .

3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做 .

4、香农信息论中的三大极限定理

是、、. 5、设信道的输入与输出随机序列分别为X和Y，那么

I(XN,YN)?NI(X,Y)成立的

条件

6、关于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法唯一的是 .

iP???1/21/20?

?1/21/41/4?. ?

（1） 计算接收端的平均不确

定度H(Y)； （2） 计算由于噪声产生的不

确定度H(Y|X)； （3） 计算信道容量以及最正确入口分布. 2、一阶马尔可夫信源的状态转移

图2-13

图如右图所示， 信源X的符号集为{0,1,2}. （1）求信源平稳后的概率分布；

（2）求此信源的熵；

（ 3 ）近似地认为此信源为无经历时，符号的概率分布为 平 X )

稳分布.求近似信源的熵H(并与H?进展比拟.

4 、设二 元( 7 , 4 ) 线

性分组码的生成矩阵为??1101000?G??

0110100???1110010??

. ?1010001?

?

（1）给出该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式；

（2）假设接收矢量v?(0001011

)，试计算出其对应的伴随式S并按照最小间隔译码准那么

试着对其译码. （二）

一、填空题（共15分，每空1分）

1、信源编码的主要目的是 ，信道编码的主要目的是 。

2、信源的剩余度主要来自两个方面，一是 ，二

是。 XY

3、三进制信源的最小熵为 ，最大熵为。 4、无失真信源编码的平均码长最小理论极限制为 。

5、当时，信源与信道到达匹配。 6、按照信道特性是否随时间变化，信道能够分为

和 。

7、按照是否同意失真，信源编码可分为

和 。

8、假设连续信源输出信号的平均功率为?2，那么输出信号幅度

的概率密度是 时，信源具有最大熵，其值为值 。 9、在下面空格中选择填入数学符号“?,?,?,?”或“?”

（1）当X和Y互相独立时，H（XY）H(X)+H(X/Y) H(Y)+H(X)。

（2）H??H?X1X2?

H?X1X2X3?2?X2H3?X??3

（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0,

H(Y/X) 0,I(X;Y)H(X)。

三、（16分）已经明白信源

??S??s1s2s3s4s5s6??P?????0.20.20.20.20.10.1??

（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L;（4分）

（3）计算编码信息率R?;（2分）

（4）计算编码后信息传输率R;（2分） （5）计算编码效率?。（2分）

四、（10分）某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。假设符号的码元宽度为0.5?s。计算： （1）信息传输速率Rt。（5分）

五、(16分)一个一阶马尔可夫信源，转移概率为

P?S|S23|S1

11??,P?S21??3

,P?S1|S2??1,P?S2|S2??0。

(1) 画出状态转移图。(4分)

(2) 计算稳态概率。(4分)

(3) 计算马尔可夫信源的极限熵。(4分)

(4) 计算稳态下H1,H2及其对应的剩余度。(4分) 六、设有扰信道的传输情况分别如以下图。试求这种信道的信道容量。

七、(16分)设X、Y是两个互相独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算 (1) H?X?,H?Z?;

(2) H?XY?,H?XZ?;

(3) H?X|Y?,H?Z|X?;

(4) I?X;Y?,I?X;Z?;

八、(10分)设离散无经历信源的概率空间为

??X????x1x2?

P?0.80.2?，通过干扰信道，信道输出端的接收符号????

集为Y??y1,y

2?，信道传输概率如以以下图所示。

x1

y1

x2

y2

(1) 计算信源X中事件x1包含的自信息量； (2) 计算信源X的信息熵； (3) 计算信道疑义度H?X|Y?； (4) 计算噪声熵H?Y|X

(5) 计算收到音讯Y后获得的平均互信息量。

《信息论根底》2参考

一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。

3、三进制信源的最小熵为0，最大熵为log3

2 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= Hr(S)）。

5、当R=C或（信道剩余度为0）时，信源与信道到达匹配。 6、按照信道特性是否随时间变化，信道能够分为恒参信道和随参信道。 7、按照是否同意失真，信源编码可分为无失真信源编码和限失真信源编码。

8、假设连续信源输出信号的平均功率为?2

，那么输出信号幅度2的概率密度是高斯分布或正态分布或f?

x??

2??x时，

信源具有最大熵，其值为值1

log2?e?22

。

9、在下面空格中选择填入数学符号“?,?,?,?”或“?” （1）当X和Y互相独立时，H（XY）=H(X)+H(X/Y)=H(Y)+H(X)。

（2）HH?X1X2?

H?X1X2X3?2?X??2?H3?X??

3

（3）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y) 0, H(Y/X)=0,I(X;Y)lt;H(X)。 三、（16分）已经明白信源

??S??????s1s2s3s4s5s6?

P??0.20.20.20.20.10.1??

（1）用霍夫曼编码法编成二进制变长码；（6分） （2）计算平均码长L;（4分）

（3）计算编码信息率R?;（2分）

（4）计算编码后信息传输率R;（2分） （5）计算编码效率?。（2分）

（1）

S0

S6

1

编码结果为：

S1?00S2?01S3?100S4?101 S5?110S6?111

6

i?1

（4）R?

H?S?

?

（5）

H?S??S?logr

?

评分：其他正确的编码方案：1，要求为即时码 2，平均码长

最短 四、（10分）某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。假设符号的码元宽度为0.5?s。计算： （1）信息传输速率Rt。（5分）

（1）R1

t?t??

H?X??H?X?

??

H?X???

18log18?4?112log2?1log8?1

log2 22

?31

2log2?2log2?2log2?2bitR?2bitt?s

五、(16分)一个一阶马尔可夫信源，转移概率为

P?S21

1|S1??3,P?S2|S1??3

,P?S1|S2??1,P?S2|S2??0。

(1) 画出状态转移图。(4分)

(2) 计算稳态概率。(4分)

(3) 计算马尔可夫信源的极限熵。(4分)

(4) 计算稳态下H1,H2及其对应的剩余度。(4分) 解：(1)

1

(2)由公式P?Si???2

P?Si

|Sj

?P?Sj

?

j?1

有

?

2

?P?S1??PS|SPS?2P?S1??P?S2?

??1i??i??i?13?2

?

P?

?S1

2???P?S2|Si?P?Si??P?S1? i?13??P?S1??P?S2??1?

?

P?S??3得??1?4

???P?S12

??4

(3)该马尔可夫信源的极限熵为：

22

H?????P?Si?P?Sj|Si?logP?Sj|Si?

i?1j?1

??34?23?log2311

3?4?3?log

3?1

2?0.578?1

4?1.599?0.681bit符号?0.472nat符号?0.205hart(4)在稳态下：

2

???P?x?3

311i?logP?xi???i?1

对应的剩余度为

0???1?2log??1?1?1??

?2???2log??2????

?2?1?

H20.681H?1??0.319 0???1?1?2log???2???1?1??

2log??2????

六、设有扰信道的传输情况分别如以下图。试求这种信道的信道容量。

X

Y

解：信道传输矩阵如下

??1

1?2200???011?P220??Y|X

????1??001 ?22???11??2

2??

能够看出这是一个对称信道，L=4,那么信道容量为

C?log4?H??11?

?2,2,0,0?

?

L

?logL??p?yj|xi?logp?yj|xi?

j?1

?log4?2?11

2log

2

?1bit

七、(16分)设X、Y是两个互相独立的二元随机变量，其取0或1的概率相等。定义另一个二元随机变量Z=XY(一般乘积)。试计算 (1) H?X?,H?Z?; (2) H?XY?,H?XZ?; (3) H?X|Y?,H?Z|X?; (4) I?X;Y?,I?X;Z?;

H?X??H??1?2,1?

2???1bit

H(2)?H??3?4,1?

4??

(2) H?XY??H?X??H?Y??1?1?2bit对

H?XZ??H?X??H?Z|X??1?11?12H?1,0??1?

2H??2,2??

(3) H?X|Y??H?X??1bit

H?Z|X??

112H?1,0??2H??11?

?2,2??

八、(10分)设离散无经历信源的概率空间为

??X??x1x2?

?P?????0.80.2?，通过干扰信道，信道输出端的接收符号?

集为Y??y1,y2?，信道传输概率如以以下图所示。

x1

y1

x2

y2

(6) 计算信源X中事件x1包含的自信息量； (7) 计算信源X的信息熵； (8) 计算信道疑义度H?X|Y?； (9) 计算噪声熵H?Y|X?；

(10) 计算收到音讯Y后获得的平均互信息量。

解：

(1) I?x1???log0.8?0.322bit?0.0969hart?0.223nat (2) H?X??H?0.8,0.2??0.722bit?0.5nat?0.217hart符号 (3)

H?XY??H??2?3,215,320,1?

20?

(4)

(5)

(三)

一、 选择题（共10分，每题2分）

1、有一离散无经历信源X，其概率空间为

??X??x1

x2x3x4??P?????0.50.250.1250.125?，那么其无经历二?次扩展信源的熵H(X2)=( ) A、1.75比特/符号； B、3.5比特/符号； C、9比特/符号； D、18比特/符号。 2、信道转移矩阵为

??P(1y/1

x)2

P(

1

y/x)0

??00P3

y(/?2x4P)2y(x??0

0P?

50y3x??

其中P(yj/xi)两两不相等，那么该信道为

3、A、一一对应的无噪信道

B、具有并归功能的无噪信道 C、对称信道

D、具有扩展功能的无噪信道

3、设信道容量为C，以下说法正确的选项：（）

A、互信息量一定不大于C B、交互熵一定不小于C

C、有效信息量一定不大于C D、条件熵一定不大于C

4、在串联络统中，有效信息量的值（）

A、趋于变大 B、趋于变小 C、不变 D、不确定

5、假设BSC信道的过失率为P，那么其信道容量为：（） A、

H?p?

p

log?1?p

?2??1?B、

?p??p?

??

篇三：信息论与编码试卷及答案

一、（11’）填空题

（1） 1948年，美国数学家 香农发表了题为“通讯的数学理论”的长篇，从而创

立了信息论。 （2） 必定事件的自信息是 0 。 （3） 离散平稳无经历信源X的N次扩展信源的熵等于离散信源X的熵的 N倍 。（4） 关于离散无经历信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5） 假设一离散无经历信源的信源熵H（X）等于2.5，对信源进展等长的无失真二进制编码，

那么编码长度至少为 3。

（6） 关于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是 香农编码。 （7） 已经明白某线性分组码的最小汉明间隔为3，那么这组码最多能检测出_2_______个码元错误，

最多能纠正___1__个码元错误。

（8） 设有一离散无经历平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大

于、小于或者等于），那么存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。

（9） 平均错误概率不仅与信道本身的统计特性有关，还与___译码规那么____________和___编码方

法___有关

三、（5?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，

而女孩中身高1.6米以上的占总数的一半。

假设我们得知“身高1.6米以上的某女孩是大学生”的音讯，征询获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，那么 P(A)0.25 p(B)=0.5 p(B|A)=0.75（2分）

故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375（2分）I(A|B)=-log0.375=1.42bit （1分）

四、（5?）证明：平均互信息量同信息熵之间满足

I(X;Y)=H(X)+H(Y)-H(XY) 证明：

I?X;Y????p?xiyj?log

X

Y

pxiyjpxi??

??

??

????p?xiyj?logp?xi??????p?xiyj?logpxiyj?（2分）

XY?XY??H?X??H?XY?

同理

I?X;Y??H?Y??HYX （1分） 那么

HYX?H?Y??I?X;Y? 由于

H?XY??H?X??HYX （1分） 故

??

??

??

H?XY??H?X??H?Y??I?X;Y?

即

I?X;Y??H?X??H?Y??H?XY? （1分）

五、（18’）.黑白气象图的音讯只有黑色和白色两种，求：

1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白音讯出现前后没有关联，求熵H?X?； 2） 假设黑白音讯出现前后有关联，其依赖

关系

为

，

，求其熵H??X?。

，

，

3）分别求上述两种信源的冗余度，比拟它们的大小并说明其物理意义。 解：1）信源模型为 （

1

分）

2）由题意可知该信源为一阶马尔科夫信源。 （2分） 由

（4分）

得极限状态概率

（2分）

（3分）

3）

?1?1?

H(X)

?0.119log22 （1分） H?(X)

?0.447log22（1分）

?2?1?

?2??1。说明：当信源的符号之间有依赖时，信源输出音讯的不确定性减弱。而信源冗余度正是反

映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）

六、（18’）.信源空间为

x2x3x4x5x6x7?X??x1

?P(X)???0.20.190.180.170.150.10.01???

曼码，计算其平均码长和编码效率（要求有编码过程）。

?

?，试分别构造二元香农码和二元霍夫?

i?1

7

R?

?

p(x1)??

?1/21/31/6?????七（6’）.设有一离散信道，其信道传递矩阵为?1/61/21/3?，并设?p(x2)?

???1/31/61/2???p(x)?

3

??

1）（3分最小似然译码准那么下，有， 2）（3分）最大后验概率准那么下，有，

1

41

，试分别按214

最大后验概率准那么与最大似然译码准那么确定译码规那么，并计算相应的平均错误概率。

八（10?）.二元对称信道如图。

1）假设p?0??

31

，p?1??，求H?X?、H?X|Y?和I?X;Y?；

44

2）求该信道的信道容量。

解：1）共6分

2），（3分）如今输入概率分布为等概率分布。（1分）

?000111?

?

011001九、（18?）设一线性分组码具有一致监视矩阵H??????101011??

1）求此分组码n=?,k=?共有多少码字？ 2）求此分组码的生成矩阵G。

3）写出此分组码的所有码字。

4）假设接收到码字（101001），求出伴随式并给出翻译结果。

解：1）n=6,k=3,共有8个码字。（3分）