2023年信息论与编码试卷F.doc

一 填空题（本题15空 ,每空1分,共15分 ）
1 联合熵H(X,Y)的定义为（ ），表达的是联合事件的（ 平均不拟定性 ），它与H(X)和H(Y)之间的大小关系是（ H(X,Y)≤H(X)+H(Y) ），等号在（ X与Y记录独立 ）时成立。
2 设有一离散无记忆信源X，其概率空间为，则该信源熵=（ 1.5 ）比特/符号；若将该信源进行二次扩展，即形成新的符号系列{a1a1,a1a2,a1a3,a2a1,a2a2,a2a3,a3a1,a3a2,a3a3}，则二次扩展信源熵=（ 3 ）比特/符号序列。两者的关系为（二次扩展信源熵=2×原始信源熵）。
3 无失真信源编码的规定重要有2个：（精确地复现信源的输出）和（保证信源的所有信息无损的送给信宿）。
4 最小码距dmin是衡量一种码的检、纠错能力的重要参数，最小码距越（ 大 ），其纠、检错能力越（ 强 ），具体描述为（检错能力+纠错能力
1．×
2．√
3．×
4．√
5．×
6．×
7．√
8．×
9．×
10．√
（1） 条件熵总是小于无条件熵。 （ ）
（2） 噪声均化就是让差错随机化，可通过卷积的方法使噪声分摊到码字序列上，而不是一个码字上，从而使噪声均化。 （ ）
（3） 当信道固定期，平均互信息是信源分布的∪型凸函数。 （ ）
（4） 线性分组码的最小码距等于非零码字的最小码重。 （ ）
（5） 对于任一信源X，其信源熵H(X)〉0。 （ ）
（6） 率失真函数R(D)的定义域为[0，H（X）]。 （ ）
（7 哈夫曼编码是用概率匹配方法进行的信源编码方法。 （ ）
（8） 事件xi和事件yj之间的互信息量具有非负性，并且具有对称性。 （ ）
（9） 条件熵H（X|Y）可以衡量信号通过信道后损失信息量的多少；H（Y|X）表达收到所有输出符号后，对信道输入符号集尚存在的平均不拟定性。 （ ）
（10） 设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接受码字为0010011时，接受码字中有错。 （ ）
三 名词解释（本题4小题,每小题5分,共20分）
1 对称DMC信道
DMC信道中，信道的转移概率矩阵P的每行都是第一行的置换，每列都是第一列的置换，即输入和输出都是对称的，称为对称DMC信道。
2 延长码
又称非即时码，接受端收到一个完整的码字后，不能立即译码，还需要等下一个码字开始接受后才干判断是否可以译码，这种码称为延长码。
3 信息率失真函数
当p(xi)一定期，互信息I(X;Y)是关于p(yj/xi)的∪型凸函数，存在极小值，这个极小值被定义为信息率失真函数。
4 前向纠错FEC
发送端发送能纠正错误的编码，在接受端根据接受到的码和编码规则，能自动纠正传输中的错误。

四 计算题（本题3小题,共25分）
1 设以8000样值/s的速率抽样一语音信号，并以M=256级队抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间互相记录独立，求：
1）每抽样的信息熵；
2）信源的信息输出率。 (3+3=6分)
解：1）因256级量化值概率相等，且抽样间互相记录独立，则

2）信源的信息输出率为：
R=rH(X)=8000*8=6.4*104bps
2 某六进信源进行二进编码如下表：
符号
概率
C1
C2
C3
a1
1/2
0
1
01
a2
1/4
10
000
001
a3
1/16
1100
001
100
a4
1/16
1110
010
101
a5
1/16
1011
110
110
a6
1/16
1101
101
011
请问：C1、C2和C3码中，那些是唯一可译码？请写出判断方法。（9分）
答：C1：不满足克劳夫特不等式，所以肯定不是唯一可译码；
C2、C3是唯一可译码；
判断方法：看码的后缀分解集不包含码字，则该码为唯一可译码。

3 一个系统线性分组码的码字由下式拟定：
a=(a1,a2,a3,a4,a1+a2+a3+a4,a1+a3,a1+a2,a1+a4)，求：1）n，k以及生成矩阵G；2）监督矩阵H；3）该分组码的最小距离dmin。（4+3+3=10分）
解：1）n=8,k=4 （2分）
生成矩阵G= （2分）
2)监督矩阵H= （3分）
3）所有码字为00000000，00011001，00101100，00110101，01001010，01010111，01100110，01111111，10001111，10010110，10100011，10111000，11000101，11011010，11101001，11110000
∴3 （3分）

五 综合题（本题3小题,共30分）
1 设二维随机变量（X，Y）的联合概率分布为：

P(xy)
X
0
1
Y
0
1/6
1/6
1
1/3
1/3
求：的值。 （12分）
解：H(XY)==2×()=1.924bit/符号 （2分）
H(Y)==2×()=1 bit/符号 （2分）
H(X)===0.924 bit/符号 （2分）

H(X/Y)=H(XY)-H(Y)=1.924-1=0.924bit/fuhao （2分）
H(Y/X)=H(XY)-H(X)=1.924-0.924=1.0bit/fuhao （2分）

I(X;Y)=H(X)-H(X/Y)=0.924-0.924=0bit/fuhao （2分）

2 一个（2，1，4）卷积码，g①=(11101)，g②=(10011)，试：
1）画出此编码器的框图；
2）写出该码的生成多项式；
3）求该码的生成矩阵；
4）当输入信息序列u=(11010)时，求相应的码输出序列。 （2+2+2+2=8分）
解：1）

（2分）
2）生成多项式：
（2分）
3）生成矩阵：G= （2分）
4）输入为u=(11010)，输出码字c=(010010) （2分）

3 设二阶马尔可夫信源状态转移图如下，
0:0.8

1:0.2 0:0.5

0:0.5

1:0.5
1:0.5 0:0.2

1:0.8
图中可得出信源的转移矩阵为，试：
1） 求该马氏信源的稳态分布概率Wi(i=1,2,3,4)；

2） 该信源的极限熵H∞。 （5+5=10分）

解：1）设稳态分布，其中，
根据，可得稳态概率为：

2）从而求得信源熵

袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇羅膃蚈螂羁膂莈蚅袇膁蒀袀螃膀薂蚃肂腿节衿羈腿莄蚂袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇羅膃蚈螂羁膂莈蚅袇膁蒀袀螃膀薂蚃肂腿节衿羈腿莄蚂袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇羅膃蚈螂羁膂莈蚅袇膁蒀袀螃膀薂蚃肂腿节衿羈腿莄蚂袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇羅膃蚈螂羁膂莈蚅袇膁蒀袀螃膀薂蚃肂腿节衿羈腿莄蚂袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇羅膃蚈螂羁膂莈蚅袇膁蒀袀螃膀薂蚃肂腿节衿羈腿莄蚂袄芈蒇袇螀芇蕿蚀聿芆艿蒃肅芅蒁螈羁芄薃薁袆芃芃螆螂芃莅蕿肁节蒈螅羇莁薀薈袃莀艿螃蝿荿莂薆膈莈薄袁肄莇蚆蚄羀莇莆袀袆羃蒈蚂螂羂薁袈肀肁芀蚁羆肁莃袆袂肀薅虿袈聿蚇蒂膇肈莇螇肃肇葿薀罿肆薂螆袅肅芁薈螁膅莃螄聿膄蒆薇袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈
芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈葿螈聿蒄葿袁羁莀蒈羃膇芆蒇蚃羀膂蒆螅膅蒁薅袇羈莇薄罿膄芃薃虿羆艿薃袁节膅薂羄肅蒃薁蚃芀荿薀螆肃芅蕿袈芈膁蚈羀肁蒀蚇蚀袄莆蚇螂肀莂蚆羅袂芈蚅蚄膈膄蚄螇羁蒂蚃衿膆莈蚂羁罿芄螁蚁膄膀螁螃羇葿螀袅膃蒅蝿肈羆莁螈螇芁芇莄袀肄膃莄羂艿蒂莃蚂肂莈蒂螄芈芄蒁袆肀膀蒀罿袃薈