1、《信息论基础》答案
一、填空题（共15分，每空1分)
１、若一连续消息通过某放大器，该放大器输出得最大瞬时电压为b,最小瞬时电压为a.若消息从放大器中输出，则该信源得绝对熵就是 无穷大 ;其能在每个自由度熵得最大熵就是 。
2、高斯白噪声信道就是指 信道噪声服从正态分布,且功率谱为常数 。
3、若连续信源得平均功率为５ W，则最大熵为,达到最大值得条件就是 高斯信道 。
４、离散信源存在剩余度得原因就是 信源有记忆（或输出符号之间存在相关性) 与 不等概 .
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
6、离散无记忆信源
2、在进行无失真变长信源编码时,码字长度就是变化得。根据信源符号得统计特性,对概率大得符号用 短 码,对概率小得符号用 长 码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源得最小熵为 ０ ，最大熵为 。
８、一个事件发生概率为0、125，则自信息量为 。
9、在下面空格中选择填入数字符号“”或“〈”
=
二、判断题（正确打√,错误打×）（共5分,每小题1分）
1) 离散无记忆等概信源得剩余度为0。 （ √ ）
2) 离散无记忆信源N次扩展源得熵就是原信息熵得N倍
3、 （ √ ）
3) 互信息可正、可负、可为零。 （ √ ）
4) 信源得真正功率永远不会大于熵功率,即 （ × ）
5) 信道容量与信源输出符号得概率分布有关。 ( × )
三、（５分）已知信源得概率密度函数如下图所示,求信源得相对熵
四、（15分)设一个离散无记忆信源得概率空间为
它们通过干扰信道,信道输出端得接收信号集为,已知信道出书概率如下图所示。
试计算：
（
4、1） 信源中事件得自信息量；（3分)
（2） 信源得信息熵；（３分)
（3） 共熵;(3分）
（4） 噪声熵;（3分）
（5） 收到信息后获得得关于信源得平均信息量。（３分)
(1）
(2)
（3)
(４）
（5)
五、（10分）一个平均功率受限得连续信道，信道带宽为10ＭHｚ，信道噪声为高斯白噪声。ﻫ (１)已知信道上得信号与噪声得平均功率比值为6３，计算该信道得信道蓉量.
（2)如果信道带宽降为２MHz，要达到相同得信道容量,信道上得信号与噪声得平均功率比值应为多少？
（1)
（2）
六、（10分)已知信源共7个符号信息，其概率空间为
（1） 试用霍
5、夫曼编码法编成二进制变长码。（7分)
（2） 计算信源熵,平均码长与编码效率。（9分)
（1）
(７分）
（2）
分）
（3分）
七、（１0分)设给定两随机变量与,它们得联合概率密度为
求随机变量得概率密度函数，并计算变量得熵。
已知得
6、 （2分)
则 （２分）
所以与独立，所以y为高斯分布
因为
所以 （２分)
所以 （２分）
所以 (2)
八、(10分）设某信道得传递矩阵为
计算该信道得信道容量,并说明达到信道容量得最佳输入概率分布。
解:s=４
(2分)
(2分)
最佳概率分布当输入概率 （2分)
九、(1４分）设有一个马尔可夫信源,如果为时，为、、得概率为1／3;如果为时,为、、得概率为１/3；如果为时,为、得概率为1/2。而且后面发得概率只与有关，又。
（1)写出转移概率矩阵
(2）计算达到稳定后状态得极限概率.
(3)该马尔可夫信源得极限熵
解 （1）
(4分)
(２） （3分)
（３）
浙ICP备2021020529号-1 | 浙B2-20240490 
