信息论基础-答案2.doc

《信息论基础》答案
一、填空题（共15分，每空1分)
１、若一连续消息通过某放大器，该放大器输出得最大瞬时电压为b,最小瞬时电压为a.若消息从放大器中输出，则该信源得绝对熵就是 　无穷大 ;其能在每个自由度熵得最大熵就是 。
2、高斯白噪声信道就是指 信道噪声服从正态分布,且功率谱为常数　 　。
3、若连续信源得平均功率为５　W，则最大熵为,达到最大值得条件就是　 高斯信道 。
４、离散信源存在剩余度得原因就是　 信源有记忆（或输出符号之间存在相关性)　 与 不等概　 .
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 　1 。
6、离散无记忆信源在进行无失真变长信源编码时,码字长度就是变化得。根据信源符号得统计特性,对概率大得符号用 　短 　码,对概率小得符号用 长　 码，这样平均码长就可以降低，从而提高编码效率。
7、八进制信源得最小熵为 ０　 ，最大熵为　。
８、一个事件发生概率为0、125，则自信息量为 。
9、在下面空格中选择填入数字符号“”或“〈”
　 =
二、判断题（正确打√,错误打×）（共5分,每小题1分）
1) 离散无记忆等概信源得剩余度为0。 　 　 　　　 　　 　　 　 　 　 　（ √　）
2) 离散无记忆信源N次扩展源得熵就是原信息熵得N倍 　 　 　 （ √ ）
3) 互信息可正、可负、可为零。 　 　 　 　 　 　 　　 　 　 　 （ √ ）
4) 信源得真正功率永远不会大于熵功率,即 　 　 　　　 　　 （　× ）
5) 信道容量与信源输出符号得概率分布有关。 　 　　 　 　 　 ( × )
三、（５分）已知信源得概率密度函数如下图所示,求信源得相对熵

四、（15分)设一个离散无记忆信源得概率空间为

它们通过干扰信道,信道输出端得接收信号集为,已知信道出书概率如下图所示。

试计算：
（1） 信源中事件得自信息量；（3分)
（2） 信源得信息熵；（３分)
（3） 共熵;(3分）
（4） 噪声熵;（3分）
（5） 收到信息后获得得关于信源得平均信息量。（３分)
(1）
(2)
（3)
(４）
（5)
五、（10分）一个平均功率受限得连续信道，信道带宽为10ＭHｚ，信道噪声为高斯白噪声。ﻫ (１)已知信道上得信号与噪声得平均功率比值为6３，计算该信道得信道蓉量.
　（2)如果信道带宽降为２MHz，要达到相同得信道容量,信道上得信号与噪声得平均功率比值应为多少？

（1)
（2）
六、（10分)已知信源共7个符号信息，其概率空间为

（1） 试用霍夫曼编码法编成二进制变长码。（7分)
（2） 计算信源熵,平均码长与编码效率。（9分)
（1）
(７分）
（2）
分）

　 　 　　 　 　 　 　 　　　 　 　 　 （3分）
七、（１0分)设给定两随机变量与,它们得联合概率密度为

求随机变量得概率密度函数，并计算变量得熵。
已知得

　 　　 　 　 　　 （2分)
则 　 　 　 　 　　 　（２分）
所以与独立，所以y为高斯分布
因为 　
所以 　 　　 　　 　　（２分)
所以　　 　　　　 　 （２分）
所以 　 　(2)
八、(10分）设某信道得传递矩阵为

计算该信道得信道容量,并说明达到信道容量得最佳输入概率分布。
解:s=４
　 　 　 　 (2分)
　 　 　 　 　 　 　 　 　 　　　　　 (2分)
最佳概率分布当输入概率　 　 　 　 　 　 （2分)
九、(1４分）设有一个马尔可夫信源,如果为时，为、、得概率为1／3;如果为时,为、、得概率为１/3；如果为时,为、得概率为1/2。而且后面发得概率只与有关，又。
（1)写出转移概率矩阵
(2）计算达到稳定后状态得极限概率.
(3)该马尔可夫信源得极限熵
解 （1）
　 　 (4分)
(２） 　 　 （3分)
（３）