信息论基础与编码课后题答案(第三章).doc

3-1 设有一离散无记忆信源，其概率空间为，信源发出符号通过一干扰信道，接收符号为，信道传递矩阵为，求：
（1） 信源中事件和分别含有的自信息量；
（2） 收到消息（j＝1，2）后，获得的关于（i＝1，2）的信息量；
（3） 信源和信宿的信息熵；
（4） 信道疑义度和噪声熵；
（5） 接收到消息后获得的平均互信息量。
解：（1）
（2），，，
（3）

（4）

（5）
3-2 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。
证明：信道传输矩阵为：
，信源信宿概率分布为：，
H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）
3-3 已知信源包含两种消息：，且，信道是有扰的，信宿收到的消息集合包含。给定信道矩阵为：，求平均互信息。
解：I(X;Y)=H(X)+H(Y)-H(XY)
H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。
3-4 设二元对称信道的传递矩阵为：，
（1） 若P(0)=，P(1)=，求，，和；
（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。
解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X；Y)=0.06（bit/符号）；
（2）C＝0.082（bit/符号），最佳输入分布为：
3-5 求下列两个信道的信道容量，并加以比较：
（1） （2）
其中。
解：（1）
（2）
两者的信道容量比较：
3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。并求当和时的信道容量C。

题图 3-6
解：由图知信道转移矩阵为：
，此信道非对称信道，也非准对称信道，不能利用其公式计算。此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵，又r＝s，则可利用方程组求解：
，所以

解得：，，所以
，
，，，
根据，得最佳输入分布为：
，，
当＝0时，此信道为一一对应信道，
；
当＝0.5时，。
3-7 有一个二元对称信道，其信道矩阵为。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？
解：信道容量：C＝0.859（bit/符号），，10秒内最大信息传输能力＝12880 bits，消息序列含有信息量＝14000 bits，
12880<14000，所以10秒内不能将这消息序列无失真地传送完。
3-8 有一离散信道，其信道转移概率如题图3-8所示，试求：
（1） 信道容量C；
（2） 若＝0，求信道容量。

题图 3-8
解：（1）
（2）若，则
3-9 设离散信道矩阵为：
，
求信道容量C。
解：C＝0.041（bit/符号）。
3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。试求：

题图 3-10
（1） 信道容量；
（2） 若将两个同样信道串接，求串接后的转移概率；
（3） 求串接后信道的信道容量。
答案：（1）此信道转移概率矩阵，信道容量＝0.0487 bit/符号；
（2）串接后的转移概率矩阵；
（3）串接后信道的信道容量＝0.0033 bit/符号。
3-11 设有一离散级联信道如题图3-11所示。试求：

题图 3-11
（1）与间的信道容量；
（2） 与间的信道容量；
（3）与间的信道容量及其输入分布。
答案：（1）
（2）＝0.75 （bit/符号）
（3）X、Z间信道转移概率矩阵为

它是准对称信道，当输入等概率分布时达到信道容量。＝{0.5,0.5}

3-12 若有两个串接的离散信道，它们的信道矩阵都是：
，
并设第一个信道的输入符号是等概率分布，求和并加以比较。
解：串接后信道矩阵为

， 比特/符号
， 比特/符号
可见，
3-13 若，，是三个随机变量，试证明：
（1） ；
（2） ；
（3） ,当且仅当（）是马氏链时等式成立。
3-14 若三个离散随机变量有如下关系：，其中和相互独立，试证明：
（1） ；
（2） ；
（3） ；
（4） ；
（5） 。
3-15 把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概率为。并证明：，设，信道的串接如题图3-15所示。

题图 3-15
证明：当＝1时，，当＝2时，
，错误传递概率为：。当考虑三个二元对称信道串接，得

用数学归纳法可证明：

3-16 有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在和之间。此信源连至某信道，信道接收端接收脉冲的幅度处在和之间。已知随机变量和的联合概率密度函数

试计算，，和。
答案：，
，，
。X与Y统计独立。
3-17 设某连续信道，其特性如下：

而信道输入变量的概率密度函数为：

试计算：（1）信源的熵；（2）平均互信息。
答案：（1）X是正态分布的，均值为零，方差为。

（2）
=0.208 比特
3-18 设加性高斯白噪声信道中，信道带宽为3 kHz，又设{（信号功率＋噪声功率）/噪声功率}＝10 dB。
（1） 试计算该信道传送的最大信息率（单位时间）；
（2） 若功率信噪比降为5 dB，要达到相同的最大信息传输率，信道带宽应是多少？
解： （1）
，即：，又已知信道带宽为3KHz，由香农公式得：
，此即为信道传送的最大信息率。
（2）若，即，此时要达到相同的最大信息传输率，设带宽为，由香农公式得：，
计算得：。
3-19 设电话信号的信息率为56 kbit/s，在一个噪声功率谱为、限频F、限输入功率P的高斯信道中传送，若F＝4 kHz，问无差错传输所需的最小功率P是多少W？若，则P是多少W？
解：（1）
（2）
3-20 在图片传输中，每帧约有个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30 dB）。
解：比特/秒
，Hz