信息论基础与编码课后题答案(第三章).doc

3-1 设有一离散无记忆信源，其概率空间为，信源发出符号通过一干扰信道，接收符号为，信道传递矩阵为，求：（1） 信源中事件和分别含有的自信息量；（2） 收到消息（j1，2）后，获得的关于（i1，2）的信息量；（3） 信源和信宿的信息熵；（4） 信道疑义度和噪声熵；（5） 接收到消息后获得的平均互信息量。解：（1）（2），（3）（4）（5）3-2 设有扰离散信道的输入端是以等概率出现的A、B、C、D四个字母。该信道的正确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。证明：信道传输矩阵为：，信源信宿概率分布为：，H(Y/X)=1.79（bit/符号），I(X;Y)=H(Y)- H(Y/X)=2-1.79=0.21（bit/符号）3-3 已知信源包含两种消息：，且，信道是有扰的，信宿收到的消息集合包含。给定信道矩阵为：，求平均互信息。解：I(X;Y)=H(X)+H(Y)-H(XY)H(X)=1 bit/符号,H(Y)=0.93 bit/符号,H(XY)=1.34 bit/符号, I(X;Y)=0.59 bit/符号。3-4 设二元对称信道的传递矩阵为：，（1） 若P(0)=，P(1)=，求，和；（2） 求该信道的信道容量及其达到信道容量时的输入概率分布。解：（1）H(X)=0.811（bit/符号），H(XY)=1.73（bit/符号），H(Y)=0.98（bit/符号），H(X/Y)=0.75（bit/符号），H(Y/X)=0.92（bit/符号），I(X；Y)=0.06（bit/符号）；（2）C0.082（bit/符号），最佳输入分布为：3-5 求下列两个信道的信道容量，并加以比较：（1） （2） 其中。解：（1）（2）两者的信道容量比较：3-6 求题图3-6中信道的信道容量及最佳的输入概率分布。并求当和时的信道容量C。题图 3-6解：由图知信道转移矩阵为：，此信道非对称信道，也非准对称信道，不能利用其公式计算。此信道也不能采用先假设一种输入分布，利用信道容量解的充要性来计算。但此信道矩阵是非奇异矩阵，又rs，则可利用方程组求解：，所以解得：，所以，根据，得最佳输入分布为：，当0时，此信道为一一对应信道，；当0.5时，。3-7 有一个二元对称信道，其信道矩阵为。设该信道以1500个二元符号每秒的速率传输输入符号。现有一消息序列共有14000个二元符号，并设在这个消息中，。问从信息传输的角度来考虑，10秒内能否将这消息序列无失真地传送完？解：信道容量：C0.859（bit/符号），10秒内最大信息传输能力12880 bits，消息序列含有信息量14000 bits，1288014000，所以10秒内不能将这消息序列无失真地传送完。3-8 有一离散信道，其信道转移概率如题图3-8所示，试求：（1） 信道容量C；（2） 若0，求信道容量。题图 3-8解：（1）（2）若，则3-9 设离散信道矩阵为：，求信道容量C。解：C0.041（bit/符号）。3-10 若有一离散非对称信道，其信道转移概率如题图3-10所示。试求：题图 3-10（1） 信道容量；（2） 若将两个同样信道串接，求串接后的转移概率；（3） 求串接后信道的信道容量。答案：（1）此信道转移概率矩阵，信道容量0.0487 bit/符号；（2）串接后的转移概率矩阵；（3）串接后信道的信道容量0.0033 bit/符号。3-11 设有一离散级联信道如题图3-11所示。试求：题图 3-11（1）与间的信道容量；（2） 与间的信道容量；（3）与间的信道容量及其输入分布。答案：（1）（2）0.75 （bit/符号）（3）X、Z间信道转移概率矩阵为它是准对称信道，当输入等概率分布时达到信道容量。0.5,0.53-12 若有两个串接的离散信道，它们的信道矩阵都是：，并设第一个信道的输入符号是等概率分布，求和并加以比较。解：串接后信道矩阵为， 比特/符号， 比特/符号可见，3-13 若，是三个随机变量，试证明：（1） ；（2） ；（3） ,当且仅当（）是马氏链时等式成立。3-14 若三个离散随机变量有如下关系：，其中和相互独立，试证明：（1） ；（2） ；（3） ；（4） ；（5） 。3-15 把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概率为。并证明：，设，信道的串接如题图3-15所示。题图 3-15证明：当1时，当2时，错误传递概率为：。当考虑三个二元对称信道串接，得用数学归纳法可证明：3-16 有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在和之间。此信源连至某信道，信道接收端接收脉冲的幅度处在和之间。已知随机变量和的联合概率密度函数试计算，和。答案：，。X与Y统计独立。3-17 设某连续信道，其特性如下：而信道输入变量的概率密度函数为：试计算：（1）信源的熵；（2）平均互信息。答案：（1）X是正态分布的，均值为零，方差为。（2） =0.208 比特3-18 设加性高斯白噪声信道中，信道带宽为3 kHz，又设（信号功率噪声功率）/噪声功率10 dB。（1） 试计算该信道传送的最大信息率（单位时间）；（2） 若功率信噪比降为5 dB，要达到相同的最大信息传输率，信道带宽应是多少？解： （1），即：，又已知信道带宽为3KHz，由香农公式得：，此即为信道传送的最大信息率。（2）若，即，此时要达到相同的最大信息传输率，设带宽为，由香农公式得：，计算得：。3-19 设电话信号的信息率为56 kbit/s，在一个噪声功率谱为、限频F、限输入功率P的高斯信道中传送，若F4 kHz，问无差错传输所需的最小功率P是多少W？若，则P是多少W？解：（1）（2）3-20 在图片传输中，每帧约有个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30 dB）。解：比特/秒，Hz