信息论习题集.doc

信息论习题集

第二章
2.1 同时掷2颗骰子，事件A、B、C分别表示：（A）仅有一个骰子是3；（B）至少有一个骰子是4；（C）骰子上点数的总和为偶数。试计算A、B、C发生后所提供的信息量。
2.3 一信源有4种输出符号，=0，1，2，3，且p()=1/4。设信源向信宿发出，但由于传输中的干扰，接收者收到后，认为其可信度为0.9。于是信源再次向信宿发送该符号（），信宿准确无误收到。问信源在两次发送中发送的信息量各是多少？信宿在两次接收中得到的信息量又各是多少？
2.5 一信源有6种输出状态，概率分别为
=0.5， =0.25， =0.125， = =0.05， =0.025
试计算。然后求消息ABABBA和FDDFDF的信息量（设信源先后发出的符号相互独立），并将之与长度为6的消息序列信息量的期望值相比较。
2.6 中国国家标准局所规定的二级汉字共6763个。设每字使用的频度相等，求一个汉字所含的信息量。设每个汉字用一个1616的二元点阵显示，试计算显示方阵所能表示的最大信息量。显示方阵的利用率是多少？
2.7 已知信源发出和两种消息，且。此消息在二进制对称信道上传输，信道传输特性为，。求互信息量和。
2.8 已知二维随机变量的联合概率分布为：，，求。
2.13 有两个二元随机变量和，它们的联合概率分布如表2.5所列，同时定义另一随机变量（一般乘积）。试计算：
表2.5

0
1
0
1/8
3/8
1
3/8
1/8

（1） 熵；
（2），
和；
（3）。
2.14 假定形成一个马尔可夫链，那么=
，请简化。
2.15 给定，的联合概率分布，如表2.10所示。
表2.10

0
1
0
1/3
1/3
1
0
1/3

（1），；
（2），；
（3）；
（4）；
（5）。
2.23 判断题
（1）；
（2）若与独立，则；
（3）；
（4）如果，则要么，要么；
（5）；
（6）；
（7）若与独立，则；
（8）。
2.24 设随机变量的概率分布为。随机变量是的函数，其分布为将的4个最小的概率分布合并为一个：。
（1）显然，请解释原因；
（2）请解释为什么？
（3）计算，；
（4）计算并解释其结果。
第三章
3.2 有一无记忆信源的符号集为，已知信源的概率空间为。
（1）求信源熵；
（2）求由个和个构成的某一特定序列自信息量的表达式；
（3）计算由100个符号构成的符号序列的熵。
3.3 有一离散无记忆信源，其输出为，相应的概率为，，，设计两个独立的试验去观察它，其结果分别为，，已知条件概率如表3.1所列。
表3.1

0
1
0
1
0
1
0
1
2
1/2
1/2

0
1
0
1
0
1
1
0
2
0
1

（1） 求和，并判断哪一个实验好些；
（2）求，并计算做和两实验比做或中的一个实验可多得多少关于的信息；
（3）求和，并解释它们的含义。
3.4 某信源符号集的概率分布和对应的二进制代码如表3.6所示。
表3.6
信源符号

概率
1/2
1/4
1/8
1/8
代码
0
10
110
111
（1）求信源符号熵；
（2）求平均每个消息符号所需要的二进制码元的个数或平均代码长度，进而用这一结果求码序列的二进制码元的熵；
（3）当消息是由符号序列组成时，各符号之间若相互独立，求其对应的二进码序列中出现和的无条件概率和，以及相邻码元间的条件概率、、和。
3.6 一个马尔可夫过程的基本符号为0，1，2，这3个符号等概率出现，并且具有相同的转移概率。
（1）画出一阶马尔可夫过程的状态图，并求稳定状态下的一阶马尔可夫信源熵和信源剩余度；
（2）画出二阶马尔可夫过程的状态图，并求稳定状态下的二阶马尔可夫信源熵和信源剩余度。
3.7 一阶马尔可夫信源的状态转移图如图3.2，信源的符号集为。

0
1
2

图3.2
（1）求平稳后的信源的概率分布；
（2）求信源熵；
（3）求当或时信源的熵，并说明其理由。
3.8 有一个二元无记忆信源，其发0的概率为，而，所以在发出的二元序列中经常出现的是那些一串为0的序列，称高概率序列。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源，共有个符号，它与高概率的二元序列的对应关系如下：
二元序列：1，01，001，…，（共个0），（共个0）；
新信源符号：。
（1） 求；
（2） 当时，求信源的熵。
3.9 给定状态转移概率矩阵，，求：
（1）此两状态马尔可夫链的熵率；
（2）此熵率的极大值及相应的；
（3）在达到最大熵率的情况下，求出每一个长序列的概率。
3.11 图3.4是一张有4个节点的随机行走图，从任何一个节点走到下一个节点的概率都相等。
4
3
1
2

图3.4
（1） 求随机行走的稳态分布；
（2） 求随机行走的熵率。
3.12 求具有如下概率密度函数的随机变量的熵。
（1）指数分布；
（2）；
（3）单边高斯分布。
3.13 连续随机变量和的联合概率密度为

试求，，和。
3.16 给定状态转移概率矩阵，，求：此二状态马尔可夫信源的熵率。
3.18 已知一个二元马尔可夫信源的状态转移概率矩阵。
（1）求此马尔可夫信源的熵率；
（2）求符号序列1000011的概率（根据平稳分布确定第一个符号的概率）；
（3）计算分布函数当=1000011的值。
3.23 设以8000样值/秒的速率抽样一语音信号，并以级对抽样均匀量化，设抽样值取各量化值的概率相等，且抽样间相互统计独立。求：
（1）每抽样的信息熵；
（2）求信源的信息输出率。
第四章
4.1 设一个二元信道如图4.1所示，其输入概率空间为，试计算，和。
4.2 二元删除信道有两个输入：0，1和3个输出：0，1，，其中表示可检出但无法纠正的错误。信道前向转移概率是

求信道容量。

图4.1 图4.2
4.3 设某二进制数字传输系统接受判决器的输入信号电平、噪声密度分布、及判决电平如图4.3所示。试求：（1）信道模型；（2）平均互信息；（3）信道容量。

图4.3
4.4 设有扰离散信道的输入端是以等概率出现的A、B、C、D 4个字母。该信道的正确传输概率为1/2，错误传输概率平均分布在其它3个字母上。验证在该信道上每个字母传输的平均信息量为0.208比特。
4.5 信道及它的输入、输出如图4.5所示。
1 1 1

0 0

图4.5
（1）求最佳输入分布；
（2）求=1/2时的信道容量；
（3）求当和时的最佳输入分布值。

4.6 如图4.6所示把个二元对称信道串接起来，每个二元对称信道的错误传递概率为。证明这个串接信道可以等效于一个二元对称信道，其错误传递概率为，并证明，设或1。

二元对称信道

二元对称信道2

二元对称信道1

图4.6
4.8 试画出三元对称信道在理想（无噪声）和强噪声（输出不依赖于输入）的情况下的信道模型，设信道输入等概率分布。
4.9 串联信道如图4.9所示，求总的信道矩阵。

图4.9
4.14 设某一信号的信息输出率为5.6 kpbs，噪声功率谱为mW/Hz，在带宽=4 kHz的高斯信道中传输。试求无差错传输需要的最小输入功率是多少？
4.15 判断图4.13中各信道是否对称，如对称，求出其信道容量。

（a） （b） （c）

（d） （e） （f）
图4.13
4.16 一个快餐店只提供汉堡包和牛排，当顾客进店以后只需要向厨房喊一声“B”或“Z”就表示他点的是汉堡包或牛排，不过通常80%的概率厨师可能会出错。一般来说进店的顾客90%会点汉堡包，10%会点牛排。问：
（1）这个信道的信道容量；
（2）每次顾客点菜时提供的信息；
（3）在这个信道可不可以正确地传递顾客点菜的信息？
4.17 求图4.14中信道的信道容量及其最佳的输入概率分布，并求当或1/2时的信道容量值。

图4.14
第五章
5.1 设为一离散无记忆信源，其符号集合为，概率分布为，。令信源符号序列的长度为，假定对所有只包含3个以下符号的序列编制长度为的非奇异二进制码。求：
（1）信源的熵及其冗余度；
（2）的最小值应该为多少？试比较和；
（3）信源产生的序列没有码字与其对应的概率。
5.2 用数列的前8个非零元素构成相应的概率分布为，对于这样一个概率分布存在着许多拥有不同码长分布的最优编码方案。
5.3 设为独立的二进制随机变量，并且有，，请给出联合随机变量的Huffman编码，并求其平均码长。
5.4 下面以码字集合的形式给出5种不同的编码，第一个码的码符号集合为，其他4个码都是二进制码。

对于上面列出的5种编码，分别回答下述问题：
（1） 此码的码长分布是否满足Kraft-McMillan不等式？
（2） 此码是否是及时码？如果不是，请给出反例。
（3） 此码是否是唯一可译码？如果不是，请给出反例。
5.22 一个离散无记忆信源，其样本空间为，符号出现的概率为0.99，出现的概率为0.01.
（1）对此信源的二次扩展，求出信源符号序列的概率分布，找出相应的Huffman编码并求平均码长。
（2）对此信源的三次扩展重复上一问。
（3）计算信源的单符号熵并与上两问中的单符号平均码长进行比较。
（4）要想使得单符号平均码长只比单符号信源熵大出10%，请问扩展次数应该是多少？
5.25 已知离散无记忆信源如下，试求：

（1）信源符号熵；
（2）相应的二元Huffman编码及其编码效率；
（3）相应的三元Huffman编码及其编码效率；
（4）若要求，采用定长二元码要求达到第（2）问中的编码效率，至少需要多少信源符号一起编码才能实现？
第七章
7.2 利用的性质，画出一般的曲线，并说明其物理意义？试问为什么是非负且非增的？
7.4 令，设失真矩阵为

对于一个等概率分布的Bernoulli随机变量，求对应的定义域。
7.5 令等概率分布的Bernoulli随机变量，其相应的失真测度定义为
，，
（1） 请找出使得非平凡的；
（2） 计算。
7.7 三元信源的概率分布为，失真函数为

试求：
（1） 信息失真率；
（2）若此信源用容量为1比特/符号和0.1比特/符号的信道传输，请分别计算出最小误码率。
7.8 一个不对称的失真测度定义为
，
即：不允许用1来表示0。设随机变量的概率分布为，并令表示基于的随机变量的信息失真函数。
（1）的值是多少？
（2）使用的最小是多少？
（3）在满足条件的前提下，找出使得最小并且满足的。
（4）给出之上的信息率失真函数。
7.9 信源遵循上的均匀分布。Hamming 失真定义为

请求出此信源的信息率失真函数。
7.10 一个离散无记忆信源输出符号等概率分布，失真函数定义如下，试求：
（1）信息率失真函数；
（2）试验信道转移概率。