资源描述
2.1 同时掷两个正常的骰子，也就是各面呈现的概率都是1/6，求：
（1）“3和5同时出现”事件的自信息量；
（2）“两个1同时出现”事件的自信息量；
（3）两个点数的各种组合（无序对）的熵或平均信息量；
（4）两个点数之和（即2，3，…，12构成的子集）的熵；
（5）两个点数中至少有一个是1的自信息。
解：（1）一个骰子点数记为X，另一个骰子的点数记做Y，X、Y之间相互独立，且都服从等概率分布，即
X
1
2
3
4
5
6
Px
1/6
1/6
1/6
1/6
1/6
1/6
同理
Y
1
2
3
4
5
6
Py
1/6
1/6
1/6
1/6
1/6
1/6
一个骰子点数为3，另一个骰子点数为5属于组合问题，对应的概率为
对应的信息量为
（2）两个骰子点数同时为1的概率为
对应的信息量为
（3）各种组合及其对应的概率如下
共6种可能
共有15种可能
因此对应的熵或者平均自信息量为
比特/符号
（4）令Z=X+Y，可以计算出Z对应的概率分布如下
Z
2
3
4
5
6
7
8
9
10
11
12
Pz
1/36
2/36
3/36
4/36
5/36
6/36
5/36
4/36
3/36
2/36
1/36
对应的熵为
（5）X、Y相互独立，所以联合熵为
2.2 设在一只布袋中装有100个大小、手感完全相同的球，每个球上涂有一种颜色。100个球的颜色有下列3种情况：
（1）红色球和白色球各50个；
（2）红色球99个，白色球1个；
（3）红、黄、蓝、白色球各25个。
分别求出从布袋中随意取出一个球时，猜测其颜色所需要的信息量。
解：
（1） 两种颜色的球服从等概率分布，即
对应信息量为比特
（2） 两种颜色的球对应概率分别为
对应的概率分别为
比特
比特
（3） 四种球服从等概率分布，因此对应的自信息量为
比特
2.3 掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7时，该消息所包含的信息量又是多少？
解：两粒骰子的点数分别记做X、Y，
（1）X+Y=3的概率为
对应信息量为
比特
（2）同理可以得出X+Y=7的概率为
对应信息量为
2.4设有一离散无记忆信源，其概率空间为
(1)求每个符号的自信息量；
(2) 信源发出一消息符号序列为{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}, 求该消息序列的自信息量及平均每个符号携带的信息量。
解：（1）每个消息符号对应的信息量为
比特 比特 比特
（2）该序列中，4个符号出现的次数分别为14,13,12,6，因此总的信息量为
比特
2.5试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？
解：分别为2倍、3倍
2.6国际摩尔斯电码用点和划的序列发送英文字母，划用持续3个单位的电流脉冲表示，点用持续1个单位的电流脉冲表示。其划出现的概率是点出现概率的1/3。计算：
(1) 点和划的信息量；
(2)点和划的平均信息量。
解：点划分别记做、，由题意可知
且，
于是可以得出，，
（1）对应的自信息量分别为
比特
比特
（2）平均自信息量为
比特/符号
2.7 投掷一个正常的硬币直到正面出现为止，令变量表示投掷次数，计算熵
解：一次投币正反两面分别记做、，对应概率分别为
那么前X-1次均为反面，第X次为正面的概率为，
即
X
1
2
3
…
n
…
Px
0.5
0.52
0.53
…
0.5n
…
对应的熵为
根据级数的性质，可以计算出
2.8 两个实验X和Y，，，联合概率为
(1) 如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？
(2) 如果有人告诉你Y的实验结果，你得到的平均信息量是多少？
(3) 在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？
解：
(1)联合自信息量为
=1.783比特/符号
（2）
可见服从等概率分布，于是有
=1.585比特/符号
（3）=-=0.198比特/符号
2.9在一个二进制信道中，信源消息集X＝{0,1},且,信宿的消息集}，信道传输概率，。求
(1）在接收端收到后，所提供的关于传输消息的平均条件互信息量；
(2) 该情况所能提供的平均互信息量。
解： 由题意可知条件转移概率和联合概率分别为
（1） 由联合概率可以计算出概率
比特/符号
（2） 同理可以计算出
比特/符号
比特/符号
2.10 为一个维概率矢量，求的极小值以及取得极小值的条件。
解：概率矢量中，任意1个元素为1，其余元素为0，此时取得最小值0.
2.11 变量，的联合概率密度为分布如下：
求熵，，，和.
解：X的概率分布为，
所以
0.98比特/符号
Y的概率分布为等概率分布，所以有
比特/符号
比特/符号
比特/符号
比特/符号
2.12变量X的概率空间为
变量Y取自符号集, X,Y的条件转移矩阵为
求。
解：
比特
比特
比特
比特
2.13有一个二进制信源，对应概率空间为
信源输出符号后，经过离散无记忆信道传输到信宿，信宿有三个符号，除了正确接收到的信源符号0，1之外，由于信道干扰存在，还在另一种不确定符号，这样可以用来描述信宿符号集合，其中？表示不确定状态。假设信道转移概率矩阵为
求熵，，和。
解：
比特/符号
比特/符号
比特/符号
比特/符号
2.14 随机变量的概率在取值范围为内服从均匀分布，计算该信源的相对熵。
解：比特/符号
2.15 一阶马尔可夫信源的状态转移图如图2.9所示，信源符号集合为，求
(1) 信源的平稳分布；
(2) 信源熵。
图2.9 状态转移图
解：根据状态转移图可以得到一步条件转移概率为
假设稳态分布为
系统到达稳态时，应该满足，且满足
解方程得：
所以
2.16 有一个离散信源，发出0，1序列消息，在任何时刻无论前面发送过什么符号，都按照固定概率，的概率发送当前符号。
(1) 该信源是否能够达到平稳？
(2) 计算，和 。
解：（1）根据题意可知，信源发送消息符号的概率与时间的起点是无关的，且前后符号之间是相互独立的，所以信源服从独立同一分布。该信源是平稳的。
（2）比特/符号
比特/符号
比特/符号
2.17 试证明：
证明：
条件熵不大于无条件熵，即
…..
带入原式即得证。
第三章习题参考答案
3-1 离散无记忆信道如图3.10所示，输入X取值空间为，信道干扰的概率空间为
求信道容量和最佳分布。
图3.10
解：设X的概率分布为
X
0
1
Px
p
1-p
根据可以算出条件转移概率矩阵为
这是一个完全对称的信道，信道容量为
最佳分布为等概率分布，即
3-2 写出图3.11所示离散无记忆信道的条件转移矩阵，并求信道容量和最佳分布。
图3.11
解：信道的条件转移概率为
观察1、3行，可以发现是相互置换的。
设信道输入为，可以计算出相应概率p(bj),
平均互信息量为
同理可以计算出，，根据信道容量性质可知由于，且，所以信道容量为，而最佳分布为。
3-3 在某离散无记忆信道上传输二进制符号0和1，由于受到随机干扰影响，符号传输出现差错，每传输1000个符号会出现2个错误，假设每秒钟允许传输1000个符号，求该信道的信道容量。
解：信道的条件转移概率矩阵为
信道容量为 比特/符号，每秒钟的信道容量为
比特/秒
3-4 如图3.12所示的信道，写出条件转移矩阵，求出信道容量和最佳分布，并且求出当和时的信道容量。
图3.12
解：信道条件转移概率矩阵为
假设信道的输入分别为，则有
当i=1时，
当i=2时，
当i=3时，
整理得
解上述方程组，可以得到
当时，信道容量为
当时，，
信道容量为比特/符号。
3-5 求下列信道的信道容量和最佳分布，并且比较结果。
(1) (2)
1）解：可以分解为两个互不相交的子矩阵，
行元素之和为
列元素之和为
对应信道容量为
由于信道是输入对称的，所以最佳分布为(0.5,0.5)
2)可以分解为两个互不相交的子矩阵，
行元素之和为
列元素之和为
对应信道容量为
令，
当时，即时，，反之亦然
3-6 设二元对称信道，都取值于空间{0,1}，其中表示模2运算，对应的概率空间为
试证明：
其中
3-7 将N个相同的二元对称信道级联，如图3.13所示，每个信道的转移矩阵为
假设的概率分布为
(1) 求出每个变量的概率分布。
(2) 证明当时，趋向，而且级联信道的容量趋向0。
图3.13
解：由于信道级联，且每个子信道的条件概率转移矩阵相同，所以有
其中
根据矩阵分析，首先计算矩阵P的特征根，令
可以计算出两个特征根，。于是有约当标准型为
设可逆矩阵为，使得
由，得到
由，得到
于是有，
1）
2）当时，
所以，级联信道的信道容量趋向0.
3-8 有两个离散无记忆信道串联，信道的转移矩阵都是
(1) 假设第一个信道的输入是等概率分布，第一、二个信道的输出分别记做，求互信息量和。
(2)求单个信道和级联信道的信道容量，并且比较大小。
解：1）略
2）假设信道的输入分别为，则有
当i=3时，
当i=1时，
当i=2时，
整理得
解上述方程组，可以得到
信道容量为比特/符号，最佳分布为（0.275,0.275,0.45）
2）
同理可以计算出概率分布为
信道容量为比特/符号。比较C1，C2可以看出，信道串联后的容量减小了。
3-9 某连续信道的带宽为8kHz，信噪比为31，现在要以比特/每秒速度传输信息，能否实现？如果要实现信息传输，信噪比的最小值为多少？
解：根据香农的信道容量公式
将Hz，，代入上述公式，得到信道容量
所以不可能已速率传输数据。
要实现上述传输，则，可以计算出信噪比的最小值为。
3-10 设信号功率为，信道带宽为，干扰噪声的单边功率谱密度为，接收机的滤波器等效为一个理想滤波器，频率特性如下：
求滤波器能够输出的最大信息量。
解：
4.1某离散无记忆信源概率空间为
分别使用长度为10和100的序列进行等长无失真编码，分别计算最短平均码长和编码效率。
解：信源的熵为
比特/符号
当N=10时，序列码长应当满足
比特/序列
考虑到序列码长应该为整数，取L1=9比特/符号，平均每个符号的码长为
比特/符号
所以编码效率为
当N=100时，序列码长为
比特/100符号
取L1=89比特/符号，平均每个符号的码长为
比特/符号
编码效率为
4.2设离散无记忆信源为
如果要求编码效率为，允许错误概率为，求编码序列的长度。
解：信源的熵为
比特/符号
自信息量方差为
采用二进制码进行等长编码，序列长度应当满足
4.3设离散无记忆信源的概率空间为
要求编码效率为
(1) 如果采用序列等长编码，而允许译码错误概率为，求编码序列的长度。
(2) 如果采用序列变长编码，求编码序列的长度，并且与(1)比较，说明为什么会有这样的结果。
解1）信源的熵为
比特/符号
自信息量方差为
采用二进制编码，序列长度为
2）对信源进行二次扩展，并采用下列编码方式构成唯一可译码
序列
序列概率
序列码字
序列码长
a1a1
916
0
1
a1a2
316
10
2
a2a1
316
110
3
a2a2
116
111
3
平均码长为
比特/2符号
每个符号码长为
比特/符号
编码效率为
由于变长编码能够更好利用不同序列的概率分布进行编码，概率越大，序列的码长越短，概率越小，序列的码长越长，所以相对等长编码而言，变长编码的平均码长很短。在信源扩展长度很小情况下即可达到很高的编码效率。
4.4设有码集合，根据唯一可译码判断准则，判断是否为唯一可译码。
解：对应码长分别为3,4,4,4,5,5,5,6，将这些码长代入计算
结果满足麦克米伦不等式，因此该组码是唯一可译码的。
4.5设离散无记忆信源的概率空间为
将该信源扩展为长度的扩展信源，然后进行变长编码，求每个符号的平均码长可达范围。
解：信源的熵为
比特/符号
根据香农第一定理，其可达范围为
将N=100代入上述不等式，可以计算出每个符号的平均码长可达范围为（0.66,0.67）比特/符号。
4.6给定信源的概率空间为
信宿的取值于，失真矩阵为
求和，并且给出取得最小失真的条件。
解：根据失真矩阵行元素确定最小失真对应的实验信道条件概率矩阵（即最小失真的条件）为
对应的最小失真为
最大失真首先计算每列的平均失真，即
将数据代入，得
最大失真为
4.7 二元信源的概率空间为
失真矩阵为
求信源的最大平均失真，最小平均失真和信息率失真函数。
解：由于失真矩阵的每行元素中最小值为0，所以最小失真为Dmin=0；
所以最大失真为。
根据信息率失真计算方法可知，
当i=1时
i=2时
令，
解下列方程
i=1时
将参数、的值代入上述方程组，可以求得
将参数代入求解信道转移概率
即
失真的参数S表示
即
代入
整理得：
综合起来
4.8 二元信源的概率空间为
其中，失真矩阵为
(1)求信源的最大平均失真，最小平均失真和信息率失真函数。
(2)求出达到的正向试验信道的转移概率。
解：解题思路如上题，，最大失真为
4.9 离散无记忆信源的概率空间为
失真矩阵为
求信息率失真函数。
4.10 离散无记忆信源的概率空间为
失真矩阵为
求信息率失真函数。
6.1某卷积码的框图如图6.7所示，假设初始状态为全零，输入序列为{1001101}，试写出输出序列，并计算出码率。
图6.7 (2,1,2)卷积码
解：
编码过程
输入
编码后状态X(n-2)X(n-1)
码字C1C2
1
01
11
0
10
11
0
00
11
1
01
11
1
11
00
0
10
10
1
01
10
输出序列为（11111111001010），码率R=1/2
6.2 某分组码输出码字集合为{0000, 1001,0110,1010,0101}, 试写出各个码字的重量，并且计算最小汉明距离。
解：码字重量分布为（0,2,2,2,2），通过逐个比较码字得到码字之间的汉明距离并取最小汉明距离d0=2.
6.3某离散无记忆信道的概率转移矩阵为
假设信道输入的概率空间为
分别使用最小错误概率规则和最大似然译码规则来确定译码规则，并且计算对应的平均错误概率。
解：后验概率
后验概率，具体结果如表如下
根据最小概率译码规则，在上述后验概率中寻找到最大概率对应的输入ai作为译码估计值，具体如下：
b1àa1 b2àa1 b3àa2
如果发送符号为a1,接受符号为b2,b3,就会出现译码错误；如果发送为b2，接受符号为b2,b3,就会出现译码错误；如果发送符号为a3，接受符号为,b1,b3,就会出现译码错误；因此，译码错误计算如下：
最大似然译码则是根据前向概率的列元素大小直接译码，具体译码规则为
b1àa1 b2àa3 b3àa2
同理可以计算出译码错误概率
可以看出。
6.4某信道的输入、输出的符号集合分别为和，而且信道转移矩阵为
信道的输入概率分别为，，分别采用最大后验译码规则和最大似然译码规则概率进行译码，选择译码方案进行译码，并计算相应的译码平均错误概率。
解：
后向转移概率为
后验译码如下
b1àa1 b2àa2 b3àa2 b4àa2
译码错误
如果采用最大似然 译码，由于2,3列中元素都是0.1，面临随机选择问题，如果选择后验译码相同的译码规则，则译码错误概率与PE1相同，否则，译码错误概率会增加。
6.5设离散无记忆信道的误码元率为，现有两个码字(00，11)通过信道传输，信道输入码字等概率分布，采用最大似然规则译码，计算译码平均错误概率。如果信道输入码字的概率分别为，，仍然采用最大似然译码规则，重新计算译码平均错误概率。
解 输入符号a1=00 a2=11，信道输出符号b1=00 b2=01 b3=10 b4=11。
根据题意信道前向概率为
如果采用最大似然译码，选择译码规则为
b1àa1 b2àa1 b3àa2 b4àa2
则译码错误概率为
输入概率变化，译码错误概率也没有变化。
6.6某离散无记忆信道的误码元率为，现有两个码字(0000，1111)通过信道传输，信道输入码字等概率分布，采用最大似然规则译码，写出所有可能接收码字，并计算译码平均错误概率。
解 输入符号a1=0000 a2=1111，信道输出符号共16种，按照二进制顺序分别记做b1=0000 直到 b15=1111。
由于信道输入是等概率的，最大似然译码中，如果4个接受符号中出现两个0，只能随意译码，假设出现两个0，译码为0000，则译码错误概率为
将数据代入，可以计算出
可以看出，译码错误概率主要取决两个0的译码。
6.7 对于二元重复码，如果采用最大似然译码准则，即采用择多译码准则，证明其译码平均错误概率为
其中为二元对称信道的码元错误概率，并计算时的值。
解：由于重复码的符号数量为奇数（2n+1），在信道传输过程中，只要出现n+1个错误，则译码也就相应发送错误，无论信道的输入先验概率如何，译码错误概率相同。
证明：如果是2n+1个0，经过信道后出现n+1个及以上的1，则会出现译码错误，假设此时1的个数为i，即出现i个0经过信道后变为1，对应的概率为，对应的组合数为总的错误概率为，考虑到i的取值范围为n+1—2n+1，发送为0，判决为1的概率为；同理，发送为1，判决为0的概率与上述值相同。
数据中0的概率记做p0,则1的概率为1-p0，平均译码错误为
6.8 某二元码集合为{11100，01001，00111，10010}
（1）计算该码的重量分布和最小汉明距离；
（2）该码能够纠正几位码元错误？
（3）如果采用最小汉明距离译码，则接受序列11000，01100应当译码成什么码字？
解：1）这是一个非线性码，重量分布为{3,2,3,2}；
逐个比较两个码字，得到汉明距离如下{3,4,3,3,4,3}，所以最小汉明距离为3
2）能够纠正一位码元错误；
3）译码为{11100,11100}。
7.1 写出构成二元域上的3维3重矢量空间的全部矢量元素，并且找出其中一个2维子空间及其对偶子空间。
解：三维空间元素
二维子空间
（，011，110，101）
7.2写出GF（7）的加法，乘法运算表，并找出每个元素的负元素和逆元素。
解：
{0,1,2,3,4,5,6}对应的负元为{0,6,5,4,3,2,1}，{1,2,3,4,5,6}对应的逆元{1,4,5,2,3,6}
7.3 设二元(6,3)码的生成矩阵为
（1）写出相应的检验矩阵。
（2）写出码字集合，并求出最小汉明距离。
解：1）由于生成矩阵G是规范形式，根据校验矩阵H与生成矩阵G之间的关系
设比特信息矢量{x1,x2,x3 },可以得到每位码元与信息位之间关系如下
可以得到具体码字如下{000000}，{100011}，{010101}，{001110}，{110110}，{101101}，{011011}，{111000}。
最小汉明距离为3.
7.4 试证明下列上的生成矩阵
产生的码为循环码，并写出其生成多项式和校验多项式。
证明：生成矩阵的行矢量为
从上述关系可以看出
所以该生成多项式产生的码字为循环码
生成多项式为
7.5 系统码的生成矩阵为
构造译码阵列，确定差错样图以及对应的伴随式。
解：校验矩阵为
设差错图样为，有，分别取，解上述方程，
即
或者
并选择重量最小的矢量作为方程的解，得到伴随式差错图像如下
S1S2S3
e1e2e3e4e5e6
000
000000
001
000001
010
000010
011
001000
100
000100
101
100000
110
010000
111
000111
注：当伴随式为111时，由于超出了纠错能力，为了保证译码表的遍历性，并不是取最小重量的矢量作为方程的解，而是在所有解中筛选出000111作为解。
许用码字如下
000000
001101
010011
011110
100110
101011
110101
111000
根据许用码字加上差错图样对应的差错矢量，构造出译码表如下
S1S2S3
C1
C2
C3
C4
C5
C6
C7
C8
000
000000
001101
010011
011110
100110
101011
110101
111000
001
000001
001100
010010
011111
100111
101010
110100
111001
010
000010
001111
010001
011100
100100
101001
110111
111010
011
001000
000101
011011
010110
101110
100011
111101
110000
100
000100
001001
010111
011010
100010
101111
110001
111100
101
100000
101101
110011
111110
000110
001011
010101
011000
110
010000
011101
000011
001110
110110
111011
100101
101000
111
000111
001010
010100
011001
100001
101100
110010
111111
7.6 系统码的生成矩阵为
确定差错图样以及对应的伴随式。
解：根据校验矩阵与生成矩阵之间的关系，可以得出
假设接受到的矢量Y为（y1 y2 y3 y4 y5 y6 y7）,伴随式为(s1,s2 s3),则有
假设差错图样为（e1 e2 e3 e4 e5 e6 e7）,根据
对于在纠错范围内的码字，可以通过解上述方程组，并寻求重量最小的差错矢量作为方程的解。
7.7 系统汉明码的生成多项式为，利用移位寄存器实现该码的编码。
7.8 循环汉明码的生成多项式为，根据该码构造一个扩展汉明码，列出所有码字，计算出该扩展码的最小汉明距离。
7.9 某卷积码的函数生成器分别为
，，
(1) 画出编码器结构；
(2) 画出状态转移图和格图；
(3)假设编码器输入序列为{001101}，写出编码输出序列。
解：1）编码器结构图
2）格图和状态转移图如下
3）略
7.10 某卷积码的函数生成器分别为
，，
完成题7.9相同任务。
7.11 某二进制卷积码编码器框图如图7.25所示
图7.25
(1) 画出该卷积码的状态转移图；
（2）假设该编码器编码产生的序列经过二进制对称信道传输，接收端接收的码字序列为{110,110,110,111,010,101,101}，利用维特比译码算法进行译码，写出译码过程及传输的信息序列。
解：1）
2）维特比译码过程如图所示
这里有两种解释，如果系统状态回0的话，残留路径如下图
对应的译码输出为（1111000）
如果最后状态不是回全0，则残留路径为
对应的译码输出为（1101111）
7.12某二进制卷积码编码器框图如图7.26所示
图7.26
(1) 画出该卷积码的状态转移图和格图；
(2) 使用矩阵
对编码输出序列进行删余，求编码码率；
（3）假设输入序列为{01100110}，写出删余后的编码输出序列。
解：1）
2）码率为
3）（000 111,010，110,011,111,010,110）经过删余后的码字为（000 111,010，11,011,111,010,11）
5.1某离散无记忆信源的概率空间为
采用香农码和费诺码对该信源进行二进制变长编码，写出编码输出码字，并且求出平均码长和编码效率。
解：计算相应的自信息量
比特 比特
比特 比特
比特 比特
比特 比特
根据香农码编码方法确定码长
可以得到对应码长如表所示
符号
概率
累计概率
自信息量
码长
码字
a1
1/2
0
1
1
0
a2
1/4
1/2
2
2
10
a3
1/8
3/4
3
3
110
a4
1/16
7/8
4
4
1110
a5
1/32
15/16
5
5
11110
a6
1/64
31/32
6
6
111110
a7
1/128
63/64
7
7
1111110
a8
1/128
127/128
7
7
1111111
平均码长
由于每个符号的码长等于自信息量，所以编码效率为1。
费罗马编码过程
符号
码字
码长
a1
1/2
0
0
1
a2
1/4
1
0
10
2
a3
1/8
1
0
110
3
a4
1/16
1
0
110
4
a5
1/32
1
0
1110
5
a6
1/64
1
0
11110
6
a7
1/128
1
0
111110
7
a8
1/128
1
111111
7
5.2某离散无记忆信源的概率空间为
使用费罗码对该信源的扩展信源进行二进制变长编码，
(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
解：信息熵比特/符号
（1）
符号
码字
码长
A1
0
1
A2
1
1
平均码长比特/符号
编码效率为
（2）
序列
码字
码长
a1a1
9/16
0
0
1
a1a2
3/16
1
0
10
2
a2a1
3/16
1
0
110
3
a2a2
1/16
1
111
3
平均码长为
比特/符号
编码效率
（3）当N=4时，
a1a1 a1a1
81/256
0
0
00
a1a1 a1a2
27/256
1
0
010
a1a1 a2a1
27/256
1
011
a1a2 a1a1
27/256
1
0
0
100
a2a1 a1a1
27/256
1
0
1010
a1a1 a2a2
9/256
1
1011
a1a2 a1a2
9/256
1
0
0
1100
a1a2 a2a1
9/256
1
0
11010
a2a1 a1a2
9/256
1
11011
a2a1 a2a1
9/256
1
0
0
11100
a2a2 a1a1
9/256
1
11101
a1a2 a2a2
3/256
1
0
0
111100
a2a1 a2a2
3/256
1
111101
a2a2 a1a2
3/256
1
0
111110
a2a2 a2a1
3/256
1
0
1111110
a2a2 a2a2
1/256
1
1111111
序列码长
平均码长
可见，随着信源扩展长度的增加，平均码长逐渐逼近熵，编码效率也逐渐提高。
.
5.3某离散无记忆信源的概率空间为
使用哈夫码编码法对该信源的扩展信源进行二进制变长编码，
(1) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(2) 扩展信源长度，写出编码码字，计算平均码长和编码效率。
(3) 扩展信源长度，写出编码码字，计算平均码长和编码效率，并且与(1)的结果进行比较。
5.4某离散无记忆信源的概率空间
使用约定码表进行哈夫曼进行编码，约定码表的概率空间为
(1)计算平均码长与编码效率。
(2) 如果直接对信源进行哈夫曼编码，写出编码码字，计算平均码长和编码效率。
(3) 比较上述编码结果，并进行讨论。
解：信源的熵为H(X)= 1.984375比特/符号。
1）利用约定码表的概率空间进行编码，得到相应的编码码表如下
编码码字
码长
a1
0
1
a2
10
2
a3
110
3
a4
1110
4
a5
11110
5
a6
111110
6
a7
1111110
7
a8
1111111
7
平均码长为
编码效率为
2）编码码表为
编码码字
码长
a2
0
1
a1
10
2
a3
110
3
a5
1110
4
a4
11110
5
a6
111110
6
a7
1111110
7
a8
1111111
7
平均码长为1.984375比特/符号，编码效率为1.
3）当实际数据统计规律与产生码表对应的概率相差较大时，编码效率会明显降低。
5.5某信源的概率空间为
使用3进制符号(0，1，2)进行编码，写出哈夫码和费罗码，并且计算编码效率。
5.6某离散无记忆信源的概率空间为
(1) 采用二进制哈夫曼码编码对信源编码，计算编码效率。
(2) 如果采用等长码编码，要求错误译码概率小于，则序列长度为多少？
解：（1）编码结果如下
码字
码长
a1
00
2
a2
10
2
a3
11
2
a4
010
3
a5
0110
4
a6
0111
4
平均码长为
信源的熵为H（X）=2.353比特/符号
编码效率为
2）自信息量方差为D[I(ai)] = 0.527;
将参数代入
5.8某信源输出二进制序列(0000,0000,0000,0001,1111,0000,0010,0000)，对该序列进行不同形式的游程编码，分别给出编码结果
(1) 直接统计连续0和1的个数。
(2) 采用四进制数据进行编码，即如果连续出现符号数量为1,2,3，则输出符号“1”,“2”,“3”，如果当前编码输出为“3”，之后出现符号变化，则应当一个“0”，再对变化后的符号序列进行编码，写出编码结果。
(3) 将符号序列分为4个一组，如果一组的4个符号全部为0，则输出符号“0”；否则输出符号“1”，并且直接输出该符号序列。
解 1) 输出结果为15,5,6,1,5；
2)3 3 3 3 3 0 3 2 3 3 0 1 3 2；
3）0 0 0 10001 11111 0 10010 0；
5.9使用表5.8 二进制游程编码码表对题5.8给定的序列进行游程编码。
解：0 0 0 100 111111 0 1010 0
5.10离散无记忆信源的概率空间为
使用算术编码方法对输出序列进行编码，并且对结果进行译码。
解：累计概率Pi如表所示
P1
0
P2
0.5
P3
0.75
P4
0.875
令C0=0,A0=1;
1) C1=C0+A0P2=0+1*0.5 =0.5;
A1=A0*p2=0.25;
2) C2=C1+A1P1=0.5+0.25*0 =0.5;
A2=A1*p1=0.25*0.5=0.125;
3) C3=C2+A2P1=0.5+0.125*0 =0.5;
A3=A2*p1=0.125*0.5=0.0625;
4) C4=C3+A3P3=0.5+0.0625*0 .75=0.546875;
A4=A3*p3=0.0625*0.125= 0.0078125;
L= -lbA4 =7;
编码输出为100110
译码过程如下
将接受到的码字100110转化为概率C0=0. 546875,并令A0=1；
1） 由于概率处于[0.5,0.75),所以第一个符号译码为a2,
C1=(C0-P2)/p2=(0. 546875-0.5)/0.25=0.1875；
2） 由于C1处于区间[0,0.5)，所以第2个符号译码为a1;
C2=(C1-P1)/p1=0.375；
3） 由于C2处于区间[0,0.5)，所以第3个符号译码为a1;
C3=(C2-P1)/p1=0.75；
4） 由于C3处于区间[0.75，0.875)，所以第4个符号译码为a3;
C4=(C1-P3)/p3=0；
5） 译码输出符号数量已经达到要求，译码结束。
5.11某信源输出符号有两种类型，对应的概率空间分别为
输出序列为，对应的符号类型分别为，使用算术编码器进行编码，并且对结果进行译码。
解：首先计算累计概率
P11
0
P12
0.5
P13
0.75
P14
0.875
展开阅读全文
浙ICP备2021020529号-1 | 浙B2-20240490 
