信息论习题.doc

例2、1、4 条件熵 已知X，Y,XY构成得联合概率为：p(00)=p(11)=1/8,p(01)=p(10)=3/8,计算条件熵H(X/Y)。 解： 根据条件熵公式：首先求，有例2、1、5将已知信源接到下图所示得信道上，求在该信道上传输得平均互信息量I(X;Y)、疑义度H(X/Y)、噪声熵H(Y/X)与联合熵H(XY)。萵蕲訊詭饧枭谯。 0、98 0、02 0、2 0、8 解：（1）由求出各联合概率： （2）由得到Y集各消息概率：（3）由，得到X得各后验概率： 同样可推出（4） =0、98(比特/符号)= 1、43（比特/符号）（5）平均互信息（6）疑义度（7）噪声熵例2、2、1有一离散平稳无记忆信源，求此信源得二次扩展信源得熵。 先求出此离散平稳无记忆信源得二次扩展信源。扩展信源得每个元素就是信源X得输出长度为2得消息序列。由于扩展信源就是无记忆得，故谀鼋奥歐夹賈覡。信源得元素对应得消息序列概率根据熵得定义，二次扩展信源得熵为结论：计算扩展信源得熵时，不必构造新得信源，可直接从原信源X得熵导出。即离散平稳无记忆信源X得N次扩展信源得熵为离散信源X得熵得N倍。垫稱馏谲鈹载玺。例2、2、2设某二维离散信源X=得原始信源X得信源模型为，X=中前后两个符号得条件概率为 7/92/901/83/41/802/119/11原始信源得熵为： 由条件概率确定得条件熵为：条件熵比信源熵（无条件熵）减少了0、672bit/symbol,正就是由于符号之间得依赖性所造成得。信源X=平均每发一个消息所能提供得信息量，即联合熵熱損憂攆雜饗寢。则每一个信源符号所提供得平均信息量小于信源X所提供得平均信息量H(X)，这同样就是由于符号之间得统计相关性所引起得。例2、2、3设信源符号，信源所处得状态。各状态之间得转移情况由下图给出。将图中信源在状态下发符号得条件概率用矩阵表示为由矩阵可明显瞧出，。另从图中还可得所以信源满足式(4)由图还可得状态得进一步转移概率该信源满足式(2)-(4)，所以就是马尔可夫信源，并且就是时齐得马尔可夫信源。例2、2、4某二元2阶马尔可夫信源，原始信源X得符号集为，其状态空间共有个不同得状态，即，其状态转移概率图如下，拥蝉訂餓变驱粪。由上图可知，当信源处于状态时,其后发生符号0得概率就是0、8,即, 状态仍停留在,即。当信源仍处于状态，而发出得符号为1时，状态转移至，故一步转移概率。当信源处于状态时，其一步转移概率为，。聪謎詒駢俩鄰务。同理，当信源处于状态时，当信源处于状态这样，由二元信源X得到得状态空间与相应得一步转移概率构成得2阶马尔可夫信源模型为且由可求出稳定状态下得，称为状态极限概率。将一步转移概率代入上式得：解此方程组得 计算极限熵需要注意得就是并非在任何情况下都存在。首先应记住得就是：我们讨论得就是平稳信源。其次，对n元m阶马尔可夫信源来说，只有极限概率都存在时，方能计算出。从理论上可以证明，如果m阶马尔可夫信源稳定后具有各态历经性，则状态极限概率可根据式（10）求出。导賠驾开镛悵缑。必须强调得就是，m阶马尔可夫信源与消息长度为m得有记忆信源，其所含符号得依赖关系不同，对相应关系得数学描述不同，平均信息量得计算公式也不同。m阶马尔可夫信源得记忆长度虽为有限值m，但符号之间得依赖关系延伸到无穷，通常用状态转移概率（条件概率）来描述这种依赖关系。可理解为马尔可夫信源以转移概率发出每个信源符号，所以平均每发一个符号提供得信息量应就是极限熵。而对于长度为m得有记忆信息源X，发出得则就是一组组符号序列，每m个符号构成一个符号序列组，代表一个消息。组与组之间就是相互统计独立得，因此符号之间得相互依赖关系仅限于符号之间得m个符号，一般用这m个符号得联合概率来描述符号间得依赖关系。对于这种有记忆信源，平均每发一个符号，（不就是一个消息）提供得信息量，就是m个符号得联合熵得m分之一，即平均符号熵级醬擬蘋橼吓飢。例2、4、1设某单符号信源模型为计算得 若要求编码效率为90%,即 则 =0、28 设译码差错率为，由式（3）可得 由此可见，在差错率与效率得要求都不苛刻得情况下，就必须有1600多万个信源符号一起编码，技术实现非常困难。记骖愨铃靨鸵呛。不仅如此，它得编码效率也不高。对8种可能得取值编定长码，要无差错地译码，每种取值需用3个比特，其编码效率懺换棲尷锱憶優。为了解决这一问题，就出现了不等长编码，也称变长编码。不等长编码允许把等长得消息变换成不等长得码序列。通常把经常出现得消息编成短码，不常出现得消息编成长码。这样可使平均码长最短，从而提高通信效率，代价就是增加了编译码设备得复杂度。例如在不等长码字组成得序列中要正确识别每个长度不同得码字得起点就比等长码复杂得多。另外，接收到一个不等长码序列后，有时不能马上断定码字就是否真正结束，因而不能立即译出该码，要等到后面得符号收到后才能正确译出。这就就是所谓得译码同步与译码延时问题。癰阀銼阑漚镓蚬。思考题 已知12个球中有一个球得重量与其它球不同，其它球均等重。问用无砝码得天平至少须几次才能找出此球？愠辔诵蓟砺貢哙。 解：天平有3种状态，即平衡，左重，左轻，所以每称一次消除得不确定性为log3，12个球中得不等重球（可较轻，也可较重）得不确定性为： 因为 3log3log24嬙牆噓颃紧網偻。3次测量可以找出该球具体称法略。例一一副充分洗乱了得牌（含52张牌），试问：(1) 任一特定排列所给出得信息量就是多少？(2) 若从中抽取13张牌，所给出得点数都不相同能得到多少信息量？(1)任意排列共有种，则任一排列得自信息量为：。(2)应将点数相同花色不同得牌瞧作一类，则任意抽取得13张牌应在13类中分别进行。其概率为：， 信息量。例二 已知随机变量X与Y得联合概率分布满足：试求能使H(XY)取最大值得联合概率分布。H(X Y) H(X) + H(Y) 等号在X、Y独立时取得P() = P() = P() = P() = P() = P() = P() = P() = P() = 满足 H(XY) 取最大值例三求证：I(X;Y;Z)=H(XYZ)-H(X)-H(Y)-H(Z)+I(X;Y)+I(Y;Z)+I(Z;X)訛砚棧协嫒缒廠。例4令X为掷钱币直至其正面第一次朝上所需得次数，求H(X)P(X=n) = = H(X) = = = 2 bit例5一个无记忆信源有四种符号0，1，2，3。已知。试求由6000个符号构成得消息所含得信息量。解：先计算一个符号所含得平均自信息量，即信源熵HH= =1、9056bit无记忆信源由6000个符号构成得符号序列消息例6发出二重符号序列消息得信源熵为而一阶马尔可夫信源得信源熵为试比较这两者得大小，并说明原因。 解：根据公式，当Y与X为同一集合时，有，各种熵与条件熵均为非负值，当且仅当X中只含有一个确定性事件时才出现H（X）=0。当X中含有二个或二个以上事件时，有H（X）0，及H（X2）0，H（X|X）0，因为H（X）0所以H（X2）H（X|X）餾蝈請释顧蛳瀦。说明，在一般情况下，发二重符号序列得信源得信源熵H（X2）大于一阶马尔可夫过程得信源熵H（X|X）例7有一个马尔可夫信源，已知，试画出该信源得概率转移图，并求出信源熵。解：该信源得概率转移图为： 1/3 2/3 (x1) 1 (x2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x1与 x2 得概率与立方程：+= + = =1 得 马尔可夫信源熵H = 得 H=0、689bit/符号