第3章-离散信源(1)题与答案.doc

3、1 设有一离散无记忆信源,其概率空间为该信源发出得信息序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210)。求:(1) 此消息得自信息量就是多少？(2) 此消息中平均每符号携带得信息量就是多少？解:(1) 此消息总共有14个0、13个1、12个2、6个3,因此消息发出得概率就是:此消息得信息量就是:(2) 此消息中平均每符号携带得信息量就是:3、2 某一无记忆信源得符号集为0, 1,已知信源得概率空间为(1) 求信息符号得平均熵;(2) 由100个符号构成得序列,求某一特定序列(例如有m个“0”与(100 m)个“1”)得自信息量得表达式;(3) 计算(2)中序列得熵。解:(1)(2) (3) 3、5 某信源得消息符号集得概率分布与二进制代码如题表3、2所列。题表 3、2信源1/21/41/81/8代码010110111(1) 求信息得符号熵;(2) 求每个消息符号所需要得平均二进制码得个数或平均代码长度。进而用这一结果求码序列中得一个二进制码得熵;(3) 当消息就是由符号序列组成时,各符号之间若相互独立,求其对应得二进制码序列中出现0与1得无条件概率与,求相邻码间得条件概率、。解:(1) (2) (3) 设消息序列长为,则、得个数分别为个。则0得个数为而1得个数为因而3、7 设有一个信源,它产生0,1序列得信息。该信源在任意时间而且不论以前发生过什么消息符号,均按P(0) = 0、4,P(1) = 0、6得概率发出符号。(1) 试问这个信源就是否就是平稳得;(2) 试计算H(X2), H(X3/X1X2)及H;(3) 试计算H(X4)并写出X4信源中可能有得所有符号。解:(1) 这个信源就是平稳无记忆信源。因为有这些词语:“它在任意时间而且不论以前发生过什么符号”(2) (3) 3、11 有一马尔可夫信源,已知转移概率为,。试画出状态转移图,并求出信源熵。解:3、21黑白传真机得信息元只有黑色与白色两种X=黑,白,一般气象图上黑色出现得概率为P(黑) = 0、3,白色出现得概率为P(白) = 0、7,黑白消息前后没有关联,其转移概率为P(白/白) = 0、9,P(黑/白) = 0、1,P(白/黑) = 0、2,P(黑/黑) = 0、8。求该一阶马尔可夫信源得不确定性H(X/X),并画出该信源得状态转移图。解:3、23 设信源产生A, B, C三种符号,。试计算冗余度。解:3、26 一阶马尔可夫信源得状态图如下图所示。信源X得符号集为0, 1, 2。(1) 求平稳后信源得概率分布;(2) 求信源得熵H。解:(1)(2)