第二章作业.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,page,*,Chapter 2,信源熵,Chapter 2,信 源 熵,Information source and Entropy,第二章 作业,2.1,试问四进制、八进制脉冲所含信息量是二进制脉冲的多少倍？,解：,四进制脉冲可以表示,4,个不同的消息：,0,1,2,3,八进制脉冲：,0,1,2,3,4,5,6,7,二进制脉冲：,0,1,一般可假设每个消息的发出都是等概率的，则：,四进制脉冲的平均信息量,比特,/,符号,八进制脉冲的平均信息量,比特,/,符号,二进制脉冲的平均信息量,比特,/,符号,所含信息量分别是二进制脉冲信息量的,2,倍和,3,倍。,2,2.2,居住某地区的女孩子有,25%,是大学生，在女大学生中有,75%,是身高,160,厘米以上的，而女孩子中身高,160,厘米以上的占总数的一半。假如我们得知“,身高,160,厘米以上的某女孩是大学生,”的消息，问获得多少信息量？,解：实际即为求条件概率的问题。,女生,大学生,25%,其它,75%,75%,25%,女生,50%,50%,大学生,比特,第二章 作业,3,2.3,一副充分洗乱了的牌（含,52,张牌），试问,:,(1),任一特定排列所给出的信息量是多少？,(2),若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？,解,:1)52,张牌共有,52!,种排列方式，有：,比特,(2)52,张牌共有,4,种花色、,13,种点数,比特,第二章 作业,4,2.4,设离散无记忆信源,其发出的信息为：,(202120130213001203210110321,010021032011223210),求：,(1),此消息的自信息量是多少？,(2),此消息中平均每符号携带的信息量是多少？,解,:(1),此消息总共有,14,个,0,、,13,个,1,、,12,个,2,、,6,个,3,，,比特,(2),平均每符号携带 比特,第二章 作业,5,2.5,从大量统计资料知道，男性中红绿色盲的发病率为7%，女性发病率为0.5%，如果你问一位,男士,：“你是否是色盲？”他的回答可能是“是”，可能是“否”，问这,两个回答中各含多少信息量,，,平均每个回答中含有多少信息量,？如果,问一位女士,，则答案中含有的,平均自信息量是多少,？,解,:,男士：,比特,比特,比特,/,符号,女士：,比特,/,符号,第二章 作业,6,2.6,设信源,求该信源的熵，并解释为什么不满足最大离散熵定理？,解：,比特,/,符号,比特,/,符号,原因：,不满足归一性。,第二章 作业,7,2.9,设有一个信源，它产生,0,，,1,序列的信息。它在任意,时间而且不论以前发生过什么符号，均按概率,发出符号。,(1),试问这个信源是否是平稳的？,(2),试计算,及 3),试计算,并写出 信源中所有可能的符号。,解：,(1),根据平稳信源的定义：,一阶平稳：,二阶平稳：,该信源是平稳信源。,第二章 作业,8,(2),该信源还是无记忆信源。,比特,/,符号,比特,/,符号,比特,/,符号,(3),比特,/,符号,信源的,所有符号：,第二章 作业,9,2.10,一阶马尔可夫信源的状态图如图所示。,(1),求平稳后信源的概率分布。,(2),求信源的极限熵 。,解,:(1),对于一阶马尔可夫信源，状态,有 三种。,对平稳状态分布可套用,P,62,的式,(2.2.48):,代入：,其余为,0,第二章 作业,10,(2),代入,P,61,的式,(2.2.46):代入：,其余为,0,最终整理得：,第二章 作业,11,2.11,黑白气象传真图的消息只有黑色和白色两种，即：,信源 。设黑色出现的概率为 ，白,色的出现概率为 。,(1),假设图上黑白消息的出现前后没有关联,求熵 。,(2),假设消息前后有关联，其依赖关系为 ，,，。求此一,阶马尔可夫信源的熵 。,(3),分别求上述两种信源的剩余度，比较 和,的大小，并说明其物理意义。,解,:(1),比特,/,符号,信源为平稳无记忆信源,(,单符号信源,),。,第二章 作业,12,(2),求平稳状态分布,套用,P,62,的式,(2.2.48):,一阶马尔可夫信源，状态：,代入,P,61,的式,(2.2.46):,代入,比特,/,符号,(3),更大,第二章 作业,13,2.12,同时掷出两个正常的骰子，也就是各面呈现的概率都为 ，求：,(1)“3,和,5,同时出现”事件的自信息量。,(2)“,两个,1,同时出现”事件的自信息量。,(3),两个点数的各种组合,(,无序对,),的熵。,(4),两个点数之和对应的熵。,(5),两个点数中至少有,1,个是,1,的自信息量。,解：设两个骰子分别为甲和乙。,(1),A,：“,3,和,5,同时出现”。,比特,第二章 作业,14,(2),B,：“两个,1,同时出现”。,比特,(3),Y,：两个点数的各种组合,(,无序对,),。,所有可能的组合：,Y,的概率分布：,21,种取值,),其它：,比特,/,符号,第二章 作业,15,(4),Z,：两个点数的和。,所有可能的组合：,比特,/,符号,比特,(5),C,：“两个点数中至少有,1,个,1”,第二章 作业,16,2.14,对某城市进行交通,忙闲,的调查，并把天气分成,晴雨,两种状态，气温分成,冷暖,两个状态，调查结果得联合出现的频度如下。若将这些频度看做概率测度，求：,(1),忙闲的无条件熵。,(2),天气状态和气温状态已知时忙闲的条件熵。,(3),从天气状态和气温状态获得的关于忙闲的信息。,解,：,(1),设,X,表示忙闲。,比特,/,符号,第二章 作业,17,(2),设,Y,表示,天气状态，,Z,表示气温状态。,比特,/,符号,根据,XYZ,的联合概率分布，可求出,YZ,的边缘分布。,比特,/,符号,比特,/,符号,(3),比特,/,符号,第二章 作业,18,2.15,有两个二元随机变量,X,和,Y,，它们的联合概率为,定义另一随机变量 。试计算：,(1),(2),(3),解,：,(1),比特,/,符号,比特,/,符号,比特,/,符号,第二章 作业,19,比特,/,符号,比特,/,符号,(2),已知：,利用联合熵、条件熵、无条件熵间的关系可计算。,第二章 作业,20,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,第二章 作业,21,(3),已知：,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,比特,/,符号,第二章 作业,22,2.19,每帧电视图像可以认为是由 个像素组成，所,有像素均是独立变化，且每像素又取,个不同的亮,度电平，并设亮度电平是等概出现，问每帧图像含有,多少信息量？假设汉字共有,10000,个字且这些字等概率,分布并彼此无依赖，现由广播员对一帧图像进行口述，,试问若要恰当地描述此图像，广播员在口述中至少需,要多少汉字？,解：每帧图像含有的信息量：,每个汉字含有的信息量：,比特,至少需要的汉字数：,比特,第二章 作业,23,2.22,设有一连续随机变量，其概率密度函数为：,(1),试求此信源的微分熵 。,解：,其中：,第二章 作业,24,