信息论基础-练习与思考1.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,第二章 信源熵,海尔集团,CEO,张瑞敏，在一次中层干部会上提出这样一个问题：“石头怎样才能在水上漂起来？”,10/30/2025,1,No Chance Stay For You!,孙子兵法,曰：“激水之疾，至于漂石者，势也”速度决定了石头能否漂起来,早起的鸟儿有虫吃，赶在别人前头，不要停下来，这是竞争者的状态，也是胜者的状态。如果成功有捷径的话，那就是飞，时刻准备飞！,没有机会为你停留,!,10/30/2025,2,第二章总结,(1),单符号离散信源,信息量,自信息、条件自信息概念、性质、计算,互信息、条件互信息概念、性质、计算,互信息的三种表达方式（输入端、输出端、系统总体）,熵,信息熵的概念、性质、计算,无条件熵、条件熵（信道疑义度、噪声熵）,平均互信息概念、性质、计算,平均互信息的三种表达方式,平均互信息的凸函数性,I,(,X,;,Y,),是,p,(,x,i,),的上凸函数,I,(,X,;,Y,),是,p,(y,j,/,x,i,),的上凸函数,数据处理定理概念,理解各种熵之间的关系,10/30/2025,3,(2),多符号离散信源,离散平稳无记忆信源概念、计算,离散平稳有记忆信源概念、简单计算,条件熵、极限熵概念、简单计算,马尔可夫信源概念、极限熵计算,信源冗余度概念、通信效率与可靠性的关系,(3),连续信源,概念、与离散信源的比较和区别、简单计算,理解最大连续熵定理,熵功率的概念,(4),离散无失真信源编码定理,定长编码定理,变长编码定理,10/30/2025,4,作业题,1,2.1.,设有,12,枚同值硬币，其中有一枚为假币，且只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现采用天平比较左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？,10/30/2025,5,作业题,1,解答：在,12,枚同值硬币中，哪一枚是假币，假币的重量是比真币的重量重还是轻，都是“无知”、“不确定的”。而用天平比较左右两边轻重的测量方法，每测一次，能获得一定的信息量，能消除部分不确定性，则就能确定出其中一枚假币及其重量。因此，,设“在,12,枚同值硬币中，某一枚为假币”这事件为,其出现的概率为,又设“假币的重量比真币的重量是重或轻”这事件为 ，其出现的概率为,事件 的不确定性为,事件 的不确定性为,10/30/2025,6,作业题,1,要发现某假币并知其比真币重还是轻所需的信息量就是要消除这两个事件的不确定性。因为这两个事件是统计独立事件，所以需要获得的信息量为,而在天平上称一次能判断出三种情况：重、轻和相等，这事件为 。这三种情况是等概率的。其概率为 。,所以，天平测一次能获得的信息量（即消除的不确定性）为,则至少必须称的次数为,因此至少必须称三次。,10/30/2025,7,作业题,2,2.2.,同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为,2”,或“面朝上点数之和为,8”,或“骰子面朝上点数是,3,和,4,时”，试问这三种情况分别获得多少信息量？,10/30/2025,8,作业题,2,解答：骰子一共有六面，某一骰子扔得某一点数面朝上的概率是相等的，均为,1/6,。两骰子面朝上点数的状态共有,36,种，其中任一状态出现都是等概率的，出现概率为,1/36,。,(1),设“两骰子面朝上点数之和为,2”,是事件,A,点数之和为,2,的只有一种,(1+1),，故有,(2),设“两骰子面朝上点数之和为,8”,是事件B,点数之和为,8,的有,5,种,(2+6,，,6+2,，,4+4,，,3+5,，,5+3),10/30/2025,9,作业题,2,(3),设“骰子面朝上点数是,3,和,4,时”是事件,C,点数为,3,和,4,的状态只有两种，即,3,、,4,和,4,、,3,10/30/2025,10,作业题,3,2.5.,一幅充分洗乱了的牌（含,52,张牌），试问,(1),任一特定排列所给出的信息量是多少？,(2),若从中抽取,13,张牌，所给出的点数都不相同能得到多少信息量？,10/30/2025,11,作业题,3,解答,：,(1),任意排列共有 种，则任一排列的自信息量为：,(2),应将点数相同花色不同的牌看作一类，则任意抽取的,13,张牌应在,13,类种分别进行。其概率为,信息量为：,10/30/2025,12,作业题,4,10/30/2025,13,作业题,4,10/30/2025,14,作业题,5,2.13.,(1),为了使电视图像获得良好的清晰度和规定的适当的对比度，需要用,5,10,5,个象素和,10,个不同亮度电平，求传递此图像所需的信息率（比特,/,秒）。并设每秒要传送,30,帧图像，所有象素是独立变化的，且所有亮度电平等概率出现,？,(2),设某彩色电视系统，除了满足对于黑白电视系统的上述要求外，还必须有,30,个不同的色彩度，试证明传输该彩色系统的信息率要比黑白系统的信息率约大,2.5,倍？,10/30/2025,15,作业题,5,解答,.,(1),每个象素亮度信源的概率空间为,每个象素亮度含有的信息量,每帧图像信源就是离散亮度信源的无记忆,N,次扩展信源，可得每帧图像含有的信息量为,每秒,30,帧，则传递此图像所需的信息率为,10/30/2025,16,作业题,5,解答,.,(2),色彩度信源的概率空间为,每个色彩度含有的信息量,亮度和色彩度是独立同时出现的，每个象素含有的信息量为,在每帧所用象素数和每秒传送帧数相同时，信息率之比为,10/30/2025,17,作业题,6,2.18.,设有一个信源，它产生,0,1,序列的信息。它在任意时间而且不论以前发生过什么符号，均按,P,(0)=0.4,，,P,(1)=0.6,的概率发出符号。,(1),试问这个信源是否是平稳的？,(2),试计算,(3),试计算,H,(,x,4,),并写出,x,4,信源中可能有的所有符号。,10/30/2025,18,作业题,6,解答：,(1),信源发出符号的概率分布与时间平移无关，而且信源发出的序列之间也是彼此无依赖的，因此该信源是平稳的，而且是离散无记忆信源。,(2),10/30/2025,19,作业题,6,(3),10/30/2025,20,作业题,7,2.22.,一阶马尔可夫信源的状态图如图,2.8,所示。信源,X,的符号集为,0,1,2,。,(1),求信源平稳后的概率分布,P(0),P(1),P(2),；,(2),求信源的熵,H,。,(3),近似认为此信源为无记忆时，,符号的概率分布为平稳分布，,求近似信源的熵,H(X),并与,H,进行比较。,(4),对一阶,马尔可夫信源,p,取何值时,H,最大，,当,p=0,和,p=1,时结果又如何。,10/30/2025,21,作业题,7,10/30/2025,22,作业题,7,10/30/2025,23,作业题,7,10/30/2025,24,作业题,7,10/30/2025,25,作业题,8,2.23.,一阶马尔可夫信源的状态图如图,2.9,所示。信源,X,的符号集为,0,1,2,。,(1),求平稳后信源的概率分布；2),求信源的熵,H,。,(3),求当,p=0,和,p=1,时信源的熵，,并说明理由。,10/30/2025,26,作业题,8,10/30/2025,27,作业题,8,10/30/2025,28,作业题,9,2.25.,一黑白气象传真图的消息只有黑色和白色两种，即信源,X,=,黑,白,。设黑色出现的概率为,P,(,黑,)=0.3,，白色的出现概率,P,(,白,)=0.7,。,(1),假设图上黑白消息出现前后没有关联，求熵,H(X),；,(2),假设消息前后有关联，其依赖关系为,P,(,白,/,白,)=0.9,，,P,(,黑,/,白,)=0.1,，,P,(,白,/,黑,)=0.2,，,P,(黑,/,黑,)=0.8,，求此一阶马尔可夫信源的熵,H,2,(,X,),；,(3),分别求上述两种信源的剩余度，比较和的大小，并说明其物理意义。,10/30/2025,29,作业题,9,10/30/2025,30,作业题,9,(2),10/30/2025,31,作业题,9,(3),10/30/2025,32,练习题,1,1.,设有一非均匀骰子，若其任一面出现的概率与该面上的点数成正比，试求各点出现时所给出的信息量，并求扔一次平均得到的信息量。,10/30/2025,33,练习题,2,2.,证明离散平稳信源有,10/30/2025,34,3.,每帧电视图像可以认为是由,310,5,个像素组成的，所有像素均是独立变化，且每像素又取,128,个不同的亮度电平，并设亮度电平是等概率出现，问每帧图像含有多少信息量？若有一个广播员，在约,10000,个汉字中选,1000,个汉字来口述这电视图像，试问广播员描述此图像所广播的信息量是多少,(,假设汉字字汇是等概率分布，并彼此无依赖,),？若要恰当地描述此图像，广播员在口述中至少需要多少汉字？,练习题,3,10/30/2025,35,泪水和汗水的化学成分相似，泪水为你换来同情，汗水为你赢得成功。,与其流泪，不如流汗,10/30/2025,36,