信息论各种熵之间的关系.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,2.1.5,各种熵之间的关系,X Y,X Y,X Y,X Y,X Y,2.2.1,无记忆扩展信源的熵,2.2.2,离散平稳信源的熵,2.2.3,马尔可夫信源,2.2.4,信源的冗余度,2.2,扩展信源,无记忆的离散信源序列,离散有记忆序列信源,离散平稳信源,马尔可夫信源,无记忆扩展信源每次发出一组含两个以上符号的符号序列代表一个消息，而且所发出的各个符号是相互独立的，各个符号的出现概率是它自身先验概率。序列中符号组的长度即为扩展次数。,离散平稳信源随机矢量中的各随机变量的统计特性都不随时间推移而变化。,1离散无记忆二进制信源,X,的二次扩展信源,每两个二进制数字构成一组，则新的等效信源,X,的输出符号为,00,，,01,，,10,，,11,。,若单符号离散信源的数学模型为,二次扩展信源的数学模型为,其中，,X,2,表示二次扩展信源。这里，,a,1,=00,a,2,=01,a,3,=10,a,4,=11,。且有,2.2.1,无记忆扩展信源的熵,2,、离散无记忆信源,X,的,N,次扩展信源,（,1,）数学模型,设单符号离散信源的数学模型为,满足,则其,N,次扩展信源用,X,N,来表示，其数学模型为,满足,每个符号,a,i,对应于某个有,N,个,x,i,组成的序列。,在,N,次扩展信源,X,N,中，符号序列构成的矢量其各分量之间是彼此统计独立的，即,（,2,）熵,N,次扩展信源的熵按信息熵的定义为,其单位为比特,/,符号序列。,H,(,X,N,)=,H,(,X,1,X,2,X,N,)=,H,(,X,1,)+,H,(,X,2,/,X,1,)+,H,(,X,3,/,X,1,X,2,)+,H,(,X,N,/,X,1,X,2,X,N,-1,),由于无记忆扩展信源的各,X,i,之间是彼此独立的，且各个,H,(,X,i,)=,H,(,X,),所以,H,(,X,N,)=,H,(,X,1,X,2,X,N,)=,H,(,X,1,)+,H,(,X,2,)+,H,(,X,3,)+,H,(,X,N,)=,NH,(,X,),单符号信源如下,求二次扩展信源熵,扩展信源：,例,离散平稳信源,各维联合概率均与时间起点无关的完全平稳信源。,对于随机变量序列,X,=,X,1,X,2,X,N,若任意两个不同时刻,i,和,j,(,大于,2,的任意整数,),，信源发出消息的概率分布完全相同，即,一维平稳信源,P,(,X,i,=,x,1,)=,P,(,X,j,=,x,1,)=,p,(,x,1,),P,(,X,i,=,x,2,)=,P,(,X,j,=,x,2,)=,p,(,x,2,),P,(,X,i,=,x,n,)=,P,(,X,j,=,x,n,)=,p,(,x,n,),2.2.2,离散平稳信源的熵,1.,定义,二维平稳信源,P,(,X,i,=,x,)=,P,(,X,j,=,x,)=,p,(,x,),P,(,X,i,=,x,1,X,i,+1,=,x,2,)=,P,(,X,j,=,x,1,X,j,+1,=,x,2,)=,p,(,x,1,x,2,),其中,x,1,x,2,X,=(,x,1,x,2,x,n,),离散平稳信源,P,(,X,i,)=,P,(,X,j,),P,(,X,i,X,i,+1,)=,P,(,X,j,X,j,+1,),P,(,X,i,X,i,+1,X,i,+2,X,i,+,N,)=,P,(,X,j,X,j,+1,X,j,+2,X,j,+,N,),反映信源记忆特性的两方法,：,用联合概率反映信源记忆特性,用条件概率反映信源记忆特性,1,2,2.,二维信源,每组中的后一个符号与前一个符号有统计关联关系，而这种概率性的关联与时间的起点无关。假定符号序列的组与组之间是统计独立的。,一般地,例,原始信源：,条件概率：,X,1,X,2,H,(,X,1,X,2,)=,H,(,X,1,)+,H,(,X,2,/,X,1,)=1.542+0.870=2.412(,比特,/,符号,),3.,N,维离散平稳有记忆信源,(1),熵,平均符号熵：,极限熵：,(2),极限熵,（,3,）性质,条件熵,H,(,X,N,|,X,1,X,2,X,N,-1,),随着,N,的增加而递减,证明：,H,(,X,N,|,X,1,X2,X,N,-1,),H,(,X,N,|,X,2,X,N,-1,),（条件熵小于等于无条件熵）,=,H,(,X,N,-1,|,X,1,X,2,X,N,-2,),（序列的平稳性）,若,N,一定，则平均符号熵大于等于条件熵,H,N,(,X,),H,(,X,N,|,X,1,X,2,X,N,-1,),证明：,NH,N,(,X,)=,H,(,X,1,X,2,X,N,),=,H,(,X,1,)+,H,(,X,2,|,X,1,)+,H,(,X,N,|,X,1,X,2,X,N,-1,).,=,H,(,X,N,)+,H,(,X,N,|,X,N,-1,)+,H,(,X,N,|,X,1,X,2,X,N,-1,),序列平稳性）,NH,(,X,N,|,X,1,X,2,X,N,-1,),（条件熵小于等于无条件熵）,所以,H,N,(,X,),H,(,X,N,|,X,1,X,2,X,N,-1,),平均符号熵也随,N,的增加而递减,证明：,NH,N,(X)=,H,(,X,1,X,2,X,N,)=,H,(,X,N,|,X,1,X,2,X,N,-1,)+,H,(,X,1,X,2,X,N,-1,),=,H,(,X,N,|,X,1,X,2,X,N,-1,)+(,N,-1),H,N,-1,(,X,),H,N,(,X,)+(,N,-1),H,N,-1,(,X,),所以,H,N,(,X,),H,N,-1,(,X,),，,即序列的统计约束关系增加时，由于符号间的相关性，平均每个符号所携带的信息量减少。,如果,H,(,X,),，则存在 ，并且,作业：,2.17 2.18,2.17,某一无记忆信源的符号集为,0,1,，已知,P(0),=1/4,，,P(1),=3/4,。,(1),求符号的平均熵；,(2),有,100,个符号构成的序列，求某一特定序列（例如有,m,个“,0”,和（,100-,m,）个“,1”,）的自信息量的表达式；,(3),计算,(2),中序列的熵。,2.18,设有一个信源，它产生,0,，,1,序列的信息。它在任意时间而且不论以前发生过什么符号，均按,P(0)=0.4,，,P(1)=0.6,的概率发出符号。,(1),试问这个信源是否是平稳的？,(2),试计算,H(X,2,),H(X,3,/X,1,X,2,),及,H,；,(3),试计算,H(X,4,),并写出,X,4,信源中可能有的所有符号。,