数字图像处理信息的统计度量n.ppt

单击此处编辑母版标题样式,*,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,第二章 信息的统计度量,2.1,自信息量和条件自信息量。,2.2,互信息,2.3,平均自信息,2.4,平均互信息,2.5,连续随机变量的互信息和相对熵,1,2.1,自信息量和条件自信息量,信息,不确定性,信息的度量,随机性、概率,相互独立事件符合概率相乘、信息相加,熵,事件集的平均不确定性,2,直观推导信息测度,信息,I,应该是消息概率,p,的递降函数,由两个不同的消息（相互统计独立）所提供的信息等于它们分别提供信息之和（可加性）,3,4,5,两个消息的相互依赖性越大，它们相互间的信息量就越大（这里指绝对值例,W,：贵阳明日气温,H,：修文明日气温,B,：北京明日气温,N,：纽约明日气温,W,与,H,相互间的信息量大，,W,与,B,相互间的信息量小，,W,与,N,相互间的信息量几乎为,0,定义,2-1,：对于给定的离散概率空间表示的信源，,x=,a,i,事件所对应的（自）信息量为,以,2,为底，,单位,为比特（,bit),以,e=2.718281828,为底，单位为奈特（,nat,),理论推导时常用,1nat=1.433bit 1bit=0.693nat,以,10,为底，单位为笛特（,det,),或哈特（,Hart,）,1det=3.322bit 1bit=0.301det,6,对通信系统来说：,7,自信息量和概率成反比。,规定,0log0=0,自信息量的含义可从多个不同的角度来理解,自信息量的单位表示的含义可理解为：用,n,进制的数表示这些信息量需要多少位数。,例,2-1,试求两个事件的自信息量。,8,I=-log1/52!=22558,I=-log4,13,/C,13,52,13.21,9,定义,2-2,：联合概率空间中任一联合事件的联合（自）信息量为：,当,x,i,和,y,j,相互独立是，有,10,联合自信息量的单位与自信息量的单位相同，它的含义是：两个事件同时发生的不确定性的大小；两个事件同时发生带来的信息量；将该信息量表示出来所需的,n,进制位的个数。,11,自信息量的特性,p,（,x,i,）,=1,，,I,（,x,i,）,=0,p,（,x,i,）,0,，,I,（,x,i,）,；,p,（,x,i,）,=0,，,I,（,x,i,）,=,非负性，由于一个符号出现的概率总在闭区间,0,1,内，所以自信息量为非负值。,单调递减性，,P7,图,2-1,可加性,12,例英文字母中“,e”,的出现频率为,0.105,，“,c”,出现的频率为,0.023,，“,o”,出现的频率为,0.001,，分别计算它们的自信息量。,I,（,e,）,=-log0.105=3.25bit,I,（,c,）,=-log 0.023=5.44bit,I,（,o,）,=-log 0.001=9.97bit,13,定义,2.3,事件,x,i,在事件,y,j,给定条件下的条件,自信息量为：,14,2.2,离散信源熵与互信息,15,16,例,2-2,I,（,x,）,=13.2877bit,I,（,x/y,）,=6.6439bit,17,2.2,离散信源熵与互信息,例一个布袋内放,100,个球，其中,80,个球为红色，,20,球为白色。若随机摸取一个球，猜测其颜色，求平均摸取一次所获得的（自）信息量。,解：随机事件的概率空间为,18,2.2,离散信源熵与互信息,19,2.2,互信息,自信息量是衡量一个事件所包含的信息量的大小，互信息量是衡量两个或多个事件之间关系的紧密程度。,20,定义,2.4对于给定离散概率空间表示的信源，在出现,y,事件后所提供有关事件,x,的信息量定义互信息量,，,单位为,比特,21,互信息量,=,自信息量,-,条件自信息量,=,原有的不确定性,-,仍然保留的不确定性,互信息量的含义：,1.,由事件,y,i,消除掉的关于事件,x,i,的不确定性。,2.,由事件,y,i,能够提供的事件,x,i,的信息量。,3.,一个事件能够提供的关于另一个事件的信息量越多，说明两者关系越密切，因此互信息量还表示了事件,y,i,和事件,x,i,之间关系的密切程度。互信息量的绝对值越大事件,y,i,和事件,x,i,关系越密切。,22,23,24,25,互信息量,例,2-3,26,27,28,互信息量的性质,1.,互易性,I,（,x,；,y,）,=I,（,y,；,x,）,其含义是由事件,y,所提供的关于事件,x,的信息量等于由事件,x,提供的关于事件,y,的信息量。,2.,当事件,x,、,y,统计独立时，互信息量为,0.,例,2-4,29,3.,互信息量可正可负,例,2-5,30,4.,互信息量不大于其中任一事件的自信息量。,31,2.3,平均自信息量,熵,自信息量是针对一个事件而言的，很多事件组成一个离散事件集合，概率空间为：,p,(,x,i,),0,，,32,定义,2-5,：对于给定离散概率空间表示的信源所定义的随机变量,I,的数学期望为,信源的信息熵，,单位为,比特,/,符号,集合,X,的平均自信息量又称为,X,的信息熵，简称熵。,33,在信息论中，认为信源输出的消息是随机的。即在未收到消息之前，是不能肯定信源到底发送什么样的消息。而通信的目的也就是要使接收者在接收到消息后，尽可能多的解除接收者对信源所存在的疑义（不定度），因此这个被解除的不定度实际上就是在通信中所要传送的信息量。,34,因此,接收的信息量在无干扰时,在数值上就等于信源的,信息熵,，式中,P(x,i,),为信源取第,i,个符号的概率。但在概念上,信息熵与信息量是有区别的。信息熵是描述信源本身统计特性的一个物理量。它是信源平均不定度，是信源统计特性的一个客观表征量。不管是否有接收者它总是客观存在的。信息量则往往是针对接收者而言的，所谓接收者获得了信息，是指接收者收到消息后解除了对信源的平均不定度，它具有相对性。,35,熵的含义：,1.,表示了集合中所有事件是否发生的平均不确定性的大小。,2.,表示了集合中事件发生，带给人们的平均信息量的大小。,3.,表示了确定集合中到底哪个事件发生时所需的平均信息量的大小。,4.,表示了如果用二进制数据将集合中的各个元素表示出来所需的二进制位的平均数。,例,2-6,36,2.3.2,熵函数的数学性质,熵的性质,对称性,非负性,确定性,香农辅助定理,(,香农不等式,),极值性（最大熵定理）,条件熵不大于无条件熵（熵的不增原理）,37,对称性,38,对称性表明，熵具有局限性，它仅与随机变量的总体结构有关，抹杀了个体的特性。,例,2-7 A,、,B,两地的天气状况。,由于熵的这种局限性，提出了加权熵的概念。,定义,2-6,例,2-8,香农熵是权重系数均为,1,的加权熵。,39,非负性,式中的等号只有在,p,i,=1,时出现。,40,非负性的含义是当集合中有一个事件必然出现，其他事件不可能出现时，集合的熵为,0,，此时这个集合没有不确定性，否则这个集合或多或少总会存在一定的不确定性。,41,确定性,42,例,2-9,43,极值性（最大熵定理）,对于包含,M,个不同离散消息的无记忆信源,X,，有：,44,上凸性,45,条件熵不大于无条件熵（熵的不增原理,）,增加条件只可能使不确定性减少,46,定义,2-7,：对于给定离散概率空间表示的信源所定义的随机变量,I,（,x/y,),在集合,X,上的数学期望为给定,y,条件下,信源的条件熵，,单位为,比特,/,序列,2.3.3,条件熵,47,2.3.3,条件熵,48,49,2.3.4,联合熵,定义,2-8,：对于给定离散概率空间表示的信源所定义的随机变量,I,（,x,，,y),的数学期望为集合,X,和集合,Y,的,信源联合熵，,单位为,比特,/,序列,50,符号熵,条件熵,联合熵,51,2.3.5,各种熵之间的关系,1.,联合熵、条件熵与熵的关系,52,2.,联合熵和熵之间的关系,H,X,，,Y,）,H,（,X,）,+H,（,Y,）；当,X,，,Y,统计独立时等号成立。,3.,条件熵和熵之间的关系,H,（,Y/X,）,H,（,Y,）；当,X,，,Y,统计独立时等号成立。,例,2-12,53,2.4,平均互信息,54,Eg,设信源发出,8,种消息符号，各消息等概发送，各符号分别用,3,位二进码元表示，并输出事件。通过对输出事件的观察来推测信源的输出。假设信源发出的消息,x,4,，,用二进码,011,表示，接收到每个二进制码元后得到有关,x,4,信息。,信源输出,二进码字,先验概率,后验概率,收到,0,收到,01,收到,011,X1,000,1/8,0,0,X2,001,1/8,0,0,X3,010,1/8,0,X4,011,1/8,1,X5,100,1/8,0,0,0,X6,101,1/8,0,0,0,X7,110,1/8,0,0,0,x8,111,1/8,0,0,0,等概率二进码的后验概率,信源输出,二进码字,先验概率,后验概率,收到,0,收到,01,收到,011,X1,000,1/8,1/6,0,0,X2,001,1/3,0,0,X3,010,1/8,1/6,1/3,0,X4,011,1/3,2/3,1,X5,100,1/16,0,0,0,X6,101,1/16,0,0,0,X7,110,1/16,0,0,0,x8,111,1/16,0,0,0,不等概率二进码的后验概率,I(x,4,；,0)=0.145bit/,符号,I(x,4,；,01)=1.145bit/,符号,I(x,4,；,011)=2bit/,符号,同样的事件,011,，等概时信息要大些。,平均互信息量,其中,60,平均互信息的含义：,1.,知道了集合,Y,之后，平均,Y,中的一个事件消除掉的关于集合,X,中的一个事件的不确定性。,2.,由,Y,中的一个事件平均能够提供出来的关于集合,X,中的一个事件的信息量。,3.,表示了两个集合之间关系的密切程度。,61,62,63,64,平均互信息的性质,1.,非负性,65,2.,互易性,66,3.,极值性,67,68,4.,凸性函数,当条件概率分布给定时，平均互信息量是输入概率分布的上凸函数,当集合,X,的概率分布保持不变时，平均互信息量是条件概率分布的下凸函数,69,2.4.3,各种熵和平均互信息量之间的关系,70,信息不增性,71,数据处理定理,72,如果想从测量结果,Y,中得到越来越多的关于,X,的信息量，必须付出代价。常用的方法是通过多次测量，因为,H,（,X/Y,1,Y,2,）,H,（,X/Y,1,），所以,I,（,X,；,Y,1,Y,2,）,I,（,X,；,Y,1,）。,可以证明取测量值,Y,的次数越多，,X,的条件熵越小，获得的信息量就越大。尤其当各次测量值相互独立时，趋势更明显。取,Y,无数次后，,H,（,X/Y,1,Y,2,Y,3,）,0,I,（,X,；,Y,1,Y,2,Y,3,）,H,（,X,）,解决方法：多次测量,74,例 有一信源输出,X0,，,1,，,2,，其概率为,p,（,0,）,=1/4,，,p(1)=1/4,，,p(2)=1/2,。设计两个独立实验去观察它，其结果分别为,Y,1,0,，,1,，,Y,2,0,，,1,，已知条件概率为下表所列，,p(y,1,/x),0,1,p(y,2,/x),0,1,0,1,0,0,1,0,1,0,1,1,1,0,2,1/2,1/2,2,0,1,求,(1)I,（,X,；,Y,1,）和,I,（,X,；,Y,2,），并判断哪一个实验好些。,(2)I,（,X,；,Y,1,，,Y,2,），并计算做,Y,1,和,Y,2,两个实验比作,Y,1,或,Y,2,中的一个实验各可多得多少关于,X,的信息。,(3)I,（,X,；,Y,1,/Y,2,）和,I,（,X,；,Y,2,/Y,1,）。,77,78,79,80,81,82,2.5,连续随机变量的互信息和相对熵,2.5.1,连续随机变量的统计特性,83,连续信源,显然应满足,p,X,(,x,),0,，,概率密度函数的含义：连续随机变量处在区间,c,d,之间的概率等于函数曲线，,x,轴，直线,x=c,，,x=d,所围起来的区域的面积。,85,幅度连续的单个符号信源熵,86,一般为一个定值 正无穷大,87,幅度连续的单个符号信源熵,88,89,90,91,3.,两个,1,同时出现的自信息量。,4.,两个点数至少有一个是,1,的信息量。,92,