信息理论与编码.ppt

回答问题,:,什么是符号的条件信息量,？什么是符号的互信息量？它们的物理意义是什么？在什么情况下某个符号的自信息量会为,0?,2-5,：居住某地区的女孩中有,25%,是大学生，在女大学生中有,75%,身高为,1.6m,以上，而女孩中身高,1.6m,以上的占总数一半。假如得知,“,身高,1.6m,以上的某女孩是大学生的消息，问获得多少信息量。,A=,“,女孩,”,，,B=,“,大学生,”,，,C=,“,身高,1.6m,以上,”,P(B/A)=0.25 P(C/AB)=0.75 P(C/A)=0.5,第一节：单符号离散信源一：符号的信息量二：信源的平均信息量,1,、信息熵,信源,X,中各符号平均,信息量。单位,bit/symbol,定义：在给定,Y,条件下，,X,的条件熵,H,（,X/Y,）,=,2,、条件,熵,相应地，在给定,X,的条件下，,Y,的条件熵,H(Y/X),定义为,H(Y/X)=,H(Y/X):,噪声对各符号产生的平均信量，称为噪声熵。,H(X/Y),：在传输符号时平均损失的信息量，称为疑义度。,3,、联合熵,H,（,XY,）,=,联合熵,H,（,XY,）,表示,X,和,Y,同时提供的符号平均信息量,4,、平均互信息量,表示通信系统在传输一个符号时，所传送的平均信息量。,各参数的意义总结,:,H,（,X,）,是符号集合,X,中每个符号包含的平均信息量,.,I,（,X,；,Y,）,信道上能传输的平均信息量,.,H,（,X,Y,）称为疑义度，它是信道中每个符号损失的,信息量。,H,（,Y,X,）称为噪声熵。,H(XY),联合熵,H（XY）H（X）H（YX）,H（XY）H（Y）H（XY）,1,）,I,（,X,；,Y,）,=H,（,X,）一,H,（,X,Y,）,I,（,X,；,Y,）,=H,（,Y,）,一,H,（,Y,X,）,3,）,I,（,X,；,Y,）,=I,（,Y,；,X,）,4)I(X;Y)=H(X)+H(Y)-H(XY),例,2-9,：二进制通信系统使用符号,0,和,1,，由于存在失真，传输时会产生误码。设：,u0-,发出一个,0,；,u1,发出一个,1,；,v0,收到一个,0,；,v1,收到一个,1,。,P(u0)=1/2,p(v0/u0)=3/4,p(v0/u1)=1/2.,(1),已知发出一个,0,，求收到符号后的信息量；,(2),已知发出一个符号，求收到符号后的信息量；,(3),已知发出的和收到的符号，求能得到的信息量；,(4),已知收到的符号，求被告知发出的符号能得到的信息量。,求,:,(1)H(Y/u0),(2)H(Y/X),(3)H(XY),(4)H(X/Y),?I(X;Y),求,:,(1)H(Y/u0)(2)H(Y/X)(3)H(XY,(4)H(X/Y)?I(X;Y),2-10,在一个袋中放入,5,个黑球、,10,个白球，以摸出一个球为一次实验，摸出的球不再放进去。求：,（,1,）一次实验,X,包含的不确定度；,（,2,）第一次实验,X,摸出的是黑球，第二次实验,Y,给出的不确定度；,（,3),第一次实验,X,摸出的是白球，第二次实验,Y,给出的不确定度；,（,4,）第二次实验,Y,包含的不确定度。,求,:,(1)H(X),(2)H(Y/X=,“,黑,”,),(3)H(Y/X=,“,白,”,),(4)H(Y),求,:,(1)H(X),(2)H(Y/X=,“,黑,”,),(3)H(Y/X=,“,白,”,),(4)H(Y),(1)H(X)=H(1/3,2/3)=0.92,(2)H(Y/X=,“,黑,”,)=H(2/7,/5/7)=0.86,(3)H(Y/X=,“,白,”,)=H(5/14,9/14)=0.94,(4)H(Y),P(y,=,“,黑,”,)=1/3,P(y=,“,白,”,)=2/3,H(Y)=0.92,通过第,2,次的实验结果能够获得的关于第,1,次实,验的信息量为,I(X;Y)=?,练习,:,习题,2-11,什么叫全损离散信道,?,分析,:I,（,X,；,Y,）,H,（,X,）,-H,（,X,Y,）,如果,X,与,Y,是相互独立的，,I,（,X,；,Y,）,=0,。,信源发出的信息量在信道上全部损失掉了，此时称为全损离散信道,什么叫无扰离散信道,?,由于没有噪声，,X=Y,所以信道不损失信息量，疑义度,H,（,X,Y,）,为零，噪声熵也为零。此时有：,I,（,X,；,Y,）,=H,（,X,）这时的信道叫无扰离散信道。,数据处理定理,(1),:,当消息通过多级处理器时，随着处理器数目的增多，输人消息与输出消息之间的平均互信息量趋于变小。,三、数据处理中信息的变化,I(X;Z)=I(X;Y),I(X;Z)=I(Y;Z),数据处理定理,(2):,如果想从测量值,Y,中获得关于,X,的信息量，则测量次数越多越好。,I(X;Y1)=0,I(X;Y)=0,2,、对称性,H(p,1,p,2,p,n,)=H(p,2,p,1,p,n,),3,、确定性,H(1,0,0,0)=0,4,、最大熵定理：对于,Xa,1,a,2,a,n,当,p(a,i,)=1/n,时，,H,max,(X,)=log,2,n,5,、条件熵小于无条件熵,H(X/Y)=H(X)H(X/Y1Y2)=,H(x,)H(XY)=,H(X,L,/X,1,X,2,X,L-1,),（,3,）,H,L,(X),是,L,的单调非增函数,H,0,(X):,信源等概率时的熵（最大熵）,H,1,(X):,单符号信源熵,H,L,(X):,序列长度为,L,的平均符号熵,H,(X):,极限熵,第,4,节 连续信源的熵和互信息一：熵的定义,Hc(XY,),Hc(X,),Hc(Y,/X),Hc(Y,),Hc(X,/Y),I(X;Y),I(Y;X),Hc(X,)-,Hc(X,/Y),Hc(X,),Hc(Y,)-,Hc(XY,),Hc(Y,)-,Hc(Y,/X),