第2章-多符号信源.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,*,*,平均互信息的应用,医学图像的配准,医学图像的分类,医学成像模式从大的方面来说可分为两类：解剖成像和功能成像。,解剖图像分辨率较高，解剖成像模式主要描述人体形态信息，包括,X,射线、,CT,、,MRI,等。,功能图像分辨率不高，功能成像模式主要描述人体脏器代谢信息，包括,PET,、,SPET,等。,医学图像种类,解剖结构图像,功能图像,X,射线透视图（,X-ray,）,正电子发射断层成像图（,PET,）,计算机断层扫描图（,CT,）,单光子发射断层成像图（,SPET,）,磁共振图（,MRI,）,功能磁共振图像（,fMRI,）,B,超扫描图,医学图像配准技术,医学图像配准技术是将不同的两幅图像或两组图像的信息进行处理，使得这两幅或两组图像之间建立起一个空间位置上的一一对应的关系，这样图像中所包含的信息也就相互对应起来，有利于不同图像之间有用信息的互补，产生独立的两幅或两组图像所不能呈现出来的附加信息，,基于互信息的图像配准,在多模医学图像配准中，虽然待配准图像来源于不同的成像设备，但是它们基于相同的人体解剖结构，待配准图像空间位置完全一致时，图像之间相互表达的信息为最大，因此互信息可以作为图像配准的相似度测度，,配准过程,互信息配准的基础在于：对同一组织不同条件下的成像，它们的对应像素之间的灰度值在统计学上是相关的。,基于互信息配准就是寻求一种空间变换关系，使得经过该空间变换后两幅图像间的互信息达到最大。完整的配准过程包括：相似度测量函数，空间变换，插值算法以及优化算法。,我们可以把参加配准的两幅图像,F,和,R,看成是两个随机变量，那么，两幅,图像灰度信息之间的统计相关性可以用互信息表示，,其中，,H(R),H(F),为图像的熵，反映了该图像中像素灰度的分布情况，灰度级别越多，灰度越分散，熵就越大。,用互信息作为图像配准模型，它认为两幅基于共同解剖结构的图像达到最佳配准时，它们对应的像素特征的灰度互信息应该最大。,基于互信息的配准准则,假设,R,是参考图像，,F,是浮动图像。是将浮动图像,F,映射到参考图像,R,上的空间变换，其中 是变换参数。,基于互信息的配准准则为：当图像,R,和,F,配准时，两幅图像之间的互信息,MI,（,R,F),达到最大值，即,配准前,CT,图像,配准前,MR,图像,配准前重叠图像,配准后重叠图像,2.2,离散无记忆的扩展信源,实际信源输出的消息往往是时间上或空间上的一系列符号，如电报系统，序列中前后符号间一般是有统计依赖关系的。,讨论离散无记忆信源，此时，信源序列的前后符号之间是统计独立的,在二元系统中，可以把两个二元数字看成一组，会出现四种可能情况：,00,、,01,、,10,和,11,，可以把这四种情况看成一个新的信源称为,二元无记忆信源的二次扩展信源,，相应的，如果把,N,个二元数字看成一组，则新的信源称为,二元无记忆信源的,N,此次扩展信源。,一般情况,设一个离散无记忆信源为：,则该信源的,N,次扩展信源为：,其中：,根据信息熵的定义：,可以证明，对于离散无记忆的扩展信源,例,:,离散无记忆信源的,N,次扩展信源,离散无记忆信源为：,X:a1,a2,a3;P(X):1/4,1/2,1/4,2,次扩展信源为：,X,2,:A1,A9,信源的,9,个符号为：,A,1=a1a1,A2=a1a2,A3=a1a3,A4=a2a1,A5=a2a2,A6=a2a3,A7=a3a1,A8=a3a2,A9=a3a3,其概率关系为,:,A1,A2,A3,A4,A5,A6,A7,A8,A9,1/16,1/8,1/16,1/8,1/4,1/8,1/16,1/8,1/16,计算可知,离散平稳信源,一般来说，信源的前后消息之间有前后依赖关系，可以用随机矢量描述：,信源在某一时刻发出什么样的值取决于两方面,1,、这一时刻该变量的分布概率,2,、这一时刻以前发出的消息,如一个人讲话,讨论,平稳的,随机序列，,所谓平稳是指序列的统计性质与时间的推移无关,（两个任意时刻信源发出符号的概率分布完全相同）。,1,、离散平稳信源的数学定义,2,、二维平稳信源及其信息熵,最简单的平稳信源,二维平稳信源，信源发出序列中只有前后两个符号间有依赖关系，我们可以对其二维扩展信源进行分析。,信源的概率空间,:,连续两个信源符号出现的联合概率分布为：,已知符号 出现后，紧跟着 出现的条件概率为：,由二维离散信源的发出符号序列的特点可以把其分,成每两个符号一组，每组代表新信源 中的一个,符号。并假设组与组之间是统计独立的，互不相关的。,得到一个新的离散无记忆信源 ，其联合概率空间为：,根据信息熵的定义，可得：,（,1,）,联合熵,可以表征信源输出长度为,2,的平均不确定性，或所含有的信息量。因此可以用 作为二维平稳信源的信息熵的近似值,(2),条件熵,则：,另外还可以得到：,只有信源统计独立时等号成立。,可以证明：,例,2-15,设某二维离散信源的原始信源的信源空间,X=x1,x2,x3;P(X)=1/4,1/4,1/2,一维条件概率为：,p(x1/x1)=1/2;p(x2/x1)=1/2;p(x3/x1)=0;,p(x1/x2)=1/8;p(x2/x2)=3/4;p(x3/x2)=1/8;,p(x1/x3)=0;p(x2/x3)=1/4;p(x3/x3)=3/4;,原始信源的熵为：,H(X)=1.5 bit/,符号,条件熵：,H(X2/X1)=1.4 bit/,符号,可见：,H(X2/X1)H(X),二维信源的熵：,H(X1,X2)=H(X1)+H(X2/X1)=2.9 bit/,消息,每个信源符号提供的平均信息量为：,H2(X1,X2)=H(X1,X2)/2=1.45 bit/,符号。,离散平稳信源的极限熵,平均符号熵,称 为,极限熵,。,多符号离散平稳信源,信源平均每发一个符号所提供的信息量,极限熵代表了一般离散平稳有记忆信源平均每发一个符号提供的信息量,可以证明，对于二维离散平稳信源，条件熵等于极限熵，因此条件熵就是二维离散平稳信源的真实熵,对于一般信源，求出极限熵是很困难的，然而，一般来说，取,N,不大时就可以得到与极限熵非常接近的条件熵和平均符号熵，因此可以用条件熵和平均符号熵来近似极限熵,马尔可夫性,如果一个过程的“将来”仅依赖“现在”而不依赖“过去”，则此过程具有,马尔可夫性,或称此过程为,马尔可夫过程,X(t+1)=f(X(t),马尔科夫链,时间,和,状态,都离散的马尔科夫过程称为马尔科夫链,记作,X,n,=X(n),n=0,1,2,在时间集,T,1,=0,1,2,上对离散状态的过程相继观察的结果,链的状态空间记做,I=a,1,a,2,a,i,R.,条件概率,P,ij,(,m,m+n),=,PX,m+n,=a,j,|X,m,=a,i,为马氏链在时刻,m,处于状态,a,i,条件下，在时刻,m+n,转移到状态,a,j,的,转移概率,。,转移概率矩阵,阴天,晴天,下雨,晴天 阴天 下雨,晴天,0.50 0.25 0.25,阴天,0.375 0.25 0.375,下雨,0.25 0.125 0.625,马尔可夫信源,在很多信源的输出序列中，符号之间的依赖关系是有限的，任何时刻信源符号发生的概率只与前边已经发出的若干个符号有关，而与更前面的符号无关。,为了描述这类信源除了信源符号集外还要引入状态集。这时，信源输出消息符号还与信源所处的状态有关。,若一个信源满足下面两个条件，则称为马尔可夫信源：,（,1,）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关；,（,2,）信源的下一个状态由当前状态和下一刻的输出唯一确定。,马尔可夫信源,（,1,）某一时刻信源输出的符号的概率只与当前所处的状态有关，而与以前的状态无关。即,当符号输出概率与时刻,L,无关，称为具有时齐性。即,马尔可夫信源,（,2,）信源的下一个状态由当前状态和下一刻的输出唯一确定。,条件（,2,）表明，若信源处于某一状态 ，当它发出,一个符号后，所处的状态就变了，一定转移到另一状态。,状态的转 移依赖于发出的信源符号，因此任何时刻信源处,在什么状态完全由前一时刻的状态和发出的符号决定。,马尔可夫信源,例：二阶马尔可夫信源，原始符号集为,1,0,，,条件概率定为：,P(0|00)=P(1|11)=0.8,P(1|00)=P(0|11)=0.2,P(0|01)=P(0|10)=P(1|01)=P(1|10)=0.5,由此可见，信源共有,22=4,种状态,E,：,e1=00,e2=01,e3=10,e4=11,马尔可夫信源,状态之间有转移概率，,p(e2/e1)=p(e3/e4)=0.2,p(e2/e4)=p(e1/e3)=p(e2/e3)=p(e3/e2)=0.5,P(e1/e1)=p(e4/e4)=0.8,其状态转移图如下页。在状态转换图中，把信源的每一种状态用圆圈表示，用有向箭头表示信源发出某一符号后由一种状态到另一状态的转移。,马尔可夫信源,01,10,0:0.5,1:0.2,0:0.2,00,0:0.8,11,1:0.8,1:0.5,0:0.5,1:0.5,由上例可知，,m,阶马尔可夫信源符号集共有,q,个符号，则信源共有 个不同状态。信源在某一时刻时，必然处于某一种状态，等到下一个字符输出时，转移到另外一个状态。,马尔可夫信源,m,阶马尔科夫信源熵,m,阶马尔可夫信源的极限熵 等于,m,阶条件熵,例 设信源符号,X,x,1,x,2,x,3,，,信源所处的状态,S,e,1,e,2,e,3,e,4,e,5,。各状态之间的转移情况由图,2.2.1,给出。,马尔可夫信源,将图中信源在,e,i,状态下发符号,x,k,的条件概率,p,(,x,k,/,e,i,),用矩阵表示,由矩阵看出：,由图中看出：,由图中可得状态的一步转移概率：,该信源满足马尔可夫信源定义。,马尔可夫信源,有限齐次马尔科夫链的各态历经定理,马尔科夫信源的状态极限概率是方程组,满足条件,的唯一解,(3),举 例,例,2.2.4,二元,2,阶马尔可夫信源，原始信号,X,的符号集为,X,1,=0,X,2,=1,，其状态空间共有,n,m,=2,2,=4,个不同的状态,e,1,e,2,e,3,e,4,，即,E,：,e,1,=00,e,2,=01,e,3,=10,e,4,=11,状态转移图见右图所示。,解：,p,(,e,1,/,e,1,)=,p,(,x,1,/,e,1,)=,p,(0/00)=0.8,p,(,e,2,/,e,1,)=,p,(,x,2,/,e,1,)=,p,(1/00)=0.2,p,(,e,3,/,e,2,)=,p,(,x,1,/,e,2,)=,p,(0/01)=0.5,p,(,e,4,/,e,2,)=,p,(,x,2,/,e,2,)=,p,(1/01)=0.5,p,(,e,1,/,e,3,)=,p,(,x,1,/,e,3,)=,p,(0/10)=0.5,p,(,e,2,/,e,3,)=,p,(,x,2,/,e,3,)=,p,(1/10)=0.5,p,(,e,3,/,e,4,)=,p,(,x,1,/,e,4,)=,p,(0/11)=0.2,p,(,e,4,/,e,4,)=,p,(,x,2,/,e,4,)=,p,(1/11)=0.8,由,二元信源,X,0,1,得到的状态空间,(,e,1,e,2,e,3,e,4,),和相应的一步转移概率构成的,2,阶马尔可夫信源模型为,求出,稳定状态下的,p,(,e,j,),，称为,状态极限概率,。,将一步转移概率代入上式得,p,(,e,1,)=0.8,p,(,e,1,)+0.5,p,(,e,3,),p,(,e,2,)=0.2,p,(,e,1,)+0.5,p,(,e,3,),p,(,e,3,)=0.5,p,(,e,2,)+0.2,p,(,e,4,),p,(,e,4,)=0.5,p,(,e,2,)+0.8,p,(,e,4,),解方程组得,p,(,e,1,)=,p,(,e,4,)=5/14,p,(,e,2,)=,p,(,e,3,)=2/14,计算极限熵,信源剩余度与自然语言的熵,2,、熵的,相对率,3,、信源剩余度,第七节 信源剩余度与自然语言的熵,4,、自然语言的熵,（,1,）对于英文字母,（,2,）对于中文,我们可以压缩剩余度来压缩信源，提高通信的可靠性。,连续信源的数学模型,连续信源输出的消息既是连续的又是随机的，信源的输出消息与随机过程相对应，最简单的连续信源，其统计特性由一维概率密度函数描述，数学模型为：,且满足：,连续信源的差熵,将连续信源量化成离散信源近似求熵,求上式的极限,