第六章-医学图像配准与融合newPPT参考课件.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,*,医学影像图像处理,生物医学工程系,1,图像配准：,解决几幅图的对齐问题。,图像配准是图像融合的前提。,(a)CT,图像,(b)MRI,图像,(c),融合图像,2,6.1,概述,一、医学图像配准的必要性,基于多种原因，临床上通常需要对同一个病人进行多种模式或同一种模式的多次成像。即同时从几幅图像获得信息，进行综合分析。,3,描述生理形态的形态,(,结构,),成像：,描述人体功能或代谢的功能成像,X-Ray;DSA,X-CT,MRI;MRA,Ultrasound,SPECT,PET,f MRI,EEG,MRS,4,对几幅不同的图象作定量分析，首先要将图像转换到一个公共的坐标框架内研究，解决图像的,严格对齐,问题，这就是图像的,配准,。,5,二、图像配准的概念,医学图象配准,：对于一幅医学图象寻求一种,(,或一系列,),空间变换，使它与另一幅医学图象上的,对应点,达到空间上的一致。,这种一致是指人体上的同一,解剖点,在两张匹配图象上有相同的空间位置。,配准的结果应使两幅图象上所有的解剖点，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配。,6,配准示意图,7,基于多种原因，临床上通常需要对同一个病人进行多种模式或同一种模式的多次成像。即同时从几幅图像获得信息，进行综合分析。,使用同种成像设备在不同时间成像，可以观察病灶生长，对比手术前后的治疗效果等。,人脑多种模式成像,8,不同,MR,加权图像间的配准,图象序列的配准,fMRI,图象序列的配准,胸、腹部脏器的图象配准,同一部位，不同时间图像的配准,同一对象,(intrasubject),的图象配准,(),单模,(monomodality),多模,(multimodality),CT,和,MRI,图象,CT(,或,MRI),与,SPECT(,或,PET),配准,SPECT/ECT,与,CT/MRI/DSA,配准,9,不同对象间,(intersubject),的图象配准,将被试的图象与典型正常人相同部位的图象对比，以确定被试者是否正常。如果异常，也许还要与一些疾病的典型图象对比，确定患者是否属于同类,10,6.2,图像配准方法,按对图像信息的利用情况分类,基于图像,灰度信息,的方法,基于时域的图像配准方法,基于频域的图像配准方法,基于,特征,的图像配准方法,基于不变量描述子得图像配准方法,基于轮廓的图像配准方法,基于其他特征的图像配准方法,11,配准算法的一般步骤,特征提取,特征匹配,估计变换模型,图像重采样及变换,12,6.2.1,配准,算法的一般步骤,特征提取,特征提取是指分别提取两幅图像中共有的图像特征。这种特征,是出现在两幅图像中对比例、旋转、平移等变换保持一致性的特征,，如线交叉点、物体边缘角点、虚圆闭区域的中心等可提取的特征。特征包括：点、线和面三类。,13,-,点特征,是最常采用的一种图像特征，包括,物体边缘点、角点、线交叉点,等；根据各特征点的兴趣值将特征点分成几个等级。对不同的目的，特征点的提取应有所不同。,-,线特征,是图像中明显的,线段特征,，如道路河流的边缘，目标的轮廓线等。线特征的提取一般分两步进行：首先采用某种算法提取出图像中明显的线段信息，然后利用限制条件筛选出满足条件的线段作为线特征；,14,主要配准方法,点法（,Point Method,）,：,分为内部点法与外部点法。,标志点一旦确定，图象配准问题就归结为求解对应点,集的刚体变换；对准了这些标志点，图象也就配准,内部点：解剖标志点；,耳蜗尖端拐点处；,两个线性结构的交点；,血管的分叉或相交处等；,优点：对受试者友好；,缺点：难以识别，需要一定的经验。,外部点：,在受试着颅骨嵌入的螺钉；,在皮肤上作记号；,其他在两幅图像都可以检测到的附加标记物：如充有硫酸铜的管子、玻璃珠、铬合金球、明胶球等。,优点：容易识别；,缺点：受试者在扫描装置内要求严格不动；,15,曲线法,(Curve Method),：边界曲线的匹配,用人工方法在两幅配准图象中寻找对应的开曲线，再在两条开曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点,对这组对应点使用点法匹配两幅图象,16,矩和主轴法,(Moment and Principal Axes Method),根据力学中物理质量分布的概念：,先计算两幅图象象素点的质心和主轴；,再通过平移和旋转使两幅图象的质心和主轴对齐，从而达到配准。,缺点：对数据缺失敏感；,对神经医生感兴趣的某些病案效果不佳。,应用：粗配准；初步对齐；,17,6.2.2,配准算法的一般步骤,估计变换模型,1.,刚体变换模型,刚体变换是平移、旋转与缩放的组合，适用于,具有相同视角,，但,拍摄位置不同的来自同一传感器的两幅图像的配准,。刚体变换模型下，若点 ，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：,18,同一刚体变换结果实现的两种方法：,1,、先旋转,10,度，后,x,轴平移,4,单位，再,y,轴平移,9,单位；,2,、先,x,轴平移,2.3764,单位，后,y,轴平移,9.5579,单位，再旋转,10,度；,对于刚体变换无须关心其实际的旋转与平移顺序。,19,配准算法的一般步骤,估计变换模型,2.,仿射变换模型,如果第一幅图像中的一条直线经过变换后，映射到第二幅图像上仍然为直线，且平行直线仍旧被映射为平行直线，这样的变换称为仿射变换。该变换,保持直线间的平行关系,，但,由于引入了缩放参数，故它不能保持直线段的长度和角度,，,若点 ，分别为参考图像和待配准图像中对应的两点，则它们之间满足以下关系：,20,3.,投影变换,(Projective transformation),4.,非线性变换,(Nonlinear,transformation,),21,投影变换,线性变换的最一般形式,直线经变换后仍然为直线，但平行性不再保持,22,血管瘤手术计划：三维血管模型与,x,射线血管造影图像在正交的、前后方向（右图）和侧向（左图）投影配准。,23,非线性变换,非线性空间变换可以用于校正图象获取过程中由仪器引起的畸变，也可以用于图象配准,常用的非线性变换模型有,低阶多项式变形,基于薄板样条函数的变换,基于,B,样条的变换,非线性变换多用于使解剖图谱变形来拟合图像数据或对有全局性形变的胸、腹部脏器图像的配准。,24,6.2.3,配准算法的一般步骤,图像重采样及变换,在得到两幅图像间的变换参数后，要将输入图像做相应参数的变换，,使之与参考图像处于同一坐标系下,，则校正后的输入图像与参考图像可用作后续的图像融合、目标变化检测处理或图像镶嵌；,涉及输入图像变换后所得点坐标不一定为整像素数，则应进行插值处理。常用的插值算法有,最近邻域法、双线性插值法,和,立方卷积插值法,。,25,6.3,图像配准举例,刚性变换,基准点,极值点,曲线,26,6.3.1,基于,灰度信息的图像配准,实现简单,不能实现非线性变换,运算量大,灰度的相似度量函数,序列相似性检测函数,交叉相关性相似性度量函数,基于交互信息的相似性度量函数,27,6.3.2,基于特征的图像配准,基准图像,描述子集合,匹配图像,描述子集合,特征提取,特征提取,特征匹配,参数估计,图像采样,匹配结果,28,6.3.3,基于最大互信息的多模图象配准法,互信息作为一种相似性测度应用于图象配准，主要是因为当两幅图象空间位置一致时，对应象素灰度的互信息最大,配准原理：对于不同的两幅,图象,A,和,B,，需要定义一个相似性测度并寻找一个空间变换关系，使得经过该空间变换后两幅图象间的相似性达到最大。也就是使,A,中的每一个点在图象,B,中都有唯一的点与之对应，并且这两个点对应同一个解剖,位置。,29,相似性度量,模板匹配法是在一幅影像中选取一个的影像窗口作模板，大小通常为,55,或,77,，然后通过相关函数的计算来找到它在搜索图中的坐标位置。设模板,T,放在搜索图,S,上平移，模板覆盖下的那块搜索图叫做子图,S,i,j,，子图的中心点在,S,图中的坐标,(,i,j,),，叫参考点。,30,用以下测度来衡量,T,和,S,i,j,的相似程度：,根据施瓦兹不等式，并且在,比值为常数时取极大值为,1,。但实际上两幅不同图像的,P,值介于,0,和,1,之间，很难达到理想值。根据经验取某个阈值,P,0,，如果,P,P,0,，则匹配成功；,P,P,0,，则匹配失败。,31,输入图像,提取图像的边缘特征信息,计算特征点集合的互信息,归一化处理,配准提取的特征图像,优化搜索,根据配准参数,配准,原图像,采用基于,Canny,算子和小波提升变换的边缘检测方法,采用归一化互信息为测度,采用改进的鲍威尔算法，寻找最大归一化互信息的位置,改进算法的流程图,东北大学,32,仿真实验,(a)CT,图像,(b)MRI,图像,(c),最大的,互信息配准法,(d),所提方,法,33,CT/MRI,图像各配准方法的配准参数及性能比较,传统的互信息配准方法,所提方法,RMSE,19.43,15.32,R,0.9216,0.9812,水平和垂直偏移量,（,9.02 8.52,）,（,9.93 9.56,）,角度偏移量,9.597,9.960,34,DSA,图像,35,脑部,MRI,的,PD,、,T1w,和,T2w,图像,PD,T1w,T2w,36,心脏,MRI,的,T1,和,T2,图像,T1,T2,37,MRA,图像,38,CT,与,MRI,图像的配准,39,同一病人在不同时间获取的,MRI,图像的配准,40,小结：,对于医学图像，常用的方法是互信息，因为其特征不明显。,对于模板匹配，常用的方法是互相关。,41,6.4,医学,图象配准的评估,1.,体模,软体模与硬体模,2.,准标法,42,3.,图谱,(atlas),4.,目测,检验,(visual inspection),43,配准算法评价,精度,配准过程中很容易引入各种各样的,误差,而且很难区分是由配准算法引起的,还是由图像间的固有差异引起的。在评估配准精度时,主要将误差分为,3,类,:,位置误差,、,匹配误差,和,对齐误差,。,位置误差是指由不精确检测引起的控制点坐标偏移,。,匹配误差则是指在候选控制点之间建立匹配关系时误匹配的控制点对数目,。,对齐误差是指配准过程中采用的变换模型和图像真实畸变,(,包括比例缩放、旋转、平移以及传感器影响等,),之间的差异,。,44,鲁棒性,鲁棒性是指如果让输入图像有一点小的变动,配准算法还能收敛到相同的结果,。,自动化,自动化指配准算法的自动化执行程度,包括人 工、半自动、自动,3,种形式。,45,实时性,只有满足实时性要求,配准结果才具有实际应用价值。实时性研究涉及资源需求和算法的复杂度。,可靠性,在实际应用中,要注意满足不同算法的前提约束条件。若给定算法所需要的输入条件,配准结果应该和理论上计算的一样,即算法具有较强的容错性。,46,6.4,图像融合实例,47,60.980.98 mm,60.980.98 mm,50.570.57mm,脑部星细胞瘤,(astrocytoma),检查的原始图像,CT,T1 w,T2 w,5.13.383.38mm,PET,48,PET,图像与,MR,图像重叠显示,绿色对应低水平糖代谢,(glucose metabolism),红色对应高水平糖代谢。,低于某阈值的,PET,图像被略去。,图中可以清晰看到肿瘤和瘤腺体。,49,利用,CTA,最大密度像与,DSA,融合标识动脉瘤,50,DSA,图像的三维重建显示与融合,51,