多模态医学影像配准和融合技术的研究.ppt

单击此处编辑母版标题样式,单击此处编辑母版文本样式,第二级,第三级,第四级,第五级,东北大学信息科学与工程学院,文档仅供参考，不能作为科学依据，请勿模仿；如有不当之处，请联系网站或本人删除。,主要内容,基于PCNN的图像融合算法,总结与展望,基于小波变换的图像融合算法,基于BP的特征级图像融合算法,医学图像配准算法,课题背景,1,一、课题背景,由于医学图像仪器的成像机理的不同，使得不同模,态的医学图像反映人体信息不同，从单一源图像是,无法对病人进行全面诊断。图像配准和融合能将多,模态的图像信息进行互补，融合成一幅新的影像。,目前医学图像融合技术还处于起步阶段，故本文针,对多模态医学图像的融合方法及配准算法方面展开,研究。,2,二、医学图像配准算法,医学图像配准的定义：是寻求两幅图像间的几何变换关系，通过这一几何变换，使两幅医学图像上的对应点达到空间上的一致，这种一致是指人体上的同一解剖点在两张匹配图像上具有相同的空间位置。,3,最大互信息配准方法的基本思想,在多模医学图像配准中，基于两幅图像中的相同目标在空间上对齐时相关性最强，对应像素灰度的互信息达到最大，从而可以根据最大互信息的位置找到最佳配准。,缺点：由于互信息函数不是分布良好的凸函数，从而导致误配准，同时计算量较大，耗时较长。,4,输入图像,提取图像的边缘特征信息,计算特征点集合的互信息,归一化处理,配准提取的特征图像,优化搜索,根据配准参数,配准,原图像,采用基于Canny算子和小波提升变换的边缘检测方法,采用归一化互信息为测度,采用改进的鲍威尔算法，寻找最大归一化互信息的位置,改进算法的流程图,5,仿真实验,(a)CT图像 (b)MRI图像,(c)最大的,互信息配准法 (d)所提方法,6,CT/MRI图像各配准方法的配准参数及性能比较,传统的互信息配准方法,所提方法,RMSE,19.43,15.32,R,0.9216,0.9812,水平和垂直偏移量,（9.02 8.52）,（9.93 9.56）,角度偏移量,9.597,9.960,7,三、基于小波变换的图像融合算法,小波变换具有良好的时频局域化特性及多尺度分析,能力,非常适合于图像处理。基于小波变换的影像,融合算法被广泛应用于图像融合处理中，其性能优,于传统的图像融合方法。,8,（一）基于可分离小波变换的图像融合算法,具体步骤：,对待融合的医学源图像分别进行小波变换分解；,对于尺度系数，使用下式合并医学源图像对应的尺度系数；,(3.1),9,对于小波系数，首先使用下式确定医学源图像高频分量的边缘点和非边缘点，保护边缘点对应的小波系数；,(3.2),(3.3),(3.4),10,对非边缘点用式,(3.5),进行小波系数融合。然后用式,(3.6),获得融合图像的小波系数。,(3.5),(3.6),11,将融合图像的小波系数和尺度系数进行小波逆变换，即可得到重构后的医学融合图像。,仿真实验,(a)CT图像 (b)MRI图像 (c)拉普拉斯金字塔,融合算法,12,(d),梯度金字塔融合,(e),形态学金字塔融合,(f),小波变换融合算法,算法 算法,(g)所提算法,13,CT/MRI实验结果的质量评价,拉普拉斯金字塔融合算法,梯度金字塔融合算法,形态学金字塔融合算法,小波变换融合算法,所提算法,信息熵,10.9112,12.6785,12.8352,14.2646,17.5947,平均交叉熵,7.8325,5.3726,5.1462,4.5216,3.2514,平均梯度,31.5892,33.0123,35.5428,37.2567,39.5492,相关系数,0.59845,0.6052,0.61643,0.64030,0.7067,14,低频分量的融合规则,(3.7),(3.8),(3.9),（二）基于不可分离小波变换的图像融合算法,15,高频分量的融合规则,亮度信息,细节信息,(3.10),(3.11),16,或,当,其中,，,调节CT/MRI图像的占优比例,(3.12),(3.13),(3.14),17,因子,调节图像的亮度,(3.17),(3.18),(3.16),(3.15),18,通过调整这些因子可以消减模糊边缘，突出细节并调,节图像的亮度对比度。在临床应用中，为了得到强调,不同特征信息的图像，医生既可以根据上面公式计算,它们，也可以根据经验手动设定这些参数。,因子,决定图像的边缘,(3.19),19,仿真实验,(a)CT图像 (b)MRI图像 (c)对比度金字塔融合算法,(d)基于像素融合算法 (e)基于区域融合算法 (f)所提算法,20,CT/MRI实验结果的质量评价,对比度金字塔融合算法,基于像素融合,算法,基于区域融合,算法,所提算法,平均交叉熵,6.3423,6.0265,3.4624,2.0598,标准差,12.8965,5.3726,5.1462,19.9356,平均梯度,41.6752,42.1256,45.3269,48.5486,相关系数,0.4841,0.5166,0.6123,0.7964,21,基于区域模糊熵和区域亮度细节占优的融合算法设计,(3.20),(3.21),22,仿真实验,(a)CT图像 (b)MRI图像,(c)对比度金字塔融合算法 (d)基于像素融合算法,23,(g)所提算法,(e)基于区域融合算法 (f)模糊集和小波变换,融合算法,24,CT/MRI实验结果的质量评价,对比度金字塔融合算法,基于像素融合算法,基于区域融合算法,模糊集和小波变换融合算法,所提算法,平均交叉熵,9.0143,8.2326,6.4578,5.0231,3.4956,标准差,26.3124,28.6571,30.9874,4.5216,35.2587,平均梯度,36.2345,38.5621,40.8972,37.2567,45.1789,相关系数,0.4758,0.4932,0.5234,0.64030,0.7671,25,四、基于PCNN的图像融合算法,小波变换方法针对性都很强，根据不同情况采用,不同的融合规则。基于神经网络方法对输入不同,类型的图像得到的融合结果不会有很大差别，且,其融合规则往往简单易行，故基于神经网络的融,合算法适应性要更好一些。因此将具有生物学背,景的PCNN神经网络应用到医学图像融合中。,26,具体融合步骤：,1,、对每一幅医学图像分别进行两层小波提升分,解，提取图像的近似细节、水平、垂直、对角方,向的小波系数矩阵。,2、对低频和高频子图像分别采用改进的PCNN网,络，PCNN网络大小与相应子图像大小相同，每个,PCNN内的所有神经元均采用8邻域连接方式。,3、将来自医学图像A和B的子图像分别输入相应,的PCNN网络，并按照如下步骤进行融合处理：,27,初始化。设 和 分别表示第,k,对子图像中像素,(,i,j,),的灰度值，将其归一化到,0,1,范围内，令内部链接输入矩阵、内部行为矩阵和阈值矩阵的初值分别为,:,，此时，所有神经元都处于熄火状态,:,，,N,max,为最大迭代次数，点火时刻记录矩阵,；,(2),根据下式计算 ，和 ；,28,其中：,或,(4.1),29,(3),累计网络每次迭代运行的输出,:,(4),重复步骤,(2),和,(3),直到，此时网络迭代运行停止；,(5),根据下式选择融合图像的小波系数,:,(4.2),(4.3),30,(6)为了避免出现某一区域与其相邻的区域分别,来源于不同输入源图像的情况，这里采用一致性,检测校验步骤(5)得到的结果。即如果神经网络,判定某一区域来自于图像CT而它周围的区域来,自图像MRI，则将这个区域用图像MRI中的对应,区域像素替换。,(7)最后小波提升逆变换，获得最终的融合图,像。,31,仿真实验,(a)CT图像 (b)MRI图像 (c)梯度金字塔融合算法,(d)基于区域融合算法 (e)PCNN (f)所提算法,32,(a)CT图像 (b)MRI图像,(c)梯度金字塔 (d)基于区域融合,融合算法 算法,33,(g)所提算法,(e)模糊集和小波 (f)PCNN,变换融合算法,34,CT1/MRI1实验结果的质量评价,梯度金字塔融合,算法,基于区域融合,算法,PCNN,所提方法,平均交叉熵,5.9013,2.9456,5.2548,2.3487,标准差,31.3324,44.9489,34.5672,45.1435,平均梯度,8.6389,18.2578,10.2378,18.5678,相关系数,0.6081,0.8423,0.6587,0.8452,35,梯度金字塔融合算法,基于区域融合算法,模糊集和小波变换融合算法,PCNN,所提方法,平均交叉熵,9.8376,9.4576,5.5925,5.1473,3.8271,标准差,29.2645,30.1674,33.9807,34.7684,39.5867,平均梯度,18.9745,20.8675,24.9873,25.6354,29.3526,相关系数,0.4387,0.4862,0.6071,0.6182,0.7646,CT2/MRI2实验结果的质量评价,36,基于像素级的医学图像融合可以使融合后的图像,包含更全面、更精确的信息，但是所要处理的图,像数据量大，故融合速度慢，同时对配准精度的,要求非常高。基于特征级的医学图像融合由于对,多模医学图像提取的特征信息进行融合，故可以,大大加快融合速度，且对图像配准的要求没有像,素级严格，但,其融合精度比像素级融合差,。,五、基于BP的特征级图像融合算法,37,将像素级和特征级融合方法有效地结合起来，利,用BP神经网络的优点，提出了基于BP神经网络的,特征级图像融合方法。,具体步骤：,1、将两幅图像进行图像分割得到一组分割区,域，用,Ai,和,Bi,分别表示第,i,个区域对。,2、根据灰度共生矩阵，从每个区域抽取五个反映,图像纹理的特征。,Ai,和,Bi,的特征矢量分别表示为,()和()。,38,3、训练一个用于判断分析,Ai,和,Bi,区域纹理特征的,神经网络。神经网络的输入是差异矢量,(,),，网,络的输出如下式：,4、用训练好的神经网络在所有分割区域（第一,步得到的）上进行检测、判断。融合图像的第,i,个,区域按下式构建：,(5.1),(5.2),39,5、采用一致性检测来校验步骤(4)得到的结果。,如果神经网络判定某一区域来自于图像1而它周,围的区域来自图像2，则将这个区域用图像2中的,对应区域像素替换。这样，保证在构成合成系数,时，邻域内系数的选择基于相同的规则。,40,仿真实验,(a)CT,图像,(b)MRI 图像 (c)基于像素融合算法,(d)小波变换融合算法 (e)基于区域融合算法 (f)所提算法,41,CT/MRI实验结果的质量评价,基于像素融合,算法,小波变换融合,算法,基于区域融合,算法,所提算法,平均交叉熵,15.3526,14.5894,14.0894,5.4983,标准差,14.8567,13.9965,16.5276,28.5257,平均梯度,18.5662,18.9658,22.2175,27.2782,相关系数,0.4541,0.4876,0.5028,0.7147,42,总 结,1、提出了一种基于边缘特征点的互信息配准方法;,2、提出了一种基于可分离小波变换的像素级医学,图像融合算法;,3、提出了基于不可分离小波变换的医学图像融,合方法;,4、提出了一种,基于对比度自适应链接强度PCNN,的医学图像融合算法。,5、提出了基于BP神经网络的特征级图像融合方法。,43,1、在三维甚至是四维空间上进行医学图像配准,的研究。,2、围绕如何减少基于不可分离小波变换的医学,图像融合方法的计算量，加快融合速度等方面开,展研究工作。,3、真正从仿生的角度研究基于脉冲耦合神经网,络的医学图像融合方法。,展 望,44,谢谢各位老师,45,