医学图像处理专题讨论医学图像配准.pptx

医医 学学 图图 像像 配配 准准Medical Image Registration医学图像处理专题讨论2024年年9月月19日日医学图像信息研究中心医学图像信息研究中心一、配准的基本概念一、配准的基本概念二、配准的临床应用二、配准的临床应用三、配准的核心框架三、配准的核心框架四、医学图像配准的分类四、医学图像配准的分类五、关键技术讨论五、关键技术讨论内 容 提 要一、配准的基本概念 医学图像配准是指对于一幅医学图像寻求一医学图像配准是指对于一幅医学图像寻求一种或者一系列的空间变换，使它与另一幅医学图种或者一系列的空间变换，使它与另一幅医学图像上的对应点达到空间上的一致。像上的对应点达到空间上的一致。一致是指人体上的同一解剖点或者至少是所一致是指人体上的同一解剖点或者至少是所有具有诊断意义的点及手术感兴趣的点都达到匹有具有诊断意义的点及手术感兴趣的点都达到匹配。配。保持不动的图像叫参考图像；保持不动的图像叫参考图像；做变换的图像称作浮动图像。做变换的图像称作浮动图像。一、Basic conception of registration Image registration,also called image matching or alignment,is a process to register one image to others,so that the transformation matrix between two of them are determined so that they are corresponding each other in space.Image registration is the process of estimating an optimal transformation between two images.一、配准的基本概念q=T(p)R：参考图像，：参考图像，F：浮动图像，：浮动图像，T:变换变换 T=arg max S(R,T(F)T一、配准的基本概念第二幅图像中少了一部分，原因可能是：成像设备，成像模式差别 病变组织发生变化（如术前，术后）不同对象的成像一、配准的基本概念四种基本的变换 刚体变换 仿射变换 投影变换 弯曲变换二、配准的临床应用 两个时期的同种类图像比较病灶生长情况；治疗效果分析；动静对比收缩舒张对比发作间歇对比对某一病人二、配准的临床应用 数字减影血管造影 Digital subtraction angiography，DSA 19771977年年NudelmanNudelman成功地获得了第一张成功地获得了第一张DSADSA影像影像 二、配准的临床应用Li Qiang,etc,Improved contralateral subtraction images by use of elastic matching technique,Med.Phys.27.8.,August 2000(a)(a)箭头所指为节结箭头所指为节结二、配准的临床应用于劲：基于特征的肝脏病理切片显微图像拼接（硕士论文）二、配准的临床应用 多模态图像融合疾病诊断放射治疗计划外科手术导航系统对某一病人 图像与物理世界配准2005年，北美核医学年会的最佳图像奖：三维立体图像融合图像 二、配准的临床应用PET显示食道癌 二、配准的临床应用罗述谦，医学图像处理与分析罗述谦，医学图像处理与分析二、配准的临床应用二、配准的临床应用图像与图谱的比较不同人被试图像与典型正常人相同部位的图像比较：确定是否正常被试图像与一些疾病的典型图像对比：确定患者是否同类Talairach 脑图谱Ono脑沟回图谱哈佛全脑图谱二、配准的临床应用三维重建虚拟数字人三、配准的核心框架变换：Transform 度量：Metric优化:Optimizer插值：InterpolatorRegistration is treated as an optimization problem with the goal of finding the spatial mapping that will bring the moving image into alignment with the fixed image.三、配准的核心框架3.1 变换刚性变换仿射变换透视或投影变换非线性变换（弯曲变换）三、配准的核心框架3.2 插值插值的原因：插值的原因：分辨率不同分辨率不同 图像变换引图像变换引起的像素点不起的像素点不对应对应三、配准的核心框架3.2 插值插值方法：最近邻插值 线性插值 B样条插值 Windowed Sinc 插值 三、配准的核心框架3.3 配准程度的度量可能是配准框架中最关键的部分选择度量方法与要解决的配准问题有关 Mean squares Normalized correlation Mean reciprocal squared difference Mutual information by Viola and Wells Mutual information by Mattes Kullback Liebler distance metric Normalized mutual information Mean squares histogram Correlation coefficient histogram Cardinality Match metric Kappa Statistics metric Gradient Difference metric三、配准的核心框架3.3 配准程度的度量三、配准的核心框架3.4 优化 AmoebaAmoeba:Nelder-Meade downhill simplex.Conjugate GradientConjugate Gradient:Fletcher-Reeves form of the conjugate gradient with or without preconditioning.Gradient DescentGradient Descent:Advances parameters in the direction of the gradient where the step size is governed by a learning rate。三、配准的核心框架3.4 优化 Powell法 下山单纯形法 Arent法 Levenberg-Marquadrt法 Newton-Raphson迭代法 随机搜索法 梯度下降法 遗传算法 模拟退火法 几何hash法 半穷尽搜索法四、医学图像配准的分类4.1 分类的依据 图像的主体 图像的模态 图像的客体(人体的部位)图像空间的维数 配准所基于的图像信息 变换的模型 变换参数的确定方式 配准方法的交互性四、医学图像配准的分类4.2 图像的主体（Subject）IntraSubject InterSubject Atlas4.3 图像的模态(Modalities)Monomodal Multimodal Modality to modal Patient to modality4.3 图像的模态描述生理形态的解剖成像模式描述生理形态的解剖成像模式：X光、光、CT (Computed Tomography)MRI(Magnetic Resonance Imaging)US (Ultra Sound)MRA(Magnetic Resonance Angiography)DSA(Digital Subtraction Angiography)光纤内窥镜光纤内窥镜 四、医学图像配准的分类描述人体功能或代谢功能的成像模式：描述人体功能或代谢功能的成像模式：SPECT(Single Photon Emission Computed Tomography，单光子发射断层扫描，单光子发射断层扫描)PET (Positron Emission Tomography，正电子发射断层扫描正电子发射断层扫描)fMRI(functional MRI，功能磁共振成像，功能磁共振成像)EEG (Electro-EncephaloGraphy,脑电图脑电图)MEG (Magneto-EncephaloGraphy，脑磁图，脑磁图)光子内源成像光子内源成像 四、医学图像配准的分类4.3 图像的模态4.5 图像的维度 二维，三维，时间维4.4 图像的客体（Object）Head (Brain or skull,Eye,Dental)Thorax(Entire,Caridac,Breast)Abdomen(General,Kidney,Liver)Limbs(General,Femur,Humerus,Hand)Spine and vertebrate Pelvis and perineum四、医学图像配准的分类u 无需图像信息 4.6 配准中使用的信息u特征点侵入性的非侵入性的内部标志点四、医学图像配准的分类u 像素或体素u 特征曲线或曲面外部标志点特征空间特征空间蒋大介，实用神经外科手术学，第四章，定向手术蒋大介，实用神经外科手术学，第四章，定向手术 华工超星图书，以“神经外科”搜索，72本书 4.6 配准中使用的信息外部标志点立体框架陈炳桓，立体定向放射神经外科学，r刀 4.6 配准中使用的信息外部标志点BrownRobertsWells(BRW)框架Cosman-Roberts-Wells(CRW)框架Gill-Thomas-Cosman（GTC）框架 该类框架主要用于神经外科手术的定位和导航以及放射治疗 随着计算机技术的快速发展，无框架立体定向在图像引导的颅内手术中使用得更加广泛 4.6 配准中使用的信息外部标志点韩锦华等，影像导航中的配准问题，国外医学耳鼻喉科学分册，2004.3 4.6 配准中使用的信息外部标志点u外部标记物外部标记物Matthew Y.Wang,An Automatic Technique for Finding and LocalizingExternally Attached Markers in CT and MRVolume Images of the Head,IEEE transactions on Biomedical Engineering.Vol.43,No.6,1996 4.6 配准中使用的信息外部标志点u外部标记点外部标记点周振环等，医学图像标志点的自动配准,中国生物医学工程学报，2003,No.5 4.6 配准中使用的信息外部标志点u外部标记点外部标记点 4.6 配准中使用的信息外部标志点u外部标志点外部标志点它与图像本身无关。它与图像本身无关。选用外部标志点的好处是简单快速，不需要复杂选用外部标志点的好处是简单快速，不需要复杂的优化算法，而且精度较高。的优化算法，而且精度较高。只要图像中标志点能够被检测出来，任何模态的只要图像中标志点能够被检测出来，任何模态的图像都能进行配准。图像都能进行配准。确定外部标志点的位置要比确定内部标志点的位确定外部标志点的位置要比确定内部标志点的位置容易得多，图像空间和物体空间的配准也很难置容易得多，图像空间和物体空间的配准也很难用内部标志点来实现。用内部标志点来实现。4.6 配准中使用的信息外部标志点u外部标志点外部标志点 会给病人带来很大不适；会给病人带来很大不适；注入病人体内的外来元素往往对人体有些损害；注入病人体内的外来元素往往对人体有些损害；完全无损的又很难达到满意的精度；完全无损的又很难达到满意的精度；这种方法不包括病人本身的相关图像信息，因这种方法不包括病人本身的相关图像信息，因而而 它的变换方式只限于刚性变换。它的变换方式只限于刚性变换。4.6 配准中使用的信息内部标志点u内部标志点内部标志点l 解剖标志点解剖标志点(Anatomic Landmarks)l 几何极值点几何极值点 线的交点线的交点 脐点脐点(umbilic point)脊点脊点 灰度的极值点灰度的极值点 轮廓上曲率的极值点轮廓上曲率的极值点 两个线形结构的交点两个线形结构的交点 某一封闭区域的质心某一封闭区域的质心l 形状特征点形状特征点 4.6 配准中使用的信息内部标志点Igor D.Grachev,etc,A Method for Assessing the Accuracy of Intersubject Registration of the Human Brain Using Anatomic Landmarks，NeuroImage 9,250268(1999)解剖标志点解剖标志点 4.6 配准中使用的信息内部标志点解剖标志点解剖标志点 4.6 配准中使用的信息内部标志点Detected point landmarks in a 2D sagittal MR image of ahuman brainKarl Rohr，On 3D differential operators for detecting point landmarks，Image and Vision Computing 15(1997)219-233角点角点 4.6 配准中使用的信息内部标志点周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计周永新，罗述谦，基于形状特征点最大互信息的医学图像配准，计算机辅助设计与图形学学报，算机辅助设计与图形学学报，Vo l.14,No.7，2002形状特征点形状特征点 4.6 配准中使用的信息内部标志点两幅图像中选取出的控制点应当具有唯一性。两幅图像中选取出的控制点应当具有唯一性。对于图像的局部失真有较好的鲁棒性。对于图像的局部失真有较好的鲁棒性。由于变换的确定依赖于这些控制点，因而控制点的数由于变换的确定依赖于这些控制点，因而控制点的数量不能太少；同时若控制点的数量太多，匹配又会比量不能太少；同时若控制点的数量太多，匹配又会比较困难。所以控制点的数量选择是一个很重要的问题，较困难。所以控制点的数量选择是一个很重要的问题，它将影响到配准的质量与效率。它将影响到配准的质量与效率。内部控制点的选取原则 4.6 配准中使用的信息内部标志点选取内部控制点的好处是很灵活，从理论上说适用选取内部控制点的好处是很灵活，从理论上说适用于任何模态的图像，而且对病人完全友好。于任何模态的图像，而且对病人完全友好。控制点一般用来确定刚性变换或仿射变换，如果控控制点一般用来确定刚性变换或仿射变换，如果控制点数量足够多，也可用来确定其他一些更复杂的制点数量足够多，也可用来确定其他一些更复杂的变换。变换。这种方法的一个缺点是控制点的确定往往需要人工这种方法的一个缺点是控制点的确定往往需要人工干预，很难实现完全自动。干预，很难实现完全自动。内部控制点的优缺点 4.6 配准中使用的信息表面先进行图像分割，提取轮廓曲线、物体表面等内部特征。先进行图像分割，提取轮廓曲线、物体表面等内部特征。图像配准简化为曲线或曲面匹配。图像配准简化为曲线或曲面匹配。变换的形式既可以是刚体变换，也可以是形变变换变换的形式既可以是刚体变换，也可以是形变变换最大缺点是配准精度受限于分割步骤的精度，除了分割最大缺点是配准精度受限于分割步骤的精度，除了分割阶段，整个算法可以做到全自动化，分割阶段经常也阶段，整个算法可以做到全自动化，分割阶段经常也是半自动实现的。是半自动实现的。4.6 配准中使用的信息表面阈值分割阈值分割边缘检测边缘检测区域增长区域增长聚类分割聚类分割轮廓表面的提取方法轮廓表面的提取方法l边界跟踪边界跟踪l曲面拟合曲面拟合刚体变换仿射变换投影变换4.7 图像变换方法非线性变换四、医学图像配准的分类交互的半自动化自动化参数计算参数搜索4.9 优化过程4.8 求解过程的交互性四、医学图像配准的分类5.1 图像的基本变换 对于在不同时间或/和不同条件下获取的两幅图像I1(x1,y1,z1)和I2(x2,y2,z2)配准，就是寻找一个映射关系P：(x1,y1,z1)I2(x2,y2,z2)，使I1的每一个点在I2上都有唯一的点与之对应，并且这两点对应同一解剖位置。映射关系P表现为一组连续的空间变换。五、配准的关键技术5.1.1 刚体变换Rigid Body Transformation刚体：指物体内部任意两点间的距离保持不变。刚体变换：旋转、平移二维：沿x轴平移:x=x+p,y=y 沿y轴平移:x=x,y=y+q 绕坐标原点旋转:x=xcos+ysin y=-xsin+ycos xy为顺时针旋转的角度用矩阵的形式表达？5.1 图像的基本变换5.1.1 刚体变换Rigid Body Transformation5.1 图像的基本变换绕坐标原点顺绕坐标原点顺时针旋转时针旋转沿沿x轴平移轴平移p沿沿y轴平移轴平移q5.1.1 刚体变换Rigid Body Transformation5.1 图像的基本变换 对一个点先沿对一个点先沿x轴平移轴平移p,再沿再沿y轴平移轴平移q,最后绕原点顺时针旋转最后绕原点顺时针旋转5.1.1 刚体变换Rigid Body Transformation5.1 图像的基本变换 对一个点先绕原点顺时针旋转对一个点先绕原点顺时针旋转,再沿再沿x轴平移轴平移p,最后沿最后沿y轴平移轴平移q5.1.1 刚体变换Rigid Body Transformation5.1 图像的基本变换 对于相同的变换参数对于相同的变换参数p、q、,由于变换过程不同，由于变换过程不同，变换的结果也不同。变换的结果也不同。对于给定的变换结果，可以有不同的变换途径。对于给定的变换结果，可以有不同的变换途径。使用矩阵表示，无需关心旋转与平移的顺序。使用矩阵表示，无需关心旋转与平移的顺序。应用逆矩阵运算或组合矩阵变换易于实现多种形式应用逆矩阵运算或组合矩阵变换易于实现多种形式的图像配准。的图像配准。结论：结论：5.1.1 刚体变换Rigid Body Transformation5.1 图像的基本变换 如何判定一个给定的矩阵是否为刚体变换矩阵？如何判定一个给定的矩阵是否为刚体变换矩阵？问题：问题：5.1.1 刚体变换三维：（6个参数）沿x轴平移 p 沿y轴平移 q 沿z轴平移 r 绕x轴旋转 绕y轴旋转 绕z轴旋转 只考虑旋转，有六种不同的组合:结合先旋转、后平移，及先平移后旋转，有12种组合。5.1 图像的基本变换5.1.1 刚体变换刚体变换矩阵的特性：P(u)=Au+BU=(x,y,z)是像素的空间位置；A是旋转变换矩阵B是平移向量矩阵A满足条件：ATA=IAT是矩阵A的转值，I是单位矩阵。5.1 图像的基本变换5.1.2 仿射变换将直线映射成直线，并保持平行性。具体表现：各个方向尺度变换系数一致的均匀尺度变换；变换系数不一致的非均匀尺度变换；剪切变换。Affine Transformation应用：校正由物体与光学仪器间的距离引发的尺度变化；校正由CT台架倾斜引起的剪切；校正MR梯度线圈不完善产生的畸变。5.1 图像的基本变换5.1.2 仿射变换三维：（9参数）沿x轴平移 p 沿y轴平移 q 沿z轴平移 r 绕x轴旋转 绕y轴旋转 绕z轴旋转 x轴向的尺度 mxy轴向的尺度 myz轴向的尺度 mz5.1 图像的基本变换5.1.2 仿射变换 更一般的仿射变换，二维有6个独立参数，三维有12个独立参数。xyz1e11 e12 e13 e14e21 e22 e23 e24e31 e32 e33 e34 0 0 0 1xyz1=对于eij，无小于1的约束。5.1 图像的基本变换5.1.2 仿射变换5.1 图像的基本变换 几种基本的几种基本的二维仿射变换二维仿射变换变换矩阵的矩阵对数变换矩阵的矩阵对数的对角元素对称时，的对角元素对称时，产生全局尺度变换产生全局尺度变换（6 6）；不对称时，产）；不对称时，产生相应轴的缩放尺度生相应轴的缩放尺度变换（变换（5 5，7 7）。）。非对角元素对称，非对角元素对称，相当整体旋转相当整体旋转(2)(2)，不，不对称，产生沿某个轴对称，产生沿某个轴的剪切的剪切(1,3)(1,3)12345675.1.3 透视或投影变换特性：直线经变换后，仍然是直线，但是平行的直线经变换后却可能相交。应用：(1)点源与物体作用，在一个平面上产生投影图像的放射成像。(2)对于照片，采集光线全部通过透镜的焦点。对于断层成像数据处理一般不用透视变换。Perspective or Projective Transformation5.1 图像的基本变换5.1.3 透视或投影变换xy1e11 e12 pe21 e22 q f g 1xy1=二维情况下的变换矩阵：x=(e11*x+e12*y+p)/(f*x+g*y+1)5.1 图像的基本变换5.1.4 非线性变换Nonlinear Transformation又称：弯曲变换，curved transformation特性：将直线变成曲线。变换方法：多项式函数（二次、三次、薄板样条函数）指数函数应用：多用于使解剖图谱变形来拟合图像数据；对有全局性形变的胸、腹部脏器图像的配准。5.1 图像的基本变换5.1.4 非线性变换二阶多项式变形模型：x=e00+e01x+e02y+e03z+e04x2+e05xy+e06xz+e07y2+e08yz+e09z2 y=e10+e11x+e12y+e13z+e14x2+e15xy+e16xz+e17y2+e18yz+e19z2 z=e20+e21x+e22y+e23z+e24x2+e25xy+e26xz+e27y2+e28yz+e29z2薄板样条函数变换：仿射变换与径向基函数的线性组合。n f(X)=AX+B+Wi U(|Pi-X|)i=1基于B样条的变换5.1 图像的基本变换参见数值分析，有关样条插值5.1.5 基本变换的可视化5.1 图像的基本变换平移旋转5.1.5 基本变换的可视化5.1 图像的基本变换5.1.5 基本变换的可视化5.1 图像的基本变换 差绝对值和误差 均方根误差 马氏距离 Hausdroff距离n 基于距离的测度优点：优点：原理简单、实现方便缺点：缺点：速度较慢，精度较低应用：应用：主要用于单模态图像配准,应用范围不是很广泛方法：5.2 相似性测度 相关比率(Correlation ratio)相关系数(Correlation coefficient)PIU(Partitioned intensity uniformity)梯度互相关n 基于相关法的测度缺点：缺点：计算量庞大应用：应用：主要用于单模态图像的刚体配准,精度较高 不适用于多模态非刚体配准。同一物体较小的改变和图像获取条件有较小变化方法：5.2 相似性测度 条件熵 联合熵 互信息 归一化互信息 散度n 基于熵的测度优点：优点：无需预处理、精确性、鲁棒性较好，适应面广。缺点：缺点：速度较慢，互信息函数不光滑方法：5.2 相似性测度5.3 基于分割的配准方法n基于刚体模型的方法 头帽法 迭代最近点(ICP)法 加权的几何特征（WGF）算法n基于形变模型的方法5.3 基于分割的配准方法头帽法“头帽法”（head-hat methodhead-hat method）是由PelizzariPelizzari和ChenChen提出的一个典型算法。从一幅图像轮廓中提取的点集称作“帽子”（hathat），从另一幅图像轮廓提取的表面模型叫做“头”（headhead），用刚体变换将“帽”的点集变换到“头”上。一般用体积较大的病人图像，或在图像体积大小差不多时用分辨率较高的图像来产生头表面模型。PowellPowell搜索算法被用来寻求所需的几何变换，即使帽点和头表面间的距离平均平方值最小。许多学者对该算法做了改进，例如用多分辨金字塔技术克服局部极值问题；用距离变换拟合两幅图像的边缘点等等。5.3 基于分割的配准方法ICP法 迭代最近点（ICP）配准算法是由Besl 和Mckay提出的，它将一般的非线性最小化问题归结为基于点的迭代配准问题。ICP 算法是一种非常通用的配准方法，可用于许多几何形状的配准，如点、线、面、复杂实体等等。对于基于面的配准，则先将其中一个实体定为数据，而将另一个定为模块，然后通过搜索各数据点在模板上的最近点，调整坐标变换矩阵并用其对数据点进行变换，同时对变换的结果进行评估，重复以上步骤直到满足条件为止。