2D-3D医学图像配准临床数据集标定结果的分析与评价.pdf

第 卷 第 期 年 月北京生物医学工程 作者单位：中国石油大学（北京）信息科学与工程学院（北京）首都医科大学附属北京安贞医院北京市心肺血管疾病研究所（北京）通信作者：舒丽霞。：医学图像配准临床数据集标定结果的分析与评价魏萍 王顺顺 王珠 舒丽霞摘 要 目的 构建采自临床的 医学图像配准数据集，是实现各种学习算法应用于实际医疗的重要环节。然而临床数据的获取过程中存在多种不确定因素，致使数据集的标定结果需要分析和评价。本文对采自胸主动脉腔内修复术的一组 线和 图像的几组标定数据进行分析和评价，并确定正确标定结果。方法 分别采用相似性度量法和投影距离误差法对标定结果进行分析和评价。选用相似性准则，计算 图像生成的二维数字放射重建图像和 线图像的相似性，相似程度越高，对应的标定值越接近真实值。读取 线图像中的标记物影像位置作为参考位置；将计算得到的 图像中标记物位置在 线图像上投影，得到投影位置；计算参考位置和投影位置的距离，距离值越小，对应的标定值越接近真实值。结果 提供的几组标定数据，在比较数字放射重建图像和 线图像相似性方面，相似度接近，没有明显指向性；而投影距离误差法的分析结果指向性明显，能够定量描述标定结果的优劣。主要原因在于各组标定值之间差别不突出；生成的数字放射重建图像和 线图像之间模态差异较大等。结论 投影距离误差法是评价 医学图像配准数据集标定结果的有效手段。另外，若提供的标定结果计算数据差异明显，或者可以提供高质量的数字放射重建图像时，相似性度量法也是评价标定结果的可选途径。关键词 数据集标定；临床数据集；评价；相似性度量；投影距离误差：中图分类号 文献标志码 文章编号（）本文著录格式 魏萍，王顺顺，王珠，等 医学图像配准临床数据集标定结果的分析与评价北京生物医学工程，（）：，（）：，；，：（：）【】，（），；，【】；引言 医学图像配准是将来自不同模态的二维和三维医学影像进行对齐和融合，其在引导手术精确操作及提高医学影像诊断的准确性等方面具有重要意义。近年来，医学图像配准的研究在理论和技术方面都取得了显著的进展，主要表现为由传统的基于特征或基于灰度的配准方法转为基于深度学习的配准方法。深度学习技术可以通过学习，从数据中自动提取特征，从而减少人工特征工程的依赖。其次深度学习模型的端到端训练能力为 医学图像配准提供了新的前景，通过将配准问题建模为深度学习模型的优化问题，直接从输入的 和 图像对中学习配准参数，可以更好地适应不同的医学数据和配准任务，提供准确快速的配准结果。尽管深度学习在 医学图像配准领域具有很大的应用潜力，但仍然存在数据标注和配准准确性评估等挑战。通过准确性评估，才可以提高配准技术的可靠性和应用性，推进临床应用进程；也可以指导算法的选择和改进，以及促进学术交流和知识共享等。评估和验证 医学图像配准结果准确性的方法主要包括定性评估和定量评估，其中定量评估具有标准化的流程和更高的准确性，主要包括图像相似性、特征点匹配、金标准数据集等。相较图像相似性评估和特征点匹配评估，金标准数据集评估具有较高的准确性、快速性和通用性。金标准数据集包含配准结果的参考标签，可用来比较不同算法的性能，并评估其准确性和鲁棒性，构建金标准数据集的主要工作在于数据的采集和图像对的标注。现有的 标准数据集主要包括模拟数据集和体模数据集两类。模拟数据集是按照设定的投影参数，对 图像进行数字放射重建（，）生成 图像，建立具有准确对应关系的 与 图像对数据集。当前基于深度学习的配准算法多利用模拟数据集进行训练，这种数据集的不足之处是 与术中 图像存在域间差异，从而影响深度学习配准模型的性能。体模数据集则是利用人或动物标本的某个部位作为体模构建的标准数据集，此类数据集机体组织单一，与临床所采集的患者数据有明显不同。由于体模的静态特征，从而容易获得比较准确的数据集标注，然而基于体模的金标准数据集与临床的真实情况存在差距，比如临床中不同手术关注的部位不同以及手术前后的各种环境因素都北京生物医学工程 第 卷会体现到术前 和术中 图像中。所以深度学习配准模型应用于真实的医疗过程，必须经过来自具体临床环境的标准数据集的训练和评价。也就是说，构建来自临床影像的金标准数据集，是各种配准算法应用于实际医疗进程不可缺少的一个环节。关于如何对采集自临床的 图像对进行标注，目前没有公开发表的文献报道。本课题组前期对采自胸主动脉腔内修复术的 线图像和 图像的数据集的标定方法进行了研究。构建临床数据集与体模数据集的不同之处主要在于：需要考虑患者的安全性和配合度；数据采集过程带来的不确定性。因此使用无创的体表标记点，即在采集 图像前，在患者体表粘贴标记点。数据集中的 图像在患者进行手术时采集，通常在采集 图像后数天进行，并且这两种图像采集时患者采用不同的姿势。这会带来标记点的偏移甚至脱落，致使采集的 和 图像中标记点不具有准确的空间对应关系。对于这种情况，将 影像中标记点位置设为变量，利用优化搜索方式获得标记点位置，以尽可能降低标记点间的空间不对应性，计算出图像对的标定结果。然而临床数据获得过程中的诸多不确定性，致使数据集标定的结果同样需要分析和评价。本文工作就是对前期计算的关于胸主动脉腔内修复术的 图像对的几组标定数据，分别采用相似性度量法和投影距离误差法进行分析和评价，并确定正确标定结果。当前公开文献中没有对 医学图像配准临床数据集构建工作的相关研究，本文对胸主动脉腔内修复术的 图像对标定结果的分析和评价方法，可应用于构建不同医疗场景下 图像配准临床数据集。问题描述胸主动脉腔内修复术在大型 臂血管造影系统下实施，臂 线机采用等中心定角照射技术，臂两端分别是点光源 和平面探测器。术中医生通常将等中心点 放置于患者病灶区域，点光源从患者身后穿过，在平面探测器上成像，生成术中 线图像。采集图像之前，在患者 的胸骨柄、右侧肩胛骨下方以及左侧肋骨下方粘贴了标记物（，）。患者 的术前 图像是对 切片重建的 图像，图像中包含体表标记物的投影。以术前 图像代替术中患者，确定和术中 线图像的投影变换关系，实现 图像的配准，见图。建立参考坐标系，坐标系原点为 中患者头端背部左手边的第一个体素；以垂直于地面向上为 轴正方向；轴正方向与 轴正方向垂直，并且从人体头端指向足端；采用笛卡尔坐标系右手法则确定 轴正方向。建立旋转坐标系，坐标系原点对应等中心点，坐标轴方向与参考坐标系一致。图像和 线图像的投影变换关系通过以下参数描述：、即（，）、。其中投影参数、是 臂 线机三个旋转轴的三个旋转角度；是等中心点位置，是三个旋转轴交汇之处，用等中心点在参考坐标系中的坐标（，）表示；是 线机点光源 到平面探测器中心点的距离；是 线机点光源 到等中心点 的距离。、可以从 臂说明书及 线图像 数据中获取；用于描述等中心点 的位置参数（，）未知，是待确定变量。所以确定数据集中 图像和 线图像变换关系的主要工作就在于确定术中等中心点的位置。通过旋转 臂枢轴一周，其他参数保持不变，获得患者 的一组 线图像：，。构建的数据集为：，（，），其中，（，）表示患者 的术前 图像和术中第 张 线图像的投影变换关系。如上所述，其由 个参数描述，等中心点坐标是待确定变量。而由 线图像的采集方式知道，此组 线图像对应相同的等中心点位置。如引言中所述，由于采集两类图像的时间间隔比较长，以及采集两类图像的人体姿态不同等因素，使得采集 线图像中的标记点并非采集的 图像中标记点的精确投影。针对这种情况，前期工作是将 影像中标记点位置设为变量，根据 臂 线机工作原理，构造目标函数和约束条件，通过优化搜索方式确定标记点在 图像中的真实位置，以尽可能降低标记点间的不对应性，从而确定未知的投影参数（，），实现数据集的标定。以上描述的确定未知参数的方法，需要用到两张 线图像和其中的两个标记点位置信息，然而当选取 线图像不同时，确定的未知参数在数值上存在一些差异，这是实际临床数据中不可避免的现象。因此需要对这些计算结果进行分析和评价，确定最具可能性的参数第 期 魏萍，等：医学图像配准临床数据集标定结果的分析与评价取值，最终实现数据集的标定。本文工作就是对采集自患者 的一组 和 线图像的几组标定值进行分析和评价，并得出最终结论。本文选用的分析和评价方法，可应用于不同医疗场景的 图像配准临床数据集。图 基于 臂 线机的 和 线图像空间对应关系 材料和方法 图像数据图像在采集过程中，受试者知晓同意，并且该研究已经通过伦理审查并获得相关数据使用的授权。对于患者，其 图像由 设备采集获得，图像的分辨率为 ，层间距为 ，体素大小为 ，数据大小为 。臂 线机的探测器平面尺寸为 ，线图像为 像素，像素大小为 ，数据大小为 。如图（）、（）所示，标记物在 图像上清晰可见，有些 线图像由于成像角度不同，存在个别标记物被遮挡的情况。选取 张可以清晰显示胸骨柄和左侧肋骨下方标记物（和）的 线图像，平均分成 组，按照前期研究方法获得 组等中心点位置的计算结果。从 组计算结果中选取有代表性的 组结果进行分析和评价，这 组结果见表。有代表性是指计算结果从数值相近程度可以归为这 类；组计算结果包括等中心点位置，以及优化得到的 和 在 图像中的位置；等中心点和标记物（和）的位置均用其在参考坐标系中的坐标表示。表 四组等中心点的坐标和 中标记物坐标 组别 （，）（，）（，）（，）（，）（，）（，）（，）采用方法对标定结果进行分析和评价采用相似性度量法和投影距离误差（，）法。相似性度量法，即对 图像利用数字放射重建技术，按照计算的投影参数生成二维 图像。比对各组投影参数生成的 图像和对应 线图像的相似性，相似性越高，则其对应的投影参数是正确配准标定值的可能性越大。由于医学图像相似性度量应当考虑到医学图像的特殊性质，比如噪声、手术器械、变形等因素的影响，因此本实验在使用相似性评价指标时，会先对图像进行降噪和增强处理，然后再计算相似性。投影距离误差法，即选择可以清晰显示 和 的 线图像，读取其中标记物影像位置，作为参考位置；然后将计算得到的 图像中标记物位置，按照相应投影参数在 线图像上投影，得到投影位置；比较 和 的距离，用式（）所示方式表示，表示欧几里得距离。由于成像角度不同，标记物在某些 线图像上不能清晰投影，所以可读取的标记物投影数量会少于 线图像的张数。（）结果与分析实验结果统一使用软件 ，在 专业版操作系统、内存 的系统环境下运行计算得到。基于相似性度量方法的计算结果从采集的一组 线图像中选取 张作为参考图像，分别利用数字重建放射技术，按照表 所示的投影参数，结合参考图像中读取的其他参数信息，投影北京生物医学工程 第 卷图 体表标记物在 渲染以及 线图像中的显示 生成 图像。分别按照对齐度（，）、互信息（，）、归一化互相关（，）及结构相似性（，），计算 线和 图像对的相似性。计算结果表明，组投影参数对应下的 线和 图像对所对应的相似性结果相差不大。即不同投影参数下获得的相似性的计算结果基本一致，不具有明显指向性。比如对于第 张 线图像（是在采集的一组 张 线图像中的编号，属于所选的参考图像）与 组投影参数下得到的 图像，相似性计算结果如表 所示，可以看出每行结果数值相近，不具有明显区分度，难以评价 组投影参数的优劣。表 信息相似性度量实验结果 相似性准则 号 号 号 号 注：表中的 号，即按照表 中第 组数据结合第 张 线图像中读取的参数信息，对 图像进行数字重建放射投影获得的 图像。相似度计算是针对图像的整体信息的衡量，下面利用棋盘格交错显示 线图像和 的可视化观察效果，即将图像平均分割为 个子区域，线图像和 图像在子区域交错呈现，用于观察子区域间的图像连续性，从而判断和评价配准的效果。以第 张 线图像为例，基于 组投影参数的 图像分别和第 张 线图像的棋盘格对比图如图 所示。通过观察两侧的骨骼结构和肋骨的重合度可以发现，图（）在右上部位比其他三组图像的对应程度略高，图（）在右下部位比其他三组图像的对应程度略高，图像左侧的对应程度很难区分高下。基于投影距离误差方法的计算结果从采集的一组 张 线图像中读取到 个的投影位置信息（，）和 个 的投影位置信息（，），作为参考位置。按照所在 线图像的参数信息，结合表 所示的等中心点坐标构成投影参数，如式（）、式（）所示。是与 相关的 组投影参数，是与 相关的 组投影参数。（，），（）（，），（）将表 中 组关于 和 在 中的坐标位置，分别按照式（）、式（）中的投影参数向 线图像投影，计算得到 组投影位置信息 和（，）。对 的 个参考位置，分别按照式（）计算其和投影位置（，）的距离误差，得到 组（每组 个点的投影距离误差值）投影距离误差的分布图如图（）所示；对 的 个参考位置 分别按照式（）计算其和投影位置（，）的距离误差，得到 组（每组 个点的投影距离误差值）投影距离误差的分布图如图（）所示。综合衡量图（）和（）两图的误差分布范围，第 组计算结果具有较小的投影误差分布，误差值最大不超过 ，主体分布在 以下。第 期 魏萍，等：医学图像配准临床数据集标定结果的分析与评价图 图像与 线图像对比图 图 （）和（）的投影距离误差分布图 （）（）分析与评价利用 图像按照 组投影参数得到 图像，计算与相应 线图像之间的相似性度量值，从计算结果来看，不同图像对虽然相似度数值不完全相同，但彼此之间差别过小，对标定结果的筛选不具有指向性。原因可能在于：（）组等中心点位置本身差别不明显，这也说明了计算结果相对集中在真实的等中心点位置附近；（）采集的 图像因成像范围的要求，无法完整包含患者的头颅，导致在生成 图像时，在患者肩部以上存在较多伪影，另外 图像与 线图像虽然经过了滤波和增强处理，但两者之间仍然存在着较大的模态差异，图像无法满足模拟实际生成 线图像时存在的散射现象，因而造成相似度数值结果整体偏低，以至不同组图像对之间相似度值差异较小。利用投影距离误差法对 组投影参数进行评价和筛选，计算结果具有一定的指向性。第 组计算结果始终具有较小的投影距离误差，误差值最大不超过 ，主体分布在 以下。其他 组的误差值主体分布也比较集中，这也可以说明 组计算结果集中分布在真实的等中心点位置附近。除了分析用的 组等中心点坐标，其他 组等中心点坐标见表。根据数值的相近程度，第、第 组和第 组归为一类，第 和第 组归为一类，第 组单独为一类，第 组和第 组归为一类。所以从等中心点计算结果的分类情况，可以推测第 组所代表的一类等中心点坐标计算值可能接近真实的等中心点位置。表 其他 组等中心点的坐标 组别 组别 北京生物医学工程 第 卷综上，患者 的一组 和 线图像，可以确定等中心点坐标标定值：在 之间，在 之间，在 之间。结论本文对构建的 图像配准临床数据集的标定结果进行了分析和评价，数据集中的 和 图像分别来自胸主动脉腔内修复术中的一组 线图像和术前的 图像。通过采用相似性度量法和投影距离误差法对标定结果进行评价和筛选，确定 图像配准的最终标定结果。对于本文研究的这组 线和 图像所提供的 组标定值计算数据，在比较 图像投影生成的 图像和 线图像相似性方面，没有明显的指向性，而投影距离误差法的分析结果指向性明显，能够定量描述出标定结果的优劣。主要原因在于各组标定值之间差别不突出；生成的 图像和 线图像之间模态差异较大等。所以可以得出投影距离误差法是评价标定结果的有效手段。另外，若提供的标定值计算数据差异明显，或者可以提供高质量的 图像时，相似性度量法也是评价标定结果的可选途径。当前公开文献中没有对 医学图像配准临床数据集构建工作的相关研究，本文对胸主动脉腔内修复术 图像对的标定结果的分析和评价方法，可应用于构建不同医疗场景下 图像配准临床数据集。参考文献 ，：，：，：，：，：，：，：，：，：？，：，（）：，：，：，：，：，：，：，：，：，：刘坤，吕晓琪，谷宇，等 快速数字影像重建的 维 维医学图像配准中国图像图形学报，（）：，（）：，：，（）：（收稿，修回）第 期 魏萍，等：医学图像配准临床数据集标定结果的分析与评价