基于深度学习的膀胱癌多参数磁共振成像无监督配准方法研究.pdf

生 物 医 学 工 程 研 究 ，（）：通信作者 ：基于深度学习的膀胱癌多参数磁共振成像无监督配准方法研究陈志颖，陈春晓，吴泽静，徐俊琪（南京航空航天大学 生物医学工程系，南京 ）摘要：针对传统基于迭代优化的医学影像配准方法速度慢、泛化性差的问题，本研究提出了一种基于深度学习的膀胱癌磁共振成像（，）跨模态无监督配准方法，并采用具有随机块采样的标准互信息（，）进行无监督训练。相比传统的迭代配准方法，本研究算法在进行膀胱癌动态增强成像（，）和 加权像（，）配准时，精度提升了 ，速度提高了 倍。实验结果表明，本算法在进行膀胱癌 和 配准时，精度更高，速度更快。关键词：膀胱癌诊断；多参数磁共振；跨模态配准；深度学习；端到端；无监督学习；相似性度量中图分类号：，文献标志码：文章编号：（），（，）：，（），（）（）：；引言膀胱癌（，）是泌尿系统最常见的恶性肿瘤，为全球十大癌症之一 ，根据肿瘤浸润深度，可分为非肌层浸润性和肌层浸润性。目前膀胱癌诊断的方法主要包括组织病理学、膀胱镜及影像学检查等。磁共振成像（，）对软组织成像分辨率高、可多平面、多参数成像、无电离辐射，在判断膀胱癌分期上优于计算机断层成像（，）。多参数 综合利用 加权像（，）、扩散加权成像（，）和动态增强成像（，），可进一步提高膀胱癌诊断分期的准确性，更有助于预测肿瘤复发概率及患者生存率 。膀胱癌多参数 配准将 、和 的同一解剖点配准到相同的空间位置，可对比不同扫描参数下 图像传递的信息，有助于医生及深度学习模型从多个层面分析和诊断膀胱癌的肌层浸润情况 。生物医学工程研究第 卷传统医学影像配准通常采用迭代优化的方法，然而迭代优化方法在实际应用中不仅速度慢，而且针对不同病例，需调整超参数才能取得较好的配准效果 。近年来，随着深度学习在图像处理领域取得的突破性进展，其也被应用于配准研究，并逐渐演变出了基于特征的组合配准方法 、有监督的端到端配准方法 和无监督的端到端配准方法 。无监督的端到端配准方法可通过深度学习模型直接估计空间变换参数，在训练过程中无需变换参数作为标签，可通过形变后图像与参考图像之间的相似性度量，直接驱动深度学习模型进行参数更新 。无监督的端到端配准不仅在应用中速度快，而且相比于有监督配准更易获取训练样本，因此受到广泛关注。等 提出了无监督可变形配准模型 对脑部 的 加权像进行配准，使用相关系数（，）和均方误差（，）作为训练的损失函数。王帅坤等 提出了一种肝脏 的深度学习无监督配准方法，通过引入基于领域描述符的结构信息损失，进行网络迭代优化，无需先验信息即可实现两种模态图像的配准。本研究在 研究的基础上，构建了膀胱癌 跨模态无监督配准框架，提出了块标准化互信息（，）损失对配准模型进行训练，实现了 与 之间的配准，可推广应用于其它跨模态数据的配准。材料与方法 数据集和预处理本研究的 数据来源于江苏省人民医院，例膀胱癌患者，包括 和 ，数据采自于 种不同型号的磁共振扫描仪。和 数据均为轴状位影像，其中 的像素间距范围为 ，层间距的范围为 ；的像素间距范围为 ，层间距的范围为 。为减小数据格式所导致的配准误差，采用三线性插值将 和 数据像素间距统一为 ，并通过中心裁切，将单个病例中切片的矩阵大小统一为 。由于待配准的 数据与 数据层数不一致，无法满足模型训练要求，因此对切片数量少的数据上下均匀填充“”。对片数较少的 数据上下各填充 和 片，见图 。此外，由于不同患者间的 明暗对比较大，数据的对比度低，为减小数据间差异，本研究采用直方图匹配，将 的直方图匹配至 ，并通过极大、极小值归一化，将数据的灰度值转换为浮点数，并压缩到 之间，见图 。图 数据切片填充示意图 膀胱癌 跨模态无监督配准框架本研究提出的基于 损失的膀胱癌 跨模态配准模型，采用无监督的端到端深度学习配准框架，该框架包括前向推理和训练两个过程，见图 。由于基于深度学习的三维数据跨模态配准计算量较大，难以对原始数据进行直接操作，因此，本研究在前向推理和训练过程中对配准模型的输入数据进行了降采样处理。具体采用三线性插值对浮动图像和参考图像进行下采样，将数据大小从 转换为 ；在配准模型输出位移矢量场（，）之后，对 进行三线性插值上采样，并乘以放大倍率，获得与浮动图像尺寸一致的 。在膀胱癌 跨模态配准模型的训练过程中，采用平滑正则损失项 和相似性度量损失项 所组成的目标函数对配准模型 进行训练：。，()（）（）其中，表示配准模型；表示浮动图像 ；表示参考图像 ；表示位移矢量场；表示形变场；。表示重采样过程；为平滑正则项的系数。平滑正则项 的作用是确保形变的平滑性，使形变场不会因过度折叠而失去真实性，具体是计算中每一个位移向量 在 、方向上的梯度，并对梯度进行约束。（）（，）（）为确保训练过程中损失的反向传播、重采样过程的可导，本研究采用 等 提出的空间变换法进行重采样。假设 是浮动图像 中一个体素的位置，表示经位移变换后的新体素位置，。由于 是浮点数，无法直接对数据进行索引，并且反向传播需要可导，无法直接对 取整，因此，采用 的空间 邻域()对 位置的值进行第 期陈志颖，等：基于深度学习的膀胱癌多参数磁共振成像无监督配准方法研究图 （）轴状位切片；（）轴状位切片；（）直方图匹配后的 ；（）灰度直方图；（）灰度直方图；（）匹配后的灰度直方图 （）；（）；（）；（）；（）；（）图 膀胱癌 跨模态配准的前向推理和训练过程 插值估计：。()()（），（）（）配准模型结构本研究配准模型 通过一个具有跳跃连接的 形三维卷积神经网络结合残差块 实现，结构见图 。配准模型 的输入由浮动图像与参考图像拼接而成，大小为 ，其中 和 为 。由于膀胱癌 数据的层间距较大，为避免下采样过程中 维度的信息缺失，在模型编码过程中使用步长为 ，的卷积，以保持数据的 维度大小不变，并对 和 维度进行 倍的下采样。为减少训练的计算量并提高形变的平滑性，采用三线性插值对最终卷积的输出进行处理，将 从 插值到 ，个通道分别代表，三个方向上的位移量。此外，编码过程采用残差块以增强配准模型的拟合能力，残差块内部由两个步长为 的卷积串联构成。基于核密度估计的 损失互信息（，）常用于度量不同模态数据的相似性，计算如下：（，）（，）（，）（）（）（）生物医学工程研究第 卷图 配准模型的结构图 其中，和 表示待测量的一组数据，（）和 （）分别表示 和 的边缘概率分布，（，）表示 和的联合概率分布。然而，由于 （，）无上确界，难以应用于配准模型的训练，因此，本研究采用标 准 化 互 信 息（，），的值域为 ，计算如下：（，）（，）（）（）（）其中，（）和 （）分别代表 和 的熵。计算互信息需要计算数据的概率分布，并且该过程必须可导才能进行损失函数的反向传播，因此，引入核密度估计法计算数据的概率分布，采用高斯核函数进行核密度估计：（）（，）（）（，）（）（）其中，（，）为高斯核函数，为核函数的中心，为核函数的窗宽参数。本研究中待配准的 和 数据存在切片数量（见 ）和扫描范围不一致，见图 。若直接计算配准后 与 之间的整体 ，并进行模型训练，可能导致较大的配准误差，因此，本研究提出的 在测量相似性时，仅索引配准后 与 的非“”切片交集，定义配准后 的非“”切片为像素和大于预设阈值的切片。图 与 扫描范围不一致示意图 此外，本研究使用 损失进行随机的切块测量，以增加训练随机性，提高模型拟合能力。定义 平面为轴状位切片所在平面，在 平面上对形变后的 和 进行统一的随机块采样 （），随机取一点作为块的左上角顶点位置，并按输入数据长宽的 倍对 和 进行索引。损失计算如下：。，()（。，），（，）（）实验结果及分析 参数设置与评价标准本研究模型采用 优化器进行训练，大小设置为 ，设置为 ，初始学习率为第 期陈志颖，等：基于深度学习的膀胱癌多参数磁共振成像无监督配准方法研究 ，并随迭代次数的增加线性衰减至 。式（）中，的取值为 ；式（）中，的取值为 。实验过程中，按照 的比例将数据划分为训练集和测试集，测试集共有 例数据，用于对比算法的精度和速度；训练集有 例数据。实验平台为 ，使用 进行模型训练，计算机配置如下：操作系统为 专业版，内存 ，显卡 。本研究采用 以及 相似系数（，）作为实验的定量评价指标。用于测量配准后 与参考图像 之间的相似性。衡量配准后的浮动图像 膀胱内壁标签 与参考图像 的膀胱内壁标签 之间的重合程度，其计算如下：，()，（）本研究算法与迭代方法的对比在膀胱癌 测试集上对比了本研究算法、高斯向 量 场（，）方法 和对称归一化（，）方法 。和 预先进行了仿射变换配准。仿射变换、和 均采用 作为目标函数，的灰度分箱设置为 ，采样率设置为 。仿射变换的配置为：梯度下降步幅 ，迭代次数 ；的配置为：梯度下降步幅 ，迭代次数 ；的配置为：梯度下降步幅 ，迭代次数 。图为测试用例在同一位置的 和 切片经不同方法配准前后的实验结果。其中，第三列红色表示 标签、绿色表示 标签，黄色表示 与 标签的重叠部分。由配准前后的膀胱标签对齐结果可知，、和本研究算法均能实现良好的配准。由三种方法的形变场可知，方法的形变无明显规律，易导致形变后数据失真，图 相同位置 和 切片经不同方法配准前后的结果 生物医学工程研究第 卷而 和本研究算法的形变场较为平滑，并且本研究算法在膀胱处的形变与周围组织的形变相比较大。表 定量测量了 、和本算法的 、以及在 和 上的平均配准耗时，其中 和 通过平均值和方差进行展示。相较于 和 ，本研究算法不仅取得了较高的 和 ，而且在配准速度上有明显优势，平均每例数据在 上配准仅耗时 。表 膀胱癌 配准实验结果 平均耗时（）（）（）（）（）本算法 （）（）注：“（）”内为方差。损失的参数设置本研究算法在膀胱癌 和 的跨模态配准中取得了较好的结果，这主要取决于 损失及其关键参数的设置。为验证 损失设计的合理性，本研究在 基础上通过控制变量法验证了取 和 非“”切片交集（简称为取交）和 （）随机块采样操作的作用，实验结果见表。结果表明，取交和随机块采样对配准均有较大作用，二者同时应用可使 提高 。表 取交和随机块采样的实验结果 取交随机块采样 （）（）?（）（）?（）（）?（）（）注：“（）”内为方差。此外，本研究还验证了 （）随机块采样中的取值对配准结果的影响，实验结果见图 ，可见当取值太小，即采样的块太小时，和 均偏低，当 取值为 时，配准效果最优。结论本研究针对膀胱癌 数据，通过插值和直方图 不同 取值的配准结果 图匹配对数据进行预处理，构建了基于卷积神经网络的跨模态配准模型，并提出了基于核密度估计的 损失，实现了 和 的三维可变形无监督配准。膀胱癌 、配准实验结果表明，本研究算法相较于迭代配准方法具有更高的配准精度，且 配准耗时仅为迭代配准方法的 ；损失的取交和随机块采样对配准效果的提升具有较大作用。后续可将本研究配准算法应用于其它跨模态数据的配准，并针对神经网络的结构和损失函数进行进一步优化。参考文献 ，：，（）：，：，（）：崔应谱，孙兆男，刘想，等 基于 膀胱癌 和 诊断结构化报告之建议 放射学实践，（）：，（）：，：，（）：，第 期陈志颖，等：基于深度学习的膀胱癌多参数磁共振成像无监督配准方法研究 ，：，：，（）：，：，（）：莫晓盈，杨锋，尹梦晓，等 医学图像配准的深度学习方法综述 小型微型计算机系统，（）：，：，（）：，：（），：，：，：，（）：，：，：，：，：，：，：王帅坤，周志勇，胡冀苏，等 基于深度学习的肝脏 图像无监督配准 计算机工程，（）：马腾宇，李孜，刘日升，等 基于无监督学习的多模态可变形配准 北京航空航天大学学报，（）：，：，：，：，：，（）：，（），：，：，：（），：，：，：，：，（）：（收稿日期：）