面向医学图像分割的CNN与Transformer混合模型.pdf

第 卷第 期 年 月北京信息科技大学学报（自然科学版）（）文 章 编 号：（）：面向医学图像分割的 与 混合模型王茜，蔡英，范艳芳，王昀（北京信息科技大学 计算机学院，北京 ）摘要：由于医学图像具有对比度低、目标形态复杂和边缘模糊等特点，现有模型的分割准确度无法满足高精度建模和自动化手术的要求。针对这一情况，结合卷积神经网络（，）出色的局部特征提取能力和 长距离建模的优势，提出了一种基于二者的混合架构分割模型 。是一种型结构分割模型，其编码器与解码器均采用 与 并联的混合架构，利用 提取局部细节特征，同时利用 建立长距离依赖，有效提高了分割准确度。在 和 数据集上的对比实验结果表明，骰子系数相较于流行的 和 均有明显提升。关键词：医学图像分割；卷积神经网络；混合架构中图分类号：文献标志码：，（，）：，（），：；（）；收稿日期：基金项目：北京市自然科学基金 海淀原始创新联合基金项目（）作者简介：第一作者：王茜，女，硕士研究生；通信作者：蔡英，女，博士，教授。引言医学图像是通过各种医学影像设备，如 射线、计算机断层扫描（，）、磁共振成像（，）等，获取的展示人体内部器官结构或病变形态的图像。这些图像直观地展示了人体的内部状况，可以为医生提供准确清晰的人体内部结构信息，提高诊断准确率。医学图像分割 是在医学图像中标记出病变区域或者特定的器官、组织的医学图像处理技术。其标记结果可作为医生进一步诊断的参考，提高工作效率；也可用于三维建模处理，为医生和研究人员提供更多、更直观的人体内部信息，提高诊疗准确性或教学效果；甚至可以用通俗的语言在分割结果上标示出病灶的大小北京信息科技大学学报（自然科学版）第 卷和性质，辅助患者了解病情。因此，在医生资源紧缺的当下，医学图像分割技术具有重要的研究意义。目前被广泛应用于医学图像分割领域的基础网络模 型 有 卷 积 神 经 网 络（，）和 。等 在 年提出了完全基于 的图像分割模型 全卷积网络（，），首次将 用于图像分割任务。为此该模型去除了用于分类任务的全连接层，使模型可以适用于不同分辨率的图像，且引入了编码器 解码器结构和上采样的概念，在编码器层对图像进行降采样和提取特征，在解码器层进行上采样和融合特征，最终得到和原图分辨率相同的像素级标注结果，从而实现对图像的分割。等 在其基础上提出了一种专门用于医学图像分割的 型网络 ，同样基于编码器 解码器结构，并加入了跳跃连接层连接对应的编码器层与解码器层，使解码器接受更多的输入信息，可以对不同层次的特征进行充分的融合，有效提升了分割准确度。等 对 做了进一步改进，将平行的跳跃连接结构进行扩充，使其变为网状，可以充分融合各个层次的特征。等 提出的 网络，采用了更加灵活的全尺寸跳跃连接（）方式，将不同层级的特征图进行跳跃连接，帮助网络更好地捕捉和融合不同尺度的特征，有效地提高了模型的准确性和鲁棒性。的局部特征提取能力很出色，但是由于其输入区域受限、感受野较小的缺点，难以进行长距离建模，无法捕捉相距较远的特征之间的联系。虽然 等 在残差网络（，）中提出的残差连接思想可以使 堆叠很多层，以此来捕捉高层语义信息，但是从效果和计算效率来看，的 长 距 离 建 模 能 力 都 远 逊 于 。最 初 被 用 于 机 器 翻 译 任 务，最 早 由 等 提出的 （）网络将 应用于计算机视觉领域。等 舍弃了传统的 结构，完全使用 作为编码器不断地对图片进行降采样处理得到高层的语义信息，然后用解码器将高层语义还原到 原 始 图 片 的 尺 寸。等 提 出 的 也是一种 型分割网络，它在最后一层特征的处理上采用多头自注意力（，）机制来建立长距离依赖，并且在跳跃连接 层 加 入 多 头 交 叉 注 意 力（，）机制来过滤特征中的噪声，强化特征在通道层面的融合。等 提出了门控位置敏感轴向注意力（，），将自注意力机制分为 个模块，第一个模块在图像的高度方向做门控注意力，第二个模块在图像的宽度方向做门控注意力，使其在小数据集上依旧运行良好。是一种完全基于 的 型分割模型，该模型将 中的 模块替换为 模块，在最高层语义上使用 个窗口自注意力模块进行全局建模，并且在解码器端引入图像块扩展（）操作进行上采样，使模型最后的输出尺寸与原始输入相同。由 等在 年提出，是一种专门用于医学图像分割的 和 混合模型，在编码器的最后加入 层 模块提取高层特征。医学图像一般是灰度图像，且由于其边缘较为模糊，需要特别注意边缘细节信息的提取。因此，使用 作为医学图像分割模型的基础架构较为合适。但是，的长距离建模能力较弱，无法建立起分割目标和图像中其他部分之间的联系，导致模型只使用 结构时分割精度达不到精细建模的要求。因此，采用 与 混合架构的分割模型是当前的研究热点。针对主流分割模型 与 存在的对图像细节提取能力较弱和无法充分抽取中层语义信息的缺点，本文提出了 与 并联的混合架构 型分割模型 ，利用 提取局部细节特征，同时利用 建立长距离依赖，提高医学图像分割准确度。模型 模型结构 的整体结构与 类似，采用编码器 解码器和跳跃连接架构，如图 所示。编码器由 层串联的编码器块（）组成，依次提取不同层次的特征并对特征进行下采样。解码器由 层串联的解码器块（）组成，依次进行特征融合并对特征进行上采样。每层解码器都与对应的编码器通过 卷积或 编码器进行跳跃连接，接收编码器提取到的特征，并与上层解码器的输出进行特征融合。与 不同的是，的跳跃连接不是单纯地将编码器的输出输入到对应的解码器层中，而是在前 层采用 卷积对编码器块中 分支和 第 期王茜等：面向医学图像分割的 与 混合模型分支提取到的特征进行融合，在最后一层则采用 编码器进行同样的处理。这种跳跃连接结构可以提取到更丰富的语义特征。的混合架构可以充分发挥 的局部特征提取能力和 的长距离建模能力，提升模型的分割效果。图 模型结构 编码器块采用 与 并联的结构，如图 所示。图 编码器块结构 当原始图片或上一层得到的特征图输入编码器块之后，分为 支并行计算。这一分支先 进 行 图 像 块 分 割（）和 嵌 入（），图像块大小为 ，与 分支的池化层尺寸相同，然后使用 层堆叠的 块进行长距离建模。分支使用 层 卷积进行细节特征提取，并使用 的最大池化层进行降维。其中，嵌入的维度和 卷积核的个数相等。最后，将 个分支得到的特征变换为相同的维度之后相加，得到最终的输出。除最后一层编码器块之外，最终输出都要进入下一层编码器块进行计算，同时要经过 卷积或 编码器和对应的解码器块进行跳跃连接，因此要对输出进行相应的维度变换。是由 等 提出的可以将 应用于各种计算机视觉任务的基础模型，其结构如图 所示。该模型采用图像块分割的方式将图像分割成许多图像块，以图像块为基础进行注意力计算。块是该模型的核心模块，该模块由 层堆叠的 编码器组成，并且在第一个 编码器中引入窗口多头自注意力（，）显著降低模型的计算量，在第二个 编码器中利用滑动窗口多头自注意力（，）机制建立不同窗口内的图像块之间的联系。图 块 解码器块的结构与编码器块相似，如图 所示。解码器块首先将上层解码器块的输入与对应解码器层的跳跃连接输入相加，然后经过图像块扩展模块上采样之后，进行 计算，同时 分支也使用 倍上采样，以使 个分支的输出特征维度相容。编码器块与解码器块采用的并联结构可以使模型对每一个层次的特征同时进行细节信息提取和长距离建模，更充分地挖掘每一层特征的潜在信息。同时，跳跃连接结构也不是简单地堆叠或相加，而是使用一层 卷积处理之后，再与上一层解码器块的输入进行特征融合。并且在最高层的特征上使用 编码器进行全局上下文建模。北京信息科技大学学报（自然科学版）第 卷图 解码器块结构 损失函数在 训 练 阶 段 采 用 的 损 失 函 数 是 基 于 和 的 混 合 损 失 函 数。的计算公式如式（）所示。（）（）式中：当样本为正类时取 ，否则取 ；为修正系数，。的计算公式如式（）所示。（）式中：为真实类别为正类的像素点集合；为预测类别为正类的像素点集合。由于医学图像数据集有严重的样本不平衡问题，因此采用二者的混合损失函数，如式（）所示。（）（）（）式中：为数据集中正样本的比例。这样当样本不平衡问题比较严重时，增大 的比例，同时增大 的修正系数，以降低样本不平衡问题对模型最终收敛结果的影响。实验分析 数据集为了验证 的效果和泛化性能，使用 个图像通道数不同且具有不同尺寸的分割目标的数据集进行实验。数据集的分割目标为肝脏，在图像上表现为连续的大块区域，来自 年生物医学成像国际研 讨 会（，）挑战赛，有 和 两种模态的数据，本次实验仅使用其中的 数据。这些 图像来自于 个志愿者的实际临床数据，均由专业医生手动标注。数据集共包含 张图像，分辨率为 像素，以 格式存储。数据集中的图像均为单通道的灰度图像，对比度较低。分割目标较大且每张图像一般只有单个分割目标。数据集的分割目标为细胞核，在图像上表现为分散的小块区域，来自 比赛，共有 个细胞核扫描图像，这些图像包含大约 个细胞核，也均由经验丰富的医生手动标注。数据集的图像有 种不同的分辨率，所有图像均为 通道，以 格式存储。数据集有彩色和灰度种图像，且每张图像都有多个分割目标。个数据集中均有对比度较低的灰度图像，且均有目标形态复杂的特点。不同角度的肝脏 图像具有不同的形态，不同的细胞核之间也具有较大的形态差异。个数据集中的分割目标和图像中的其他器官或组织之间的界限十分模糊，边缘不易区分。因此，通过这 个数据集上的验证实验，可以较好地说明模型的分割性能和泛化性能。实验设置与性能指标由于 个数据集包含多种不同分辨率的图像，实验采用将图像分为多个大小为 像素的图像块进行。对每个图像进行图像块划分时，保证所有的图像块组合起来可以覆盖整个图像。在推理过程中，将所有图像块的分割结果组合起来即为最终分割结果。对于同一像素分属不同图像块且分割结果不同的，按照结果中 和 的数目作为权重随机进行取值。数据集的规模相对较小，可能会产生欠拟合现象，因此采用先在 数据上训练，然后在 数据集上微调的方式进行实验。在 个数据集上均使用自适应矩估计（，）优化器，训练 个轮次。实验结果与 、和 进行对比。为了客观对比各个模型的分割效果，采用骰子系数（）、交并比（，）和类别像素准确率（，）指标对分割结果进行评估。和 都可以用来衡量 个集合的相似度，在图像分割领域即为真实标签像素点集合和模型输出结果像素点集合的相似度。更注重被正确标注的正类像素点，则更加均衡。同样分割结果下，的值会高于 的值。只关注被正确标注的正类像素点，越高说第 期王茜等：面向医学图像分割的 与 混合模型明模型召回率越高。个指标综合可以更全面地衡量模型性能。个指标的计算方式都依赖混淆矩阵，如式（）所示。（）式中：为真正类，表示模型预测为正类且真实标签也为正类的样本数；为假正类，表示模型预测为正类但是真实标签为负类的样本数；为假负类，表示模型预测为负类但是真实标签为正类的样本数。实验结果分析在肝脏数据集 上各个模型的分割性能如表 所示。表 肝脏数据集 分割结果 模型 从表 可以看出，在肝脏数据集上的 、和 分别为 、和 ，指标均为最好，相比于完全基于 的 优势明显。与 和 相比，其 提升了 、百分点，提升了 、百分点。个模型的分割结果在 指标上相差不大，表现更为出色。图 为各个模型在肝脏数据集上的分割结果可视化对比。从图中可以看出，与 的分割结果相比于标签均有错分，特别是在肝脏的右下角边缘部分，出现了明显的凹陷。的结果与标签较为接近，但依然没有分隔出肝脏右上角的尖点。只有 正确分割出了肝脏右上角的边缘部分，且整体分割效果和真实标签最为接近。表 展示了各个模型在细胞核数据集 上的分割性能。从表中可以看出，表现最好，相比于表现较好的 ，其 、和 分 别 提 升 了 、百分点。图 肝脏分割可视化对比 表 细胞核数据集 分割结果 模型 各个模型在 数据集上的分割结果的可视化对比如图 所示。整体而言，个模型对于细胞核都有或多或少的错分和漏分；但对比而言，只有 正确分割出了正中间的较小的细胞核。图 细胞核分割可视化对比 从 个数据集的整体效果来看，完全基于 的 相较于其他 个基于 的模型 有 较 大 落 后，优 于 其 他模型。北京信息科技大学学报（自然科学版）第 卷 消融实验为了验证并联结构、卷积跳跃连接和 编码器全局上下文建模的作用，在 数据集上进行消融实验验证。实验结果如表 所示。表 消融实验结果 模型 去除 分支 去除 卷积 去除顶层 ）并联结构的有效性去除编码器和解码器中的 分支后，模型性能有大幅度下降。、分别降低 、百 分 点。这 说 明 模块建立长距离依赖的能力对模型有较大影响，在编码器与解码器上使用 模块与 的并联结构，可以有效提升模型的分割性能。）卷积的有效性去除跳跃连接层中的 卷积，采用直接跳跃连接方式后，模型的 、分别降低 、百分点。这说明用 卷积融合 个分支提取的特征，可以使编码器得到更准确的语义，从而提高模型的准确性。）全局上下文建模的有效性最后一层编码器块之后的 编码器用于对整个图像的高层特征进行全局上下文建模，去除该模块，顶层 编码器建立的全局依赖对模型效果有较大影响。模型的 、分别降低 、百分点，且均大于去除 卷积的降低幅度。计算性能分析由于提出的 模型采用 和 并联的结构，且编码器和解码器之间加入 卷积和 编码器作为跳跃连接结构，因此模型参数较 有较大增长。模型参数量和计算量对比如表 所示，相比于使用 的 也有所增加，但略少于 。表 模型参数量和计算量对比 模型参数量 计算量 结束语随着 在计算机视觉中的应用越来越成熟，将 应用于医学图像分割领域成为研究热点。本文提出的 网络结合了 建立长距离依赖的优势和 出色的细节特征提取能力，有效地提升了模型的分割效果。对比实验表明，在 和 数据集上的骰子系数分别达到 和 ，表现出比同类模型更好的分割效果。但是，对于分割目标的边缘位置和较小的分割目标，包括 在内的同类模型都有较大的进步空间，这将是下一阶段的研究重点。参考文献：，：，：徐光宪，冯春，马飞 基于 的医学图像分割综述 计算机科学与探索，（）：，（）：（）张欢，仇大伟，冯毅博，等 模型改进及其在医学图像分割上的研究综述 激光与光电子学进展，（）：，：，（）：（），（），：，：，：，：，：，：，：，：，：，（），：，：（下转第 页）北京信息科技大学学报（自然科学版）第 卷 李占金，张艳博，魏华 基于 的三维动态建模系统研究与开发 华北理工大学学报（自然科学版），（）：，（），（）：（），：，：，：，（），：，：，：，：，：（上接第 页），（），：，：，（），：，：，：（）：，（），：，：，：，：，：，：，：，：，：，：，：，：（）：，：（），：，：，（），：，：，：（），：，：