基于Transformer的核磁共振肿瘤图像分割研究.pdf

第 卷 第 期邵阳学院学报(自然科学版).年 月 ().文章编号:()基于 的核磁共振肿瘤图像分割研究吕嫄(芜湖职业技术学院 基础教学部安徽 芜湖)摘 要:为了提高医务人员对于脑肿瘤核磁共振成像的诊断效率和准确率提出一种基于 的 形图像分割网络使用纯 架构对输入图像进行特征编码与解码并通过跳转连接融合多尺度特征修复目标细节 此外还在特征融合的地方增加了跳转注意力操作增强模型的鲁棒性 为了验证此方法的有效性在公共的脑肿瘤分割数据集 上进行了多次实验 所提模型对、和 区域的分割 得分分别达到.、.和.且参数量和浮点运算次数较低 实验结果表明所提网络结构在脑肿瘤核磁共振成像上具有较强的分割性能关键词:卷积神经网络跳转连接 形分割网络脑肿瘤中图分类号:.文献标志码:():.收稿日期:基金项目:安徽省教育厅项目()安徽省教育厅项目()作者简介:吕嫄女高级讲师硕士从事数据挖掘研究:.邵阳学院学报(自然科学版)第 卷.:核磁共振成像可以很好地显示人体的组织信息用于区分肿瘤是否为癌性以及癌细胞是否转移 因此核磁共振成像可以辅助医务人员规划肿瘤治疗方案 近年来随着深度学习技术在图像处理领域的迅速发展运用深度学习技术对肿瘤病人的核磁共振影像进行自动分割可以更加快速准确地为医生提供诊断依据基于深度学习技术的卷积神经网络被广泛应用于医学图像分割领域 是最早提出 形分割架构的卷积神经网络其设计思想得到了广泛的应用 在卷积神经网络中有很多工作都证明了多尺度特征对于图像分割任务非常重要 池化操作会损害这种多尺度的信息空洞卷积解决了这个问题 但是这种卷积会造成信息的不连续因此本文提出一种不使用卷积的模型 最早是用于解决自然语言处理领域中无法并行训练的问题 直到视觉 巧妙地将其应用于图像处理弥补了卷积神经网络的一些缺点推进了医学图像处理领域的发展 在视觉 基础上提出了滑动窗口算法降低了计算复杂度 和 是两个完全基于 架构的 分割网络 是第一个提出结合卷积和 的医学图像分割网络但是它只用了一个卷积层来提取 的特征 通过使用不同膨胀率的多重卷积向下采样将输入图像嵌入到具有多尺度上下文的令牌中 都是基于视觉 架构的 医学图像分割网络计算复杂度高 通过在全局池化层之前链接特征图在视图之间传输信息在胸部 射线数据集上取得优越的性能()是第一个用于医学影像应用的全卷积 模型 它利用 提取图像的长距离语义依赖然后利用卷积提取图像的局部属性在 数据集上取得较好性能 提出了一种膨胀在不增加计算成本的情况下扩大感受野提高了模型对于 医学图像的分割性能 将分层 融合到 形结构的编码器与解码器中有效地提取了非局部依赖和多尺度上下文信息提高了不同医学图像的语义分割质量 以视觉 作为基础单元构建了一个金字塔结构的特征提取器通过线性预测和局域解码对提取的特征进行局部增强并采用全局注意力将位置信息嵌入特征在 数据集上获得了优于其他高性能分割模型的结果 经过综合分析各模型的优缺点本文提出了一种完全基于 的分割网络它以 的变体 作为基础模块不仅可以准确地分割三维核磁共振的脑肿瘤图像而且参数量少计算复杂度低第 期吕嫄:基于 的核磁共振肿瘤图像分割研究 方法.数据集本文为了验证所提出网络结构的有效性使用了公共的脑肿瘤分割数据集 进行了实验验证 该数据集一共包含 例患者的三维核磁共振影像 本文对所有样本进行随机抽样将 例样本作为训练集 例样本作为验证集 例样本作为测试集 其中每例样本由 种模态()的 图像以及 个共享标签组成每个模态图像都是磁共振成像长宽高为 单个的体积像素是 如图 所示()通过对人体进行磁共振成像主要用于显示解剖结构()在 序列的基础上加入了造影剂主要用于显示肿瘤和炎症等异常组织()使用对 信号敏感的磁共振成像方法用于显示病变的水肿或液体()通过将 序列与 序列结合用于显示肿瘤、炎症和其他异常组织图 数据集 种模态示例.网络结构本文提出的分割网络的整体结构如图 所示它主要由收缩模块、扩张模块和跳转连接组成 其中收缩模块用于提取和融合输入图像的特征扩张模块用于恢复特征图的原始分辨率跳转连接有助于恢复图像的细粒度细节 当输入一张图像后经过多个编码层得到不同尺度的立体特征图(图 中输入分支中的立方体)并将编码后的特征图直接输入扩张模块进行解码得到新的特征图(图 中输出分支中的立方体)同时收缩模块通过跳转注意力与跳转连接向扩张模块传递多尺度信息.收缩模块收缩模块由 个独立的 结构组成对应图 中的编码层 每一个 组成相同并且与传统的结构相同如图 所示 表示窗口注意力 表示滑动窗口注意力 表示多层感知机 的第一层是归一化层()第二层是多头自注意力层第三层是第二个归一化层第四层是多层感知机对每个像素点分类 该模块的计算步骤如下:()()()()邵阳学院学报(自然科学版)第 卷 ()()()()()式中:为第 层 为图 中不同模块的输出 每一层的注意力计算公式具体如下:()式中:、和 分别为查询向量、键向量和值向量、和 为可选择偏置项为偏置项的转置图像数据通过归一化层后削弱噪声影响并且减小数据间的差距这使得传入多头自注意力层的数据能够在分头后每一部分都具有源数据的特征进而保证多层感知机输出的特征是合理的并且模型整体训练速度不会降低 每一个 块输出特征的尺寸是递减的维度是递增的这样能够确保特征图在收缩部分和扩张部分相呼应进而保证特征图能够恢复原尺寸 因为模型过多参数的更新和扩张部分的反卷积操作通常会造成数据的丢失出现无法恢复原有尺寸的问题这些问题增加了推理时的数据处理的难度图 分割网络整体结构.图 单个 模块结构.扩张模块扩张和收缩是对称的这是典型的 形结构设计 扩张模块由 个结构相同的 块组成对应图 中的解码层 块的子模块堆叠顺序是相同首先是归一化层其次是多头自注意力层第三层是第二个归一化层最终是多层感知机 收缩部分传入的数据通过扩张部分第一个 块的归一化层后特征的差距减小这使得第 期吕嫄:基于 的核磁共振肿瘤图像分割研究 传入多头自注意力层的数据能够在分头后每一部分都具有近似的数学性质再做一次归一化依然可以起到这种作用 另外还能够加快参数更新速度进而减小模型的开销并且保证模型的整体分割能力不会下降 每一个 块输出特征的尺寸是递增的维度是递减的这样能够确保特征图在收缩部分传来的特征可以轻松地与扩张部分生成的特征合并减少信息损失提高了模型对数据的敏感度有利于模型学习数据特征.跳转连接跳转连接的操作在收缩扩张这类 形结构中很常见本文不仅使用了特征跳转连接还使用了注意力跳转操作 特征跳转连接就是将收缩部分的特征直接传入扩张部分直接进行数学意义上的相加相加后的新的特征作为扩张部分的特征这种操作是具有开创性意义的经过验证是有效的模型的分割效果也是有明显提升的 在训练过程中会生成大量的数据这些数据的计算很考验 的能力 为了解决这个问题本文提出的模型将收缩部分计算出的、和 值直接代替扩张部分 对应层的对应值这种操作使模型在计算上花费的时间较小从而提升模型的训练速度 实验.评价指标为了更好地衡量模型的性能采用了图像分割领域常用的评估指标 相似系数()来测量增强肿瘤区域()、肿瘤核心区域()以及整个肿瘤区域()的分割精度 在脑胶质瘤图像分割中 得分可以用来比较自动分割结果和人工分割结果(或真实标注)之间的一致性反映分割的精度和覆盖度 豪斯多夫距离()是一种用于衡量两个集合之间的距离的指标常用于评价图像分割的精细度()()式中:为模型正确预测组织正样本的数量为模型错误预测组织正样本的数量为模型错误预测组织负样本的数量.实现细节本文所有实验都是基于.平台进行模型的训练框架为.在训练模型时将输入图像的尺寸缩放到 学习率设置为 学习率调整策略设置为余弦衰减优化器设置为 优化器 大小设为 训练 个并采用包含 内存的 显卡对模型训练进行加速 网络的完整训练过程见图 可以发现随着迭代次数的增加模型的训练损失稳步下降直至收敛 邵阳学院学报(自然科学版)第 卷图 训练过程.实验结果与分析为了验证本文提出网络结构的有效性在 数据集上进行了大量的对比实验实验结果见表 本文提出的网络结构在、和 区域上的 得分分别达到了.、.以及.相比其他 种分割模型其中 区域的得分比最高的 提升.比最低的 提升.区域的得分比最高的 提升.比最低的 提升 区域的得分比最高的 提升.比最低的 提升.在性能指标上本文提出模型的参数量只比 高出.但是浮点运算量却减少了.而相比、和 等模型本模型的参数量分别减小了.、.、.和.此外本模型的浮点运算次数只比 增加了.参数量却减小了近一倍 而相比、和 模型浮点运算次数则分别减少了.、.、.和.综合整个实验结果本文提出的分割模型在精度和速度上取得了较好的平衡更接近临床应用的目标表 实验性能对比 分割模型 得分/性能指标 参数量/浮点运算/.本文模型.消融实验为了探讨网络设计中重要参数对模型性能的影响本节针对不同参数进行了消融实第 期吕嫄:基于 的核磁共振肿瘤图像分割研究 验 关于预训练权重对模型性能的影响结果如表 所示在使用预训练权重后模型的整体性能都有所提升 其中、的 得分分别提高.、.、.可以发现使用预训练权重对于难以识别的小目标提升更大例如 表 预训练权值对模型的影响 预训练权重 得分/不使用.使用.关于跳转注意力对模型性能的影响结果如表 所示在使用跳转注意力后模型对 和 的 得分分别提高.和.而 的 得分仅提升.表 跳转注意力对模型的影响 跳转注意力 得分/不使用.使用.结论本文针对卷积神经网络在提取图像特征时存在的全局归纳偏差能力受限的问题提出了一种完全基于 的端到端的 形结构网络能够直接处理三维的医学图像并通过跳转连接降低了 在小数据集上的过拟合风险 实验结果表明本文提出的网络结构相比、和 等网络具有更强的分割性能然而本文在训练模型时使用了 在 数据集上的预训练权重对模型参数进行初始化模型的分割精度有所提升这说明 模型对于大数据集的依赖程度比较高 如果不使用跳转注意力不将模型收缩部分的、值传入扩张部分那么模型不仅会降低训练速度分割性能也会降低 在下一步的研究工作当中将针对这些问题对模型做进一步的优化提高模型的识别精度与速度争取达到临床应用的目标参考文献:王枫 吕泽均.基于通道注意力机制和 的医学图像分割方法.计算机时代():.陈星.基于深度学习的心脏 图像分割方法研究.长春:吉林大学.曹祺炜 王峰 牛锦.基于 卷积神经网络的脑肿瘤医学图像分割优化.现代电子技术():.邵阳学院学报(自然科学版)第 卷 .:/:.袁甜 程红阳 陈云虹 等.基于 网络的肺部 图像分割算法.自动化与仪器仪表():.耿传玉 王泽宇 周晓君 等.基于 卷积神经网络双层参数优化的心脏图像分割/中国自动化学会过程控制专业委员会 中国自动化学会.第 届中国过程控制会议摘要集.徐州:.:.():./.().:/././.().:/./.:/.().:/./.李擎 皇甫玉彬 李江昀 等.:全局和局部信息交互的双分支心脏图像分割/.上海交通大学学报:.:/././.:/.().:/./.:/.().:/././.().:/./.:/.().:/./.:/.().:/./.:./():.:/.().:/././.().:/././.().:/././.().:/./.