融合多尺度特征与注意力的脑白质病变分割.pdf

引用格式：赵欣，张银平，苗延巍，等融合多尺度特征与注意力的脑白质病变分割 J.微电子学与计算机，2023，40（9）：65-74 ZHAO X，ZHANG Y P，MIAO Y W，et al.White matter lesion segmentation by fusing multi-scale features andattentionJ.Microelectronics&Computer，2023，40（9）：65-74.DOI：10.19304/J.ISSN1000-7180.2022.0746融合多尺度特征与注意力的脑白质病变分割赵欣1，张银平1，苗延巍2，高冰冰2（1 大连大学 信息工程学院,辽宁 大连 116622；2 大连医科大学附属第一医院,放射科,辽宁 大连 116011）摘要：针对目前磁共振脑影像上的脑白质病变分割精度较低、小病灶易漏识的问题,提出一种结合多尺度信息与注意力机制的 U-Net 改进模型用于脑白质病变分割.首先,引入多尺度卷积模块以拓展网络宽度,提升特征捕获能力.其次,引入混合下采样模块,对粗、细两种粒度的下采样特征进行融合以减少下采样过程中的信息损失；同时,引入跨层融合模块,通过对跳跃连接两端的编、解码信息进行融合,降低对等层间的语义差异.最后,在编码阶段采用分散注意力模式,根据深、浅层的不同特点分别设计空间注意力模块和通道注意力模块,以增强网络对病灶区域的关注度.在 MICCAI2017 WMHs 分割挑战赛提供的公开数据集上与同任务的其它文献算法进行对比,本文算法在召回率和相似系数的性能评估上均获得了有效提升,分别达到了 0.834 和 0.803,这表明本文算法是一种有效的脑白质病变自动分割算法.关键词：图像分割；卷积神经网络；脑白质病变；多尺度信息融合；注意力机制中图分类号：TP391 文献标识码：A 文章编号：1000-7180（2023）09-0065-10White matter lesion segmentation by fusing multi-scale features andattentionZHAO Xin1，ZHANG Yinping1，MIAO Yanwei2，GAO Bingbing2（1 School of Information Engineering,Dalian University,Dalian 116622,China；2 First Affiliated Hospital of Dalian Medical University,Dalian 116011,China）Abstract：In order to solve the problems of low segmentation accuracy of white matter leisions in the current magneticresonance brain imaging and easy missed recognition of small lesions,an improved U-Net model with multi-scale featuresextraction and attention mechanism was proposed for automatic segmentation of white matter leisions.Firstly,the Multi-Scale Convolution Module(MSCM)is introduced to expand the network width,so that improving the feature extractionability of the network.Secondly,the Hybrid Down-Sampling Module(HDSM)is introduced to reduce the loss of theinformation in the down-sampling process through fusing features of coarse-grained and fine-grained down-samplingextraction.Simultaneously,the Cross-Layer Fusion Module(CLFM)is introduced to reduce the semantic difference of thepeer layers by fusing encoder and decoder information at the both ends of the skip connection.Finally,seperated attentionmode is adopted in the encoder,spatial attention and channel attention are designed respectively according to thecharacteristics of deep and shallow layers in feature extraction,in order to enhance the networks attention to the lesion area.The experimental results on the MICCAI2017 dataset show that the proposed algorithm can effectively segment whitematter lesions,especially small lesions can be accurately segmented.Compared with other literature algorithms of the same 收稿日期：2022-11-17；修回日期：2023-01-12基金项目：国家自然科学基金（61971424）40 卷 第 9 期微 电 子 学 与 计 算 机http:/Vol.40No.92023 年 9 月MICROELECTRONICS&COMPUTERSeptember 2023task on the public data set provided by MICCAI2017 WMHs segmentation challenge,the proposed algorithm haseffectively improved the recall and the DSC,reaching 0.834 and 0.803 respectively,which indicates that the algorithm inthis paper is an effective automatic white matter hyperintensity segmentation algorithm.Key words：Image segmentation；Convolutional neural network；Brain White Matter Lesions；Multi-scale informationfusion；Attention mechanism 1引言脑白质是中枢神经系统的重要组成成分,当脑白质中的神经细胞、髓鞘受到损伤后,会在脑室周围及深部皮层下的白质区域产生弥漫性斑点状或斑片状改变,称为脑白质病变.脑白质高信号(White MatterHyperintensities,WMHs)是脑白质病变的磁共振影像学术语,这是由于脑白质病变区在磁共振 T2 序列或液体衰减反转恢复（FLAIR）序列上呈异常高信号显示.目前,WMHs 被普遍认为是脑小血管病的影像学标志之一,且与中风1、认知功能下降2、阿尔茨海默病3等密切相关,对 WMHs 的体积、部位、数量和形状进行定量和定性分析对于探索和理解脑小血管病、认知功能和运动功能损坏等疾病的病理机制、诊断和评估治疗效果有着至关重要的作用.标注 WMHs 是进行定量和定性分析的前提,目前,临床上对 WMHs 的标注主要依靠医生手工操作,这一过程非常耗时且具有主观性,容易造成标注结果的人为疏漏和不同医生间的标注差异.如果能由机器取代医生对 WMHs 进行自动分割和标注,则可以把医生从繁重的手工分割中解脱出来,并确保分割结果的客观性和准确性.因此,研究精确、可靠的 WMHs 自动分割方法具有重要意义.近年来,国内外学者对基于 MRI 影像的 WMHs自动分割方法进行了广泛研究.早期研究主要是采用基于机器学习的方法,当时深度学习方法尚没有出现,分割 WMHs 需要从 MRI 体素中人为提取信号特征,并送入机器学习分类器进行体素级分类,通过将体素划分为 WMHs 类和非 WMHs 类来实现 WMHs分割.例如,2018 年,Bento 等人4基于 MRI 影像的纹理特征,提出了一种基于随机森林算法的 WMHs 自动分割方法.Knight 等人5基于 FLAIR 图像通过扩展特征空间构建逻辑回归分类器来分割 WMHs.2022 年,Tran 等人6基于体素强度和 WMHs 的位置特征,提出了一种依赖于非线性扩散和分水岭分割的无监督自动分割算法,其分割结果 DSC 值达到了79%.由于传统机器学习方法是根据 MRI 体素信号人为提取特征向量,而大脑 MRI 影像中不同脑组织的体素信号在强度值分布上存在重叠,人为提取的特征向量在重叠区缺乏显著性差异,因此,基于传统机器学习的 WMHs 分割方法在分割精度上很难达到令人满意的效果.近年来流行的深度学习方法能通过自主学习识别出隐含于图像中的复杂的、具有区分能力的特征而被广泛应用于图像处理领域,基于深度学习的 WMHs自动分割研究也逐渐受到关注 7-9.2018 年,Xu 等人10将 VGG 网络在 ImageNet 数据集上进行预训练后迁移到 FCN 中,WMHs 分割结果的 DSC 值可达到73%.Dakai Jin 等人11提出将残差网络和全卷积网络结合在一起的 Res U-Net 模型实现 WMHs 自动分割.2019 年,Wu 等人12在经典 U-Net 架构基础上增加了四个额外的跳跃连接,将下采样的每一层输入与上采样的对等层的输出连接,以提高收敛速度和 WMHs分割性能.2020 年,Lee 等人13提出了一种带有激励和压缩模块（Squeeze-and-Excitation,SE）的 U-Net 模型用于 WMHs 分割,SE 模块可在特征提取的同时构建通道之间的相互依赖性,从而强调病变部位的通道特征.Jiang 等人14使用 DeepMedic 模型进行 WMHs分割,该模型是一种双通道 3DCNN 结构,基于图像块以正常分辨率和低分辨率同时进行特征提取,使特征因包含不同分辨率的信息而表达得更加充分,分割精确度达到了 80%.Liu 等人15采用双 U-Net 架构,同时引入密集连接和膨胀卷积进行 WMHs 分割.2021年,Zhang 等人16将脑图谱的领域知识与深度卷积神经网络相结合,提出了脑图谱引导注意力的 U-Net 模型来提高 WMHs 分割的性能.Khademi 等人17在FLAIR 图像上评估了七种 WMHs 的分割算法,包括两种传统方法和五种深度学习分割网络,并得出 SCU-Net 网络架构性能最优的结论.Sundaresan 等人18提出一种 U-Net 集成网络,将轴向、矢状、冠状三个方位的切片分别输入三个不同结构的 U-Net 模型进行训练,并将分割结果转换成 3D 概率图,取三个方位的概率图均值作为最终分割结果图.Rieu 等人19提出了一种用于 WMHs 分割的半监督学习方法,实现了仅在 FLAIR 序列上 WMHs 的精确分割,其分割结果 DSC 值达到了 81%.2022 年,Huang 等人20使用66微电子学与计算机2023 年V-Net 网络进行 WMHs 分割,并采用提出的一种水平集的半监督损失函数进行训练,在公开数据集上的分割 DSC 值达到了 78%.Sundaresan 等人21 提出了一种基于深度学习的对抗域适应网络用于 WMHs 分割,使用受试者年龄作为先验,将分割网络从一个小的、有标签的源数据集适应到一个更大的、无标签的目标数据集,进一步提升了分割精度.Parisa 等人22将蒙特卡洛 Dropout 引入 U-Net 编码层,使权重设置服从伯努利分布,从而将传统CNN 变成了贝叶斯CNN,在输出分割结果的同时输出分割结果的不确定性图,并以此确定分割体素的置信度.Zhang 等人23提出了一种基于 U-Net 的 WMHs 自动分割工具,其特色是该网络基于来源广泛的大量数据集进行训练,在多数据集中的分割结果 DSC 值达到了 78%.尽管基于深度学习的 WMHs 分割方法相比传统机器学习方法在分割精度上有所提升,但由于WMHs 本身形状多变、位置随机、信号不均等固有特点给分割带来一定难度,使得现有的基于深度学习的 WMHs 分割方法还存在小病灶漏识、病灶边界分割不精准的问题.针对上述问题,本文提出一种基于多尺度融合与注意力的脑白质高信号分割方法,该方法的特点在于：一是使用多尺度卷积模块替代 U-Net 的普通卷积层,通过融合不同尺度感受野的卷积结果获得更丰富的特征信息.二是设计混合下采样模块替代原有池化层,通过在下采样时融合粗、细两种粒度的下采样特征,减少下采样过程中的信息损失.三是提出一种分散注意力模式,根据网络编码阶段的浅层和深层卷积特点,在编码阶段的浅层采用空间注意力而在深层采用通道注意力,以提升网络对病灶区域的关注能力.四是在跳跃连接处,使用跨层融合模块,通过对跳跃连接两端的编、解码层信息进行融合处理,进而降低对等层间的语义差异,提升网络的解码能力.2本文方法 2.1网络结构所提出的 WMHs 分割算法是一种以 U-Net 为基础架构的端到端分割模型,整个网络设计的优点在于通过采用多尺度的信息融合以及注意力机制的灵活运用,有效提升网络的特征提取能力.网络结构如图 1 所示.该网络在保持原有 U-Net 网络编解码 U型对称结构的基础上,增加了为强化编解码功能而设计的特定模块.其中,编码器部分（收缩路径）包含 3个下采样层,每个下采样层采用 2 个多尺度卷积模块(Multi-Scale Convolution Module,MSCM)和 1 个注意力模块进行特征提取处理,并通过 1 个混合下采样模块(Hybrid Down-Sampling Module,HDSM)进行信息降采样过滤；解码器部分（扩张路径）由 3 个上采样层组成,每个上采样层仍然保持原有 U-Net 中的上采样结构,即 1 个反卷积操作后紧跟 2 个卷积操作；编解码器之间的瓶颈层由 4 个多尺度卷积模块和 1 个注意力模块共同完成高级语义特征提取；此外,将 跨 层 融 合 模 块(Cross-Layer Fusion Module,CLFM)用于网络编解码器对等层之间的跳跃连接,以增强深、浅层间的信息融合.流程线多尺度卷积模块混合下采样模板空间注意力模块通道注意力模块跨层融合模块111 卷积MSCMMSCMHDSMHDSMHDSMMSCMMSCMMSCMMSCMMSCMMSCMMSCMCACACLFMCLFMCLFMSASAMSCM333 卷积mulconcat反卷积图 1网络结构Fig.1 Network structure本文的创新性体现在,一方面,通过多尺度卷积模块、混合下采样模块和跨层融合模块进行多尺度的信息融合,增强模型的特征表达能力.另一方面,在编码阶段的浅层使用空间注意力(Spatial Attention,SA),编码阶段的深层使用通道注意力(Channel Atten-tion,CA),优点是能够结合深、浅层特征的特点,有针对性地发挥注意力机制的关注效能.2.2多尺度卷积模块传统 U-Net 架构采用单一尺度卷积进行特征提取,特征提取能力受限.为此,本文设计一种多尺度卷第 9 期赵欣，等：融合多尺度特征与注意力的脑白质病变分割67 积模块(Multi-Scale Convolution Module,MSCM),使网络在特征提取时可融合不同尺度感受野下的特征信息,进而提升特征编码能力.模块结构如图 2 所示.InputOutput333 Conv(16n)333 Conv(16n)333 Conv(16n)111 Conv(16n)ReLUReLU图 2多尺度卷积模块Fig.2 Multi-Scale convolution module 多尺度卷积模块共有四条支路,第 1 个支路采用 16n 个 111 卷积,具有 111 的感受野,其中 n为编码层（包含瓶颈层在内）的层次数,n1,2,3,4；第 2 个支路采用 16n 个 333 卷积,具有 333 的感受野；第 3 个支路采用连续两次 16n 个 333卷积,等同于一次 16n 个 555 的卷积操作,但减少了计算量,增加了模型的非线性,同时使该支路具有555 的感受野；3 条卷积支路的输出结果经过叠加操作进行特征融合,特征融合后的多尺度特征信息与残差支路的输出再叠加,最后经过 ReLU 激活函数得到多尺度特征图,其中,残差支路的引入有助于避免梯度消失,使网络的优化速度更快.2.3混合下采样模块传统 U-Net 架构在每一层编码后使用步长为 2的最大池化操作对特征图进行下采样,目的是降低特征图的分辨率,扩大后续特征提取的感受野,使特征提取逐步趋向高级语义.但最大池化操作在降维的过程中仅保留每个步长区域内的最大值,无形中造成了信息丢失.为减少下采样过程中的信息损失,本文设计一种具有双支路的降采样模块,结构如图 3 所示.MaxPoolingConv333Strides=2Conv111Strides=1InputOutput图 3混合下采样模块Fig.3 Hybrid down-sampling module 混合下采样模块(Hybrid Down-Sampling Module,HDSM)中的两条支路均具有降采样功能,其中,一条支路采用的是步长为 2 的最大池化操作,另一条支路使用步长为 2 的 333 的卷积操作,然后将两条支路的特征矩阵拼接.最后,通过一个步长为 1,大小为 111 的卷积操作融合两支路特征和调整通道数量.实质上,最大池化支路保留的是采样步长范围内的最大特征,有利于突出特征的显著性信息,而卷积降采样支路通过卷积操作对图像进行降采样过滤,有利于保留步长范围内的细节特征.这种设计使得两条支路在下采样时可保留粗、细两种不同尺度的信息,融合后可以形成一定的信息互补.混合下采样的表达公式如下:Yout=C111(Maxpool(Xin)C333(Xin)（1）式中,Xin表示输入特征,Yout表示混合下采样模块的输出,C111表示卷积核大小为 111,步长为 1 的卷积,C333表示卷积核大小为 333,步长为 2 的卷积,Maxpool表示最大池化,表示拼接操作.2.4注意力机制注意力机制是人类视觉所特有的大脑信号处理机制.人类视觉通过快速扫描全局图像,获得需要重点关注的目标区域和目标细节信息,而抑制其他无用信息.受人类视觉启发,近年来,在深度卷积神经网络中引入注意力机制变得越来越普遍19.本文在模型下采样阶段引入空间注意力和通道注意力,目的是从空间和通道两个维度分别提高网络对 WMHs 病灶区域的关注能力.鉴于下采样的浅层特征提取,蕴含更多的是各种细粒度信息,比如颜色、纹理、边缘、棱角等,这些细粒度信息是对空间特征的抽取,属于低级语义特征,更适合采用空间注意力进行特征关注.因此,设计空间注意力(Spatial Attention,SA)模块,并将其用于网络下采样阶段的浅层（第 1 层和第 2 层）,模块结构如图 4 所示.输入特征首先经过两个连续的卷积残差块处理提取上下文信息,该卷积残差块包含三个卷积核大小为 333 连续卷积,同时在每个卷积处都引入残差链接以加速网络优化；输入特征经过第一个卷积残差块后通道由原来的 C 缩减为 C/r,其中 r 为通道缩减比,本文取 r=4；输出结果再经第二个卷积残差块处理后通道再次扩张为 C,这里对通道数先缩 CHWLC/rHWL333Conv333Conv333ConvCHWL1HWLOutputSigmoidConv-residualblockConv-residualblockInput图4空间注意力模块Fig.4 Spatial attention module68微电子学与计算机2023 年减再扩张的处理一方面可降低参数计算量,另一方面可滤除冗余信息,增加模型对特征的调控能力；最后输出特征经激活函数得到通道数为 1 的空间注意力图.下采样的深层特征是在浅层特征基础上进一步抽取得到的高级语义特征,每一个通道代表高级语义的一部分表达,且每个通道对高级语义的贡献不同,因此,设计如图 5 所示的通道注意力(Channel Attention,CA)模块,并将其用于下采样阶段的深层（第 3 层和瓶颈层）,目的是赋予深层的特征通道以不同的权重,凸显能表达 WMHs 病灶特征的高级语义特征.该模块首先在空间维度上分别使用全局平均池化和全局最大池化对输入的特征图进行压缩,得到两个一维特征向量.然后将这两个一维特征向量分别经过相同的全连接神经网络,即多层感知机（MLP）进行编码；将编码后的结果进行体素级加和后经过激活操作输出,输出结果为一个通道权重的表示向量.无论是空间注意力还是通道注意力,都是在当前输入特征图的基础上经过一系列非线性变换得到注意力权重表达,并将这种表达施加在卷积操作的输出结果上.其中,空间注意力在二维空间上调控特征图上的每一像素,所有通道采用同样的空间注意力,而通道注意力是将通道看做一维向量,在一维空间上赋予每一通道不同的关注度,通道特征图上的所有像素被该通道上的通道注意力统一调控.与以往文献只采用空间注意力24或只采用通道注意力13,或将空间注意力和通道注意力串联成一个统一的注意力模块25不同的是,本文根据网络浅层和深层卷积的特点,提出分散注意力模式,即分别在浅层和深层采用空间注意力和通道注意力,目的是充分发挥浅层和深层的不同特点,避免非必要的注意力干扰和冗余操作.InputCHWLC111C111C111C111OutputC111MLPGlobalMaxPoolingGlobalAvgPooling图 5通道注意力模块Fig.5 Channel attention module 2.5跨层融合模块经典 U-Net 网络采用跳跃连接将收缩路径的编码层结果传递到扩张路径的对等层进行通道拼接,目的是弥补上采样过程中产生的信息丢失.但是,这种跨层拼接只是将编码层的浅层语义特征直接传递到对等的解码层与其深层语义特征进行通道堆叠,由于浅层和深层之间存在较大的语义差异,且对目标区域的关注与特征表达并不完全一致,因此,仅通过拼接操作将两者直接融合并不能很好地实现信息互补.为此,本文提出在跳跃连接上增加跨层融合模块(Cross-Layer Fusion Module,CLFM),将对等的深浅层信息进行一种新的融合处理,以取代原有的通道拼接,从而降低对等层间的语义差异,增强信息互补,提高网络的特征表达能力.跨层融合模块结构如图 6 所示,模型中使用的通道注意力(Channel Attention,CA)模块和空间注意力(Spatial Attention,SA)模块同 2.4 小节中的一致,此处不再赘述.本跨层融合模块旨在对编码层的浅层特征进行通道注意力和空间注意力处理,再传递到对等的解码层拼接,这样可使跨层传递的信息突出与前景相关的细节,从而更好地为上采样提供有效的互补信息.从模型结构看,深层特征（解码阶段的上采样输出）通过反卷积将尺寸调整为与浅层特征图（编码阶段的特征提取层输出）相同,并分别与浅层特征进行通道拼接和相加,拼接后的通道特征输入给通道注意力模块产生通道注意力权重,相加后的特征传输给空间注意力模块,用于生成空间关注度量（空间注意力权重）.浅层特征首先经过通道注意力调控强调与目标更具相关性的特征通道,再经过空间注意力调控突出特征的前景空间信息.此外,在通道和空间注意力之上整个结构呈现出残差态结构,目的是防止 Low stage featureHigh stage featureChannelattentionSpatialattentionRe-weightedfeatureconcatsummulSACATransConv图6跨层融合模块Fig.6 Cross-Layer fusion module第 9 期赵欣，等：融合多尺度特征与注意力的脑白质病变分割69 训练中的过拟合.实质上,本模块的设计是基于深层特征相比浅层特征包含有更高级的语义级信息,将深层特征融入到通道注意力和空间注意力的生成是在用高级语义指导浅层特征的筛选,是对跨空间信息的融合,它增加了网络连接的相关性和复杂度,使网络具有更强的特征提取能力.3实验结果与分析 3.1数据集本文采用 MICCAI2017 WMHs 分割挑战赛提供的公开数据集,该数据集包括 60 例含有 WMHs 的FLAIR 脑影像和专家标定的 WMHs 病灶区标注数据.实验将 60 例样本按照 811 的比例分成训练集、验证集和测试集,并对训练样本集进行定角度旋转、水平翻转、仿射等数据增广处理,将训练样本集扩大到 384 例数据,以防止因训练样本少而出现模型过拟合.3.2评价指标本文采用 3 个常用的分割评价指标评估该方法的分割结果.这些指标包括 DSC(Dice SimilarityCoefficient)、召回率（Recall）和精度(Precision),计算公式分别为：DSC=2TPFN+FP+2TP（2）Recall=TPTP+FN（3）Precision=TPTP+FP（4）式中,TP 是真阳性,是被正确分类为病灶的体素个数；FP 表示假阳性,是被错误分类为病灶的体素个数；FN 表示假阴性,是被错误分类为背景的体素个数.对于医学图像分割,DSC 值被广泛认为是其重要评价指标,用于评估分割结果与真实标签的相似度；召回率表示实际为脑白质病变的体素中被正确分割出的比例,反映分割结果的完整性；精度则表示分割的体素中实际为脑白质病变的比例,反映分割结果的精确度.3.3实验环境及参数设置实验运行环境为 Ubuntu18.0 LST64 位操作系统,深度学习框架采用 TensorFlow,GPU 显卡型号为NVIDIA GeForce RTX 2080,内存为 11G.实验时设置学习率为 0.000 1；优化模式采用 Adam 随机梯度下降优化器.终止条件采用当验证集上的损失函数值在 10 个迭代周期内不再减小时停止训练.损失函数采用 Salehi 等26提出的 Tversky 函数,并将其中控制假阴性和假阳性权重的参数分别设为 0.7 和 0.3.本文模型在训练过程中的 Loss 曲线随迭代次数的变化如图 7 所示.从图中可以看出,本文模型在预设参数下总体呈收敛状态,具有良好的稳定性.0.2020406080Epochs100120Train_LossVal_Loss1401600.4Loss0.60.8图 7训练过程中损失值曲线变化Fig.7 Loss value curve change during training 3.4消融实验本实验在 U-Net 框架基础上逐步添加所设计的各个模块,目的是验证这些模块对提升整体模型性能的有效性,实验结果如表 1 所示.表中第一行是仅使用 U-Net 模型进行 WMHs 分割的结果；第二行是将 U-Net 中的最大池化操作替换成 HDSM 模块后的分割的结果,对应模型用 UM 表示；第三行是在 UH模型基础上将标准卷积替换成 MSCM 模块后的分割结果,对应模型用 UHM 表示；第四行是在 UHM模型基础上引入空间和通道注意力的分割结果,对应模型用 UHMA 表示；第五行是在 UHM 模型基础上在每个下采样层采用 CBAM 注意力27,对应模型用UHMA*表示；第六行是在 UHMA 模型基础上添加CLFM 模块的分割结果,对应模型表示为 UHMAC.表 1 消融实验结果Tab.1 Ablation experimental resultsModelDSCRecallPrecisionU-Net0.7090.6360.767UH0.7140.7010.789UHM0.7330.7570.795UHMA0.7980.8130.786UHMAC0.8030.8340.801 从表中结果可知,UH 较 U-Net 的召回率和精度均有提升,这表明 HDSM 模块有效改善了原始 U-Net 中池化操作造成的信息丢失.UHM 模型中,MSCM模块的添加使得所有指标都有一定的增长,尤其召回率提升显著,这表明 MSCM 模块与 HDSM 模块组合70微电子学与计算机2023 年使用能提升网络的分割性能,使网络分割出更多病变体素,也验证了 MSCM 模块比标准卷积有更好的特征提取能力.UHMA 中注意力模块的添加使 DSC 指标涨幅非常显著,达到了 79.8%,召回率也提升了 6.5%,且均高于 UHMA*的各项指标,这说明所提出的分散注意力机制增强了网络对病灶区域的关注,有效改善了网络性能,同时,也证明了所提的分散注意力机制优于现有的将空间注意力和通道注意力串联使用的CBAM 注意力；最后,在添加注意力机制的基础上引入跨层融合模块,使 UHMAC 网络的各项指标达到了最优,这表明本文所提模型中的各模块对网络性能提升均起到作用,其综合效果最佳.图 8 是 U-Net 模型、UHMA 模型和 UHMAC模型的分割结果与 Ground Truth 进行视觉上的分割效果对比.其中,蓝色表示被正确分割的体素,绿色表示不属于 Ground Truth 但被分割出来的假阳性体素,红色部分表示属于 Ground Truth 但没有被正确分割出来的假阴性体素.从图中可见,模型 UHMA 和模型 UHMAC 的分割结果优于 U-Net 模型的分割结果,特别是假阴性区域明显减少.此外,模型 UHMAC 较模型 UHMA 进一步减少了假阴性区域,如图中的标记 a 和标记 c 所示,个别被遗漏的小病灶被正确分割,如标记 b 所示.这说明尽管在表 1 中,模型 UHMAC相对模型 UHMA 的评价指标提升幅度不明显,但从实际的分割效果看增加跨层融合模块后模型的分割性能得到了提高.Ground truthU-NetUHMACUHMA图 8分割结果视觉对比图Fig.8 Visual comparison figure of the segementation results 3.5与其他方法对比为测试本文模型的分割性能,复现了四种经典的语义分割模型作为对比,分别是FCN10、U-Net、ResU-Net11和 AttU-Net27,并在本实验环境下,使用相同的数据集进行重新训练与测试.四种模型在测试集上的评价指标如表 2 所示.表 2 所提模型与经典语义分割模型的对比Tab.2 Comparison with other methodsModelRecallPrecisionDSCFCN0.6320.7000.731U-Net0.6360.7670.709ResU-Net0.8160.7120.775AttU-Net0.8210.7080.783UHMAC0.8340.8010.803 由表 2 可看出,本文模型分割结果最优,尤其Recall 和 DSC 值较其他模型提升显著,说明本文模型在 MRI 上对 WMHs 的分割优于其他模型.图 9 是各模型的训练损失曲线,从图中可看出,本文模型训练损失在第 64 次迭代时已达到 0.095,之后保持较小的下降幅度,在 135 次迭代时达到最小值 0.060,并一直保持在该值附近波动.同时,本文模型的损失值整体上明显低于其他对比模型,且训练损失最先达到最低值,说明本文模型的训练收敛速度最快.FCNU-NetResU-NetAttU-NetUHMAN0.2020406080Epochs1001201401600.4Loss0.60.8图 9不同模型的训练损失曲线Fig.9 Training loss of different models 为了直观对比不同模型的分割性能,图 10 给出了各模型的实际分割结果示例.图 10 中不同颜色表示的含义与图 8 中相同.从图中可看出,FCN 分割效果明显差于其他对比模型,对于面积较大的病灶区域未能较好分割,如图中标记 b 处所示,这说明基于FCN 框架不能很好地分割 WMHs 病灶区.U-Net 模型能分割出大部分的 b 处病灶区域,但分割不够精准,且有较多的小病灶区域没有被分割出来.AttU-Net 由于引入注意力机制,其分割结果较 U-Net 有提升,如标记 g 处的病灶区域没有被 U-Net 模型分割出第 9 期赵欣，等：融合多尺度特征与注意力的脑白质病变分割71 来但被 AttU-Net 识别并分割,但仍有较多的小病灶区域未被识别.ResU-Net 将 U-Net 的卷积替换为残差模块,提升了特征提取能力,其分割效果较 AttU-Net 模型进一步提升,比如能正确识别并分割出标记f 处的病灶区域,但仍有较多的小病灶区域没有被识别出来.与之相比,本文模型能较好地识别出小病灶区域,如标记 a 处所示,且对识别的病灶区域分割更精确,如标记 c、e 处所示,可见本文模型能充分捕获图像中的细节信息,分割结果也更接近于真实标签.整体来看,本文模型分割出的病灶区域在准确性上更接近于真实标签.为进一步验证本文方法在 WMHs 分割任务中的有效性,将所提方法与近两年来一些具有代表性的 WMHs 分割方法进行了比较,包括 SCU-Net12、DeepMedic14、BAGAU-Net16和 DeepWML23,对比结果如表 3 所示,其中文献 23 的数据集来源于私有数据集,其他文献的方法与本文所采用的数据均来自于同一数据集.表 3 所提方法与其他方法的评估指标对比Tab.3 Comparison with other methodsMethodRecallPrecisionDSC数据来源SCU-Net120.8140.7080.783MICCAIDeepMedic140.7990.8010.791MICCAIBAGAU-Net160.585-0.802MICCAIDeepWML23-0.7900.780私有数据集UHMAC0.8340.8010.803MICCAI 从表 3 可看出,文献 12 基于 U-Net 网络引入额外的跳跃连接来提升模型分割性能,但在分割细节上并不精确,其各项指标低于本文方法.文献 14 采用双通道输入,基于图像块对图像信息进行特征提取,Precision 指标与本文相同,但 DSC 指标和 Recall指标低于本文方法.文献 16 提出脑图谱引导注意力来提高对病灶区域的关注度,DSC 指标与本文方法贴近,但其 Recall 指标明显低于本文方法.文献 23虽然采用的数据集与本文不同,但该方法的指标值也低于本文方法,且文献 23 在论文中就已指出其对小病灶区域的分割性能欠佳.综上,本文方法在 Recall、Precision、DSC 三项指标的对比中均为最佳,这说明本文方法能召回更多的病灶区域,且在分割的精确性上表现较好.4结束语提出了一种基于多尺度融合与注意力机制的脑白质病变分割方法.该方法首先设计了多尺度卷积模块,该模块通过融合不同尺度的感受野信息,提升网络的特征捕获能力；其次,提出混合下采样模块,通过双支路的降采样操作融合粗、细两种不同尺度的信息,以减少下采样过程中的信息损失；此外,根据深、浅层特征信息的特点提出分散注意力机制,有针对性的使用空间和