基于全分辨率注意力U-Net神经网络的区域分割方法.pdf

医学图像中息肉与皮损病变区域的差别较大，导致分割准确性降低。针对该问题，结合深度学习技术提出了一种新的图像病变区域自动分割方法。在网络编码器与解码器的特征图拼接之前增加注意力机制，使网络关注于感兴趣的病变区域，同时抑制非病变区域的响应信号。增加一个新的解码器网络，将同尺度的编码器特征图与解码器特征图拼接融合，产生全分辨率特征图。网络在全分辨率的注意力特征图上分割病变区域。实验结果表明，所提方法对息肉与皮损的分割性能均优于其他对比模型。关键词：卷积神经网络；注意力机制；息肉检测；皮肤损害中图分类号：文献标志码：开放科学（资源服务）标识码（）：文 章 编 号：（）（，）：，：；收稿日期：基金项目：江苏高校哲学社会科学研究基金项目（）：（）引言医学影像在现代医学的临床诊断中扮演着重要的角色，医生凭借专业知识和医疗经验对医学影像进行分析，将其作为判断患者健康状况的依据。随着医学影像成像质量的提升，准确提取医学图像中的病变区域变得格外重要。例如，血管壁的厚度可为动脉粥样硬化的诊断提供重要依据，皮损的分布情况可为皮肤病的诊断提供重要依据，息肉的形状和大小可为胃肠道息肉病的诊断提供重要依据。准确地分割病变区域有助于医生提高临床诊断的客观性与准确性，然而，不同病情下病变区域的形状与尺寸差别较大，这为病变区域的准确分割带来了极大的难度。早期提取医学图像病变区域的方法主要包括基于数学模型分析和基于图像分割种类型，其中常见的算法有基于小波域概率图模型法、基于阈值的分割法与基于主动轮廓模型的分割法等。总体而言，这类方法易于实现且计算效率高，但其像素分类依据大多仅考虑了病变区域的部分特征，信号与信息处理 对不同病情所引起病变区域的分割性能存在较大的起伏。随着深度学习技术的发展，多种神经网络模型被成功应用于医学图像处理任务，其中形网络（）在医学图像分割任务上展现出明显的优势。等将模型应用于皮肤损害性卟啉病的临床诊断，模型对医学图像皮肤病损分割的平均交并比（，）高达，平均系数高达。潘沛克等成功将模型应用于磁共振（）图像的鼻咽肿瘤分割任务，将模型的最大池化操作替换为卷积操作，以避免模型在编码过程中的信息损失；最终，该模型对鼻咽肿瘤的分割性能优于基于图像块的卷积神经网络以及全卷积神经网络。等认为网络在下采样与上采样过程中丢失了医学图像的部分重要特征，导致对图像中形状差异大的目标分割性能较差；因此在网络编解码的过程中引入空间信息与通道信息，使最终的特征图中包含丰富的细节信息，提高了分割的边缘精度。李大湘等通过在网络的编码阶段增加起始（）模块，对压缩特征图进行空洞卷积，在解码阶段增加注意力机制；通过上述手段有效提高了网络对视网膜细小血管的分割精度。网络编码阶段能提取目标在图像中的上下文语义信息，在解码阶段通过拼接特征图能产生精细的特征，网络对语义简单的医学图像具有突出的优势。然而，上述研究表明网络在下采样过程中存在一定的特征损失，导致对病变区域不规则边缘及细小血管边缘的识别效果不佳，进而导致网络对不同病情病变区域的分割精度产生影响。针对该问题，研究人员大多通过在编码器与解码器之间增加连接来增加传入解码器的信息量，但此类措施依然会损失一部分有价值的深层信息。为了提高网络对不同病情病变区域的分割性能，提出了一种增强的网络 （），网络对的结构进行了点改进：在将编码器特征图与解码器特征图拼接之前增加注意力机制，使网络关注于感兴趣的病变区域，同时抑制非病变区域的响应信号。增加一个新的解码器网络，将同尺度的编码器特征图与解码器特征图拼接融合，获得全分辨率特征图。本文通过上述点改进措施，使网络在全分辨率注意力特征图上对病变区域进行分割，以提高网络对不同病情病变区域的分割精度。网络 网络结构主干网络结构如图所示。图中，卷积层下方的数字表示该卷积层的卷积核数量，其主干网包含一个编码器子网与一个解码器子网。编码器与解码器均包含个子模块，编码器每个子模块通过卷积运算对输入特征图进行下采样，解码器每个子模块通过转置卷积运算对输入特征图进行上采样。编码器的每个子模块由个卷积层、一个激活层与一个最大池化层构成。卷积核大小为，激活层的激活函数为线性整流函数（，），池化窗口大小为。编码器每次下采样使卷积核数量翻一倍，输入图像经个子模块共输出个尺度的语义特征图。解码器的每个子模块由一个转置卷积层、一个拼接层与个卷积层构成。转置卷积核大小为，通过转置卷积对输入特征图进行上采样，使卷积核数量减半。个卷积层的卷积核大小均为，激活层的激活函数为。解码器输出的特征图传入一个卷积层与激活层，产生输入图像的分割结果，该卷积层的卷积核大小为，激活函数为形（）函数。网络的结构具有个特点：网络将编解码器相同尺度的特征图拼接融合，而不同尺度的特征图之间存在较大的语义鸿沟；网络未能充分利用输入图像的浅层特征，而浅层特征主要包含了图像的全局信息，包括目标位置与语义关系等。信号与信息处理 年 无线电工程 第 卷 第 期 图主干网络结构 网络结构虽然网络采用跳跃（）连接能有效还原深层特征图的信息，但在网络的解码阶段会损失部分有价值的深层信息，致使对医学小目标或不规则边缘的分割精度受限。本文提出来解决该问题，其网络结构如图所示。网络与网络在结构上主要存在点差异：网络增加一个解码器子网，即图中底部区域。通过操作将各级特征传入特征聚合层进行聚合，新增的解码器将编解码器子网相同尺度的特征图融合，建立全分辨率特征图。网络在主干网多尺度特征图拼接处理之前增加一个注意力机制，即图中的顶部区域。注意力机制使网络关注于感兴趣的病变区域，抑制非病变区域的信号响应。全分辨率特征图中包含输入图像的粗粒度语义特征与细粒度外表特征，避免主干网在编码过程中丢失有用的特征信息。在全分辨率特征图上对病变区域进行分割，不仅能提升对小目标的分割性能，也能提高对目标边缘的分割精度。图网络结构 编码器共包含个模块，假设编码器的每个模块为，其中，。每个包含个卷积层、激活层以及一个最大池化层。最大池化层将特征图的长度与宽度减半，通过对通道数量加倍处理来对该特征图进行降维补偿。将瓶颈层表示为，输出的深层特征图传入解码器。解码器共包含个模块，假设解码器的每个模块为，其中，。每个对输入特征图进行转置卷积，再与同尺度输出的特征图拼接，所产生的特征图传入个连续的层与激活层。信号与信息处理 网络通过增加连接将编码器的特征图传入新的解码器子网，新解码器子网将各级编码器与输出的特征图拼接。然后，利用转置卷积使各尺度拼接特征图与输入图像的分辨率相等。最终，对注意力特征图与全分辨率特征图进行加权融合，获得注意力全分辨率特征图。假设编码器第个模块下采样输出的特征图为，池化层输出的特征图为，解码器第个模块输出的特征图为。可将网络产生的特征图集合表示为：（，），（，），（）式中：“”为转置卷积运算符，转置卷积的步长为，“”表示特征图拼接操作。网络新增解码器子网输出的特征图包含编码器与解码器提取的各层特征信息；然后将注意力特征图与个全分辨率特征图融合成注意力全分辨率特征图；最终，传入一个卷积层与一个计算最大值（）层，卷积层的通道数量为，层基于全分辨率特征图来分割目标。网络采用二值交叉熵作为网络的代价函数，可表示为：（）（）（），（）式中：为特征图的像素数量，为第个像素的正定值，为第个像素被网络函数计算的激活值。网络的注意力机制网络通过在下采样与上采样之间建立连接来获得输入图像的空间信息，该机制能有效提取多尺度特征信息，但也引入了大量冗余的下采样特征。本文在编解码器的连接上增加注意力机制，使网络在特征图拼接之前关注感兴趣区域的激活信号，抑制非感兴趣区域的激活信号。注意力机制的网络结构如图所示。图中网络的下方路径负责分析特征图中各特征的相对重要性，再将输入特征图与重要性图相乘，输出加权调和图，该图能增强显著信号，抑制冗余信号。图注意力模块的网络结构 由图可知，注意力模块的个输入信号为与。为编码器第层连接传入的信号，包含丰富的空间特征。的数学形式可表示为：，()，（）式中：（）为激活函数，为特征图的空间维度，为特征图的通道维度，为编码器第个模块输出的特征图通道索引，表示编码器第个模块输出的特征图数量，“”为卷积运算符，为卷积核。为解码器第层输出的特征图，该特征图包含丰富的深度特征图与上下文信息。假设注意力权重为，其取值为，。在训练过程中，对图中的显著像素赋高权值，使网络关注于感兴趣区域的学习。注意力模块输出特征图与注意力系数的乘积，可表示为：（），（）（，；），（）式中：与分别为编码器与解码器的权重向量，（）为激活函数，为激活的偏置项，为解码器偏置项，（）为激活函数，为神经网络的参数集。网络的特征融合模块计算全分辨率注意力特征图的特征融合模块如图所示。从图可以看出，特征融合模块对新解码器子网提取的个尺度特征图分别进行转置卷积运算，利用转置卷积使各尺度拼接特征图与输入图像的分辨率相等，即全分辨率特征图。然后，将注意力特征图与个全分辨率特征图依次拼接，传入卷信号与信息处理 年 无线电工程 第 卷 第 期 积层处理。最终，求和层输出全分辨率注意力特征图，在该特征图上对病变区域进行分割处理。图特征融合模块 实验结果与讨论在一台计算机上进行实验，实验环境如下：为，为 ，内存大小为。操作系统为 ，框架为，后端为，工具包为 ，神经网络编程库为 ，编程平台为。性能评价标准实验从个不同角度评估各分割模型的分割性能，分别为分割准确率、分割系数与分割敏感性。分割准确率评估了目标像素分割的总体性能，系数能反映目标边缘的分割效果，分割敏感性能反映病变区域的查全率。目标分割准确率的计算式为：，（）式中：、与分别为目标分割的真正类、假正类、假负类与真负类的像素数量。系数的计算式为：，（）式中：为目标分割精度，为目标分割召回率。的计算式为：。（）的计算式为：。（）敏感性的计算式为：。（）实验数据集为评估网络对不同病情病变区域的分割效果，采用个公开的医学图像数据集与作为实验数据集。数据集是近年由等整理的胃肠道息肉医学图像数据集。图（）与图（）所示是该数据集的图像实例。从图中可以看出，不同息肉的形状、尺寸与颜色均存在较大的差别，分割难度较大。数据集共包含 幅图像，每幅图像均提供了胃肠道息肉的正定分割掩码。该数据集随机选择幅图像作为训练集，幅作为验证集，剩余幅作为测试集。数据集是目前规模最大的皮肤镜医学图像库，包含了黑色素瘤、痣与脂油溢出性角化病引起的皮损症状。采用 作为本文的另一个实验数据集。图（）与图（）所示是该数据集的图像实例，从图中可以看出，皮损边缘不规则，且还受到体毛等因素的干扰，分割难度较大。数据集共包含 幅训练图像、幅验证图像、幅测试图像。对所有实验数据集进行如下的预处理：将图像像素值正则化成，图像尺寸缩放为 。信号与信息处理 图不同病情的医学实验图像 神经网络训练训练阶段采用优化器，为，初始学习率为，学习率衰减率采用余弦衰减模式。训练阶段的最大数量为轮。网络在与 数据集上训练的收敛曲线如图所示。从图可以看出，皮损区域与背景皮肤区域的差异明显，因此学习速度较快，二值交叉熵在第轮达到收敛。息肉区域与胃肠道的颜色纹理均高度相似，因此神经网络的学习速度较慢，二值交叉熵在第轮才逐渐达到收敛。图网络训练的变化 根据训练结果，网络在数据集上的特征图维度分别如下。编码器第模块：；编码器第模块：；编码器第模块：；编码器第模块：；瓶颈层：。解码器第模块：；解码器第模块：；解码器第模块：；解码器第模块：。最后一个卷积层：。网络在 数据集上的特征图维度分别如下。编码器第模块：；编码器第模块：；编码器第模块：；编码器第模块：；瓶颈层：。解码器第模块：；解码器第模块：；解码器第模块：；解码器第模块：。最后一个卷积层：。消融实验网络对的结构进行了点改进：在将编码器特征图与解码器特征图拼接之前增加注意力机制。增加一个新的解码器网络，将同尺度的编码器特征图与解码器特征图拼接融合获得全分辨率特征图。首先，建立消融实验评估网络点改进措施的有效性。消融实验包括网络、网络、网络与，其中网络是网络增加注意力机制的网络版本，网络是网络增加全分辨率解码器的网络版本。在个医学图像数据集上的消融实验结果如图所示。从图（）可以看出，、与网络的检测准确率较接近，其中网络的准确率略占优势。然而，网络的系数与敏感性明显低于另外种改进模型，可见注意力机制与全分辨率特征图能有效改善息肉边缘的分割精度，且能提高息肉像素的查全率。从图（）可以看出，网络的准确率与系数较低而敏感性较高，由此可知，注意力机制将皮损区域附近的背景像素误检为皮损像素。从息肉图像与皮损图像的分割结果来看，网络通过引入注意力与全分辨率特征图，提高了网络对不同病变区域的分割性能，且具有较高的稳定性。（）胃肠道息肉的消融实验结果信号与信息处理 年 无线电工程 第 卷 第 期（）皮损的消融实验结果图消融实验结果 对比实验与结果分析为了客观评估网络的性能，选取个改进的网络与网络进行对比实验，对比模型包括、与。为网络加入机制，在提高网络维度的同时减少了网络参数。为网络加入残差块，缓解了网络的梯度消失问题。网络通过间接融合不同尺度特征图来学习不同感受野下的病灶特征，该网络对不同部位、不同病灶的分割效果均较好。胃肠道息肉实验不同网络对一幅胃肠道息肉图像的分割结果如图所示。图（）与图（）分别为胃肠道息肉的输入图像与正定掩码。从图中可以看出，种网络均成功检测出图中的息肉，但分割准确性存在较大的差异。与的分割掩码与正定掩码差异较大。的分割掩码质量明显优于与，成功标记了息肉的主要区域。比较与的掩码可以发现，对息肉边缘的判定更为精细，与正定掩码更为接近。图胃肠道息肉的分割图 不同网络在胃肠道息肉图像测试集上的客观评价结果如图所示。从图可以看出，对息肉的分割准确率、系数与敏感性均优于与。网络对息肉的分割准确率略高于，但系数与敏感性明显高于。图胃肠道息肉分割的定量评价结果 皮损实验不同网络对一幅皮损图像的分割结果如图所示。图（）与图（）分别为皮损的输入图像与正定掩码。图中皮损区域的边缘不规则且被体毛干扰，令其分割难度变大。网络采用连接将图像的像素级特征与语义级特征相融合，实现了像素级别的语义分割，因此种网络模型均成功检测出图中的皮损区域。从图可信号与信息处理 以看出，、的分割掩码与正定掩码依然存在较大的差异。与的分割掩码质量明显优于与。比较与的掩码，对皮损区域边缘的判定更为精细，与正定掩码更为接近。图皮损的分割图 不同网络在皮损图像测试集上的客观评价结果如图所示。从图可以看出，对皮损区域的分割准确率、系数与敏感性均明显低于其他种网络模型。网络通过间接融合不同尺度特征图来学习不同感受野下的病灶特征，该网络对息肉与皮损的分割效果均优于与。网络对皮损区域的分割准确率与系数略优于，而敏感性则明显高于。图皮损分割的定量评价结果 综上所述，对网络提出注意力机制与全分辨率特征图点改进措施，使网络在全分辨率注意力特征图上对病变区域进行分割，有效提高了网络对息肉与皮损区域的分割性能。结束语本文在网络的编码器特征图与解码器特征图拼接之前增加注意力机制，使网络关注于感兴趣的病变区域。此外，为网络增加一个新的解码器网络将同尺度的编码器特征图与解码器特征图拼接融合，输出全分辨率特征图。网络在全分辨率注意力特征图上对病变区域进行分割，使不同病情下病变区域的分割性能均得以改善。文中网络采用常用的二值交叉熵损失作为代价函数，未来将评估 函数与混合代价函数在网络上的应用效果。?参考文献王成，高体杰，赖光云，等基于口腔自体荧光效应和深度学习的牙菌斑的分割及量化光学技术，（）：张婕，邓成梁，谢盛华，等基于深度学习的颈动脉粥样硬化斑块成分识别成都信息工程大学报，（）：，（）：刘佳伟，刘巧红，李晓欧，等一种改进的双型网络的结肠息肉分割方法光学学报，（）：，：，：夏平，施宇，雷帮军，等复小波域混合概率图模型的超声医学图像分割自动化学报，（）：周力凯，江雨洋，冯亚春，等基于多尺度区域与类不确定性理论的局部阈值分割方法计算机应用，（）：，：信号与信息处理 年 无线电工程 第 卷 第 期 ，：，：，（）：潘沛克，王艳，罗勇，等基于模型的全自动鼻咽肿瘤图像分割计算机应用，（）：，（）：李大湘，张振基于改进视网膜血管图像分割算法光学学报，（）：黄鸿，吕容飞，陶俊利，等基于改进的影像肺结节分割算法光子学报，（）：吴奇文，王建华，郑翔，等基于改进的水草图像分割方法计算机应用，（）：，（）：，：，：，（）：，：，（）：杨云，张立泽清，齐勇结合优化和残差学习的细胞膜分割计算机工程与设计，（）：，：，：作者简介季莉女，（），硕士，副教授。主要研究方向：智能建筑、人工智能。信号与信息处理