通道注意力联合增强卷积U型网络的图像分割_纪建兵.pdf

2023年第04期（2023年04月）No.04 2023176基于深度学习的图像分割方法主要是通过构建和训练卷积神经网络提取图像语义特征进而实现逐像素分类。目前，应用最广泛的网络之一是由Ronneberger等1提出的U-Net，然而当分割目标在图像中仅占很小的一部分且个体差异较大时，使用该网络容易产生目标信息丢失及特征冗余等问题，致使分割结果存在较大不确定性。针对上述问题的现有改进方法主要有强化特征提取和特征过滤机制。现有的强化特征提取方法(如多尺度特征融合2、密集金字塔3等)通常需要增加较多神经网络层，容易导致算法对计算机硬件依赖过大。而特征过滤机制(如CBAM4、AG5等)主要是在网络中嵌入新模块来提升分割准确度，但在局部信息容易丢失的情况下，其实际有效性仍需进一步探索。为提升小目标图像的分割准确度，提出一种通道注意力联合增强卷积U型网络(channel attention and enhanced convolution U-shape network，CEU-Net)，以U-Net结构为基础，在每级采样中以增强卷积模块(EC)优化特征信息提取，并在跳跃连接中嵌入通道注意力模块(CA)对特征进行自动筛选。为了评价网络性能，以NIH胰腺分割公开数据集进行验证。1 分割网络CEU-Net整体结构如图1所示。特征图由下采样过程的最大池化降维缩减分辨率，再通过上采样重构特征分辨率，形成相同层级具有相同分辨率的对称结构，最后经核为11的卷积层和Softmax函数输出与输入图像同等分辨率的分割概率图谱。相对于标准U-Net，CEU-Net主要改进部分在于：(1)通过改进残差连接构建了EC模块，使网络对小目标特征提取更加充分；(2)在每个层级的跳跃连接中嵌入CA模块，使网络能够自动筛选浅层特征。图1 CEU-Net网络结构1.1 EC模块深度学习网络对图像的分割需要以大量特征信息收集为前提，对于特征不明显的小目标对象，则需要更加丰富和有效的特征信息帮助网络学习和理解。直接增加网络参数的扩大特征数据场方式会给网络带来大量的额外计算开销，导致网络难以训练且容易发生过拟合。为了使网络对小目标对象特征的提取更加充分并且能够保证计算性能，通过改进残差连接6构建EC模块强化特征提取。首先，在每一层的卷积之后加入BN(Batch Normalization,批量数据归一化)以加快网络收敛并使特征图尽可能接近原始分布，再结合ReLU激活函数形成了Conv-BN-ReLU的卷积块结构；然后，将连续的两个块输出以短跳方式连接。如图2(下页)中所示，EC模块与原始残差连接的不同点在于，其最终输出是将第一个卷积块的特征提取结果与第二个卷积块的输出进行逐元素相加。该方式除了能够在一定程度缓解梯度消失和梯度爆炸外，将不同卷积块提取的特征以层级递进方式进行叠加输出，在无需施加增加额外参数的前提下更有利于加强有效特征信息的留存，进而丰富小目https:/ OF HEIHE UNIVERSITYdoi：10.3969/j.issn.1674-9499.2023.04.050通道注意力联合增强卷积U型网络的图像分割纪建兵1陈纾2杨媛媛3(1.福建商学院 信息工程学院，福建 福州 350012；2.福州大学 物理与信息工程学院，福建 福州 350108；3.福建医科大学附属协和医院 基本外科，福建 福州 350001)摘 要：为提升小目标图像分割性能，提出一种通道注意力联合增强卷积的改进U-Net网络。该网络以增强卷积模块丰富目标特征信息提取，结合通道注意力加强网络对目标特征的专注学习，从而更有效捕捉小目标对象的深层次特征。NIH数据集上的实验结果表明，提出网络在保证计算效率的同时，有效提升了Dice系数、召回率和精确率，能够更好地用于小目标图像分割。关键词：深度学习；通道注意力；增强卷积；U-Net；图像分割中图分类号：TP391.9 文献标志码：A 文章编号：1674-9499(2023)04-0176-032023年第04期（2023年04月）No.04 2023177自然科学研究标特征的提取。图2 残差连接和EC模块(a.原始残差连接结构 b.EC模块结构)1.2 CA模块虽然EC模块丰富了特征场中的信息，但与分割目标无关的冗余信息也会不同程度的被放大，因此还需对网络的浅层特征进行筛选。特征空间中的多通道特征数据由不同卷积核计算生成，根据各通道对分割目标的贡献程度不同，对特征通道进行加权处理可以在保留局部特征完整性为前提过滤冗余特征。设计的CA模块结构如图3所示。Xk为第k层下采样过程的EC模块输出，其分辨率为HWC，C为通道数。注意力系数0,1，计算方法见式(12)：(1)(2)式中，G是Xk经过全局平均池化后得到的个数为C的通道特征向量,再经两个全连接层生成通道注意力系数。为减少模块参数，的参数量默认以C/4进行定义。1为ReLU激活函数，即1(x)=max(0,x)。2以Hard-Sigmoid归一化函数定义，即2(x)=max(0,min(1,(x+1)/2)，这是因为Hard-Sigmoid相比Sigmoid函数具有更快的计算性能，在全连接层产生额外计算开销的情况下可以平衡网络的综合负载。模块的最终输出为Xk。图3 CA模块结构CA模块中的参数通过梯度反向传播进行更新，由EC模块提取的浅层特征经过不同层级CA模块筛选后，与分割目标弱相关的通道响应受到了抑制，在浅层与深层的语义连接中仅保留了与目标相关特征通道的激活。网络从不同层级增强特征提取并通过层层过滤融合到上采样过程，从而更有效地捕捉小目标对象的深层次特征。2 实验设计2.1 实验环境实验环境为DELL T7910 工作站，Window10 操作系统，配置一张Nivida GTX 1060Ti显卡，开发语言使用Python3.7，主要实验框架为Tensorflow。2.2 数据预处理以NIH胰腺分割数据集进行验证，该数据集公开可用，且常被用于小目标医学图像分割实验。数据集中包含了82例腹部3D增强CT扫描影像(下称CT-82)，图像分辨率为512512像素，由专业人员对图像中的目标区域进行逐层标注。数据预处理过程先将数据解压为2D图像，然后由中心裁剪法将CT图和真实标记图统一裁剪为256256像素；再使用直方图均衡化增加CT图像对比度后执行标准化，并对标记数据进行独热编码7；最后通过线性插值统一缩放为128128像素分辨率。2.3 评价指标采用集合相似度系数(Dice)、召回率(Recall)和精确率(Precision)三个指标评价网络性能。设TP为真阳性，FP为假阳性，FN为假阴性，各指标定义为式(35)。(3)(4)(5)Dice度量了预测分割结果与真实标记的相似程度，是评价分割准确度最关键指标，Recall反映网络对正例像素的查全能力，Precision反映网络对正例像素的查准能力。2.4 训练配置使用Adam优化器进行训练优化，批量大小为50，最大迭代轮数为150轮。损失函数为交叉熵损失函数，在损失值明显稳定时停止训练。为了增强网络泛化能力8，训练过程加入非线性变换对训练数据进行增广，变换方法组包括：逆时针旋转90度、左右镜像、上下镜像、左右镜像后逆时针旋转90度。3 结果分析表1为CEU-Net和标准U-Net对CT-82的实验结果均值，包含两组实验。实验1将数据集中的61例用于训练网络，21例用于测试，此时CEU-Net的Dice相比U-Net高出5.98%，Recall高出7.34%，Precision提升了4.56%。实验2将训练数据减少到21例，观测以小量级数据训练后的网络性能，此时两种网络的分割效果整体都下降，但CEU-Net的Dice系数仍高出7.90%，Recall高出11.65%，Precison高出4.73%。因此，对于不同量级的训练数据，CEU-Net在增加0.9%的参数容量和少量分割耗时情况下，能够有效提升分割准确度。表1 不同训练/测试比的分割测试结果网络(训练/测试)U-Net(61/21)CEU-Net(61/21)U-Net(21/61)CEU-Net(21/61)Dice(%)72.7177.0653.0257.21Recall(%)71.9977.2848.3353.96Precision(%)75.5078.9458.0860.83总参数量(M)7.487.557.487.55分割耗时(s)1.382.04s1.382.04为了进一步验证网络有效性并对关键变量消融，分别将EC、CA、CBAM和AG嵌入到U-Net中，以61/21的训练/测试配比进行对比实验，表2为测试结果均值。可以看出，加入2023年第04期（2023年04月）No.04 2023178自然科学研究EC后，Dice指标提高了3.31%，说明EC更有利于小目标特征提取；加入CA后Dice提高了3.03%，说明CA对冗余信息的过滤有效。同时结合CA和EC的CEU-Net在三项评价指标上都优于孤立的U-Net注入实验，说明在增强特征信息提取的同时以通道注意力机制进行特征过滤更有利于优化特征提取和传递。此外，CEU-Net的三项指标均值都优于其他网络，Recall比结果较好的AG-Unet高出5.59%；Precision比结果较好的EC-Unet略高；最关键的Dice指标最高，比AG-Unet高出2.12%，比CBAM-Unet高出4.29%。表2 不同网络分割结果对比网络Dice(%)Recall(%)Precision(%)U-Net72.7171.9975.50EC-Unet75.1272.1678.33CA-Unet74.9172.9177.03CBAM-Unet73.8970.3377.83AG-Unet75.4673.1977.87CEU-Net77.0677.2878.94图4 分割细节对比(a.真实标记 b.U-Net c.EC-Unet d.CA-Unet e.CBAM-Unet f.AG-Unet g.CEU-Net)图4展示了不同形状和不同目标大小的分割细节对比。可以看出，CEU-Net对于漏分割和多分割有明显改善；对于目标更小的图像，分割结果与真实标记也最接近。CEU-Net有效地提升了小目标对象的分割精度。4 结语为了提升小目标图像分割性能，提出了一种通道注意力联合增强卷积单元的改进U-Net网络CEU-Net。EC模块可使网络对小目标特征提取更加充分，嵌入的CA模块通过隐式学习不同通道特征过滤冗余信息。实验结果表明，本文方法在Dice、Recall和Precision指标上均优于U-Net和AG-Unet等网络。后续研究有望结合循环卷积和三维卷积进一步提高小目标图像分割准确度。参考文献：1Ronneberger O,Fischer P,Brox T.U-net:Convolutional Networks for Biomedical Image SegmentationC/International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham:Springer,2015:234-241.2田启川,等.多尺度融合增强的图像语义分割算法J.计算机工程与应用,2021,57(2)3董高君,等.基于密集特征金字塔的细胞图像实例分割网络J.载人航天,2021,27(2).4Woo S,Park J,Lee J Y,et al.Cbam:Convolutional Block Attention ModuleC/Proceedings of The European Conference on Computer Vision(ECCV),2018:3-19.5Oktay O,Schlemper J,Folgoc LL,et al.Attention U-net:Learning Where to Look for the PancreasEB/OL.2023-01-10.https:/arxiv.org/abs/1804.03999.6马巧梅,等.融合残差模块的U-Net肺结节检测算法J.计算机工程与设计,2021,42(4).7梁杰,等.基于独热编码和卷积神经网络的异常检测J.清华大学学报:自然科学版,2019,59(7).8马岽奡,等.深度学习图像数据增广方法研究综述J.中国图象图形学报,2021,26(3).Channel Attention and Enhanced Convolutional U-Shape Network for Image SegmentationJi Jianbing1 Chen Shu2 Yang Yuanyuan3(1.College of Information Engineering,Fujian Business University,Fuzhou 350012,China;2.College of Physics and Information Engineering,Fuzhou University,Fuzhou 350012,China;3.Department of General Surgery,Union Hospital,Fujian Medical University,Fuzhou 350001,China)Abstract:To improve the performance of small target image segmentation,an improved U-Net network based on channel attention joint enhancement convolution is proposed.The network uses enhanced convolution modules to enrich target feature information extraction,and combines channel attention to enhance network focused learning of target features,thereby more effectively capturing the deep level features of small target objects.Experimental results on NIH datasets show that the proposed network effectively improves the Dice coefficient,recall,and precision while ensuring computational efficiency,and can be better used for small target image segmentation.Key words:deep learning;channel attention;enhanced convolution;U-Net;image segmentation责任编辑：师清芳