基于CBAM-U-Net的全二维气相色谱streak目标分割.pdf

2023 年第 11 期45计算机应用信息技术与信息化基于 C B A M-U-N e t 的全二维气相色谱 s t r e a k目标分割李 鑫1 李 波1 吴培德1 姚 为1LI Xin LI Bo WU Peide YAO Wei 摘要 针对全二维气相色谱（GCGC）图像中 streak 目标具有低对比度特点而难以分割的问题，提出了一种基于 CBAM-U-Net 的图像分割模型，所提出的模型在 U-Net 网络模型的基础上，通过在网络特征提取阶段嵌入 CBAM 注意力机制，来增强目标区域的特征信息，保留更多图像纹理。基于企业提供的全二维气相色谱数据集的实验结果表明，所提出方法的 Acc、CPA、Dice 系数等方面均有所提升，分别达到了 98.80%、73.50%和 71.73%，说明融合 CBAM 注意力机制的 U-Net 模型能够有效提升对 streak 目标区域的分割精度。关键词 全二维气相色谱；streak；低对比度；U-Net；CBAM doi：10.3969/j.issn.1672-9528.2023.11.0111.中南民族大学计算机科学学院 湖北武汉 430074 基金项目 国家自然科学基金资助项目（61976226）；中南民族大学科研学术团队资助项目（KTZ20050）0 引言全二维气相色谱图像1中包含丰富而复杂的信息，包括背景、peak 区域（peak 区域为化合物对应的峰）、随机噪声以及条带状的 streak 区域。streak 是全二维气相色谱数据的一种化学噪声，具有低对比度的特点，可能会严重影响对化合物成分进行精确检测和分析。因此，在全二维色谱图像中对化学噪声 streak 进行分割并去除，从而使得对化合物的检测及分析更加精确，具有十分重要的意义。语义分割是近年来的研究热点，深度卷积网络逐渐成为机器学习的主流模型，并用于图像分割领域。Jonathan Long 等人在 2014 年提出的 FCN2网络模型，该模型使用卷积层代替传统卷积神经网络中的全连接层，但是该模型引入了更多的计算量，并且对目标尺寸和形状的变化比较敏感，没有很好地适应不同尺度和形状的目标。Olaf 等人于 2015 年在 FCN 的基础上提出了 U-Net 网络模型3，U-Net通过跳层连接，将底层的位置信息与深层的语义信息进行通道数的叠加，进一步提高了分割效果。与其他网络模型相比，U-Net 在保持准确性的同时具有较快的训练速度和较小的计算开销，因此，越来越多的研究者开始将 U-Net 应用于图像分割任务中。全二维气相色谱一般是用在对化合物进行定量检测和分析4，近年来在全二维气相色谱的 streak 检测与分割方面，9 陈田田.基于改进人工势场法的室内移动机器人路径规划研究 D.郑州:郑州大学,2019.10 张棹轻.动态障碍物环境下无人艇避碰方法研究 D.哈尔滨:哈尔滨工程大学,2019.11 牟德君,初鹏祥.基于改进 A*算法的仓储环境 AGV 路径规划 J.自动化与仪表,2022,37(4):40-45.12 刘生伟,马钺,孟树峰,等.改进 A*算法的 AGV 路径规划 J.计算机应用,2019,39(S2):41-44.13 耿宏飞,神健杰.A*算法在 AGV 路径规划上的改进与验证 J.计算机应用与软件,2022,39(1):282-286.【作者简介】胡强（1997），男，安徽合肥人，硕士研究生，研究方向：路径规划。索会恒（1999），男，江苏邳州人，硕士研究生，研究方向：机器人 SLAM 与规划控制。吴剑（1975），男，湖北黄梅人，硕士生导师，博士，副教授，研究方向：先进控制理论与应用。杨腾胜（2000），男，江西南昌人，硕士研究生，研究方向：机器人感知与规划控制。饶睿（1999），男，江西吉安人，硕士研究生，研究方向：目标检测。（收稿日期：2023-07-02 修回日期：2023-07-19）2023 年第 11 期46计算机应用信息技术与信息化公开发表文献较少。文献 5 采用高斯滤波器增强全二维气相色谱中弱对比度的 streak 目标，并通过标记分水岭算法对streak 区域进行分割，取得了一定效果。此外，由于 streak目标的特点，如具有一定的方向性和低对比度，该分割研究可以在一些具有相似特征的公开数据集的目标分割工作中得到启发和借鉴，王彩云等人使用方向滤波弱化图像背景中的噪声，对视网膜血管进行分割6；董红月等人通过结合基于平衡注意力机制的模型对道路裂纹进行分割识别7等。以上的大部分模型都是在 FCN 模型的基础上进行了改进，一定程度上可以解决传统语义分割方法所面临的特征选择问题，但是，这些模型忽视了深层空间细节特征对图像分割产生的影响，因此在面对全二维色谱图像的复杂背景及streak 目标本身的特点时仍然存在着不足。针对如上问题，本文在 U-Net 网络模型的基础上，引入 CBAM8注意力机制，提出了一种基于 CBAM-U-Net 的图像分割模型，该模型能够保留图像更多细节，提高 streak 目标区域分割的准确度和模型的鲁棒性。1 模型及算法原理本文流程主要分为 3 个阶段。（1）对样本进行标注，采用线性变换9以及加入随机噪声10的方法对样本进行增强，制作训练图像数据集。（2）设计 CBAM-U-Net 网络模型，在特征提取网络部分嵌入 CBAM 注意力机制，加强对特征区域的提取能力适应streak 目标的尺度变化，并对模型进行训练分割。（3）通过与 U-Net 模型对比，验证设计的模型优良性。1.1 U-Net 模型U-Net 模型最开始是用来解决医学细胞分割任务的全卷积网络，它是基于 FCN 而设计出来的。因为其网络结构类似英文字母“U”，所以被称为 U 形网络。U-Net 网络可以分为三个部分。第一部分为主干特征提取网络，在这部分会对输入的图像进行 3*3 的卷积和最大池化下采样处理，得到五个不同尺度的特征图像，从而初步提取出图像中的特征。第二部分为加强特征提取网络，采用了与第一部分操作基本对称的策略，即使用 3*3 的卷积和反卷积进行上采样处理，将图像恢复到原来大小。第三部分为预测网络，通过 1*1 的卷积层对上采样得到的最后一个有效特征层的每一个像素分类，达到输出分割结果的目的。U-Net 的核心操作在于连接主干特征提取网络和加强特征提取网络的跳层连接结构。这种跳层连接结构可以促进网络学习到更加丰富的特征信息，从而提高分割精度。然而，在 U-Net 的下采样过程中，由于对应上采样位置的特征图大小不匹配，会出现信息丢失的问题。为了解决这个问题，U-Net采用了 concat 方法进行拼接。具体来说，它将下采样过程中提取的特征图与对应的上采样位置的特征图进行拼接，使得网络在上采样的过程中能够将不同层级的特征信息进行特征融合，从而更好地还原图像的细节信息，提高分割的精度。总之，U-Net 的跳层连接结构和 concat 方法是其实现优秀分割效果的关键技术，它们不仅可以提高特征的表达能力，还可以有效减少信息丢失，保证分割的准确性和稳定性。1.2 CBAM 注意力机制CBAM 是一种混合域的注意力模块，它主要用于图像分类、物体检测和分割等任务中。与其他注意力机制相比，它同时运用了通道注意力和空间注意力，可以引导网络在特定的上下文中关注重要的特征和通道。在 CBAM 中，为了学习各通道的重要性，通道注意力采用平均池化进行特征映射，这样可以通过计算每个通道的均值来确定每个通道的贡献度。在空间层面上，CBAM 使用最大池化来学习各空间位置的信息，这可以帮助网络识别出空间位置上的关键特征点，并提高对整张图片的感知能力。通过对通道和空间上的注意力块进行特征融合，CBAM 可以得到良好的表现。（1）通道注意力模块在该模块中，首先，同时使用最大池化和平均池化的操作使得后续的卷积模块得到了注意力参照，然后，将这些信息连接到一个 MLP 中并进行处理，以获得每个通道的权重系数，该权重系数表示该通道应该如何加权以优化模型的性能。通过实验对比11，验证了两种池化效果要明显优于单一地选择其中一种。（2）空间注意力模块该模块和通道注意力模块是互补的，空间注意力模块将通道特征重建后得到的特征图作为输入。首先通过最大池化和平均池化得到特征图，然后通过通道级联的方式将其拼接成有效的特征描述符，最后利用卷积层对特征描述符进行编码和融合，得到空间注意力模块信息权重。将通道注意力模块和空间注意力模块这两个注意力机制的结果结合起来，得到一个同时考虑通道和空间信息的增强特征图，使得模型能够适应图像细节纹理的变化，具有更高的精度。1.3 本文提出的 CBAM-U-Net 模型作为一个高效的注意力模块，CBAM 可以方便地嵌入到各种深度学习模型中。为了提高对特征的提取能力，本文在U-Net 主干特征提取网络部分嵌入 CBAM 模块，最终模型结构图如图 1 所示。2023 年第 11 期47计算机应用信息技术与信息化图 1 CBAM-U-Net 模型结构本文首先将 CBAM 模块嵌入主干特征提取网络中的下采样操作中，这种嵌入方式是通过先嵌入通道注意力，再应用空间注意力来实现的。之所以采用这种方法，是因为通道注意力可以帮助学习到每个通道在特征图中的重要程度，进而使得那些重要的通道能够获得更多的关注，从而提高了特征提取过程的效果。然后利用通道注意力机制所学习到的通道的重要性信息，再对特征图进行空间注意力操作，以便在重要的通道中发现特别重要的特征，并加强这些特征在空间上的表达。需要注意的是，在本文中，仅仅在前三次下采样操作中嵌入了 CBAM 模块，这是因为随着下采样次数的增加，特征图的分辨率会逐渐降低，感受野也会变得更加小。这种情况下，注意力机制可能会面临一些困难，导致其效果无法继续提升，反而会增加模型的参数量和计算量。因此，在本文中只选择了前三次下采样操作来嵌入 CBAM 模块，以获得最佳的性能和效果。总之，本文提出在主干特征提取网络中嵌入 CBAM 模块来提高下采样操作的效果。这种方法是通过先嵌入通道注意力机制，再应用空间注意力来实现的，同时还限制了 CBAM 模块的使用次数，以防止模型的参数量和计算量过大。2 实验结果与分析本文的数据集来自企业提供的未标注的全二维色谱样本，因此需要进行人工标注。由于全二维色谱数据样本由专业设备运行产生，且 streak 在设备运行中随机出现，因此含有 streak 的全二维色谱数据属于小样本数据，原始图像样本数为 33。为了解决样本过少容易造成过拟合的问题，在训练之前本文采用线性增强和添加随机噪声的方法对数据进行增广，将样本数量增加样本数量到 660，将样本按照 6:2:2 的比例分成训练集、验证集和测试集，使用增广后的数据进行模型训练可以增加模型的鲁棒性和泛化能力。本实验基于 Linux 平台实现，显卡为 Intel(R)Xeon(R)CPU E5-2630v42.20 GHz，采用 Python 编程，深度学习框架为 PyTorch1.0。本文模型在训练时选择随机梯度下降算法更新网络参数，网络中输入图像的大小设置为 473473，在网络训练过程中，需要把训练样本批次输入网络，Batch_size 值决定了每批训练图像的数量，本文将 Batch_size 值设置为 4，Epoch表示整个训练集迭代训练的次数，本文将 Epoch 值设置为700。采用余弦退火衰减的方式来进行学习率的调整，避免陷入局部最优解。2.1 评价指标为了验证本文网络模型的有效性，需要对其进行评估。为此，本文采用了图像分割中常用的评价指标，包括准确率(accuracy，Acc)、类别像素准确率(category pixel accuracy，CPA)和 Dice系数。其中，准确率 Acc指正确分割的像素数占总像素数的比例，是评估分割效果最基本的指标之一。类别像素准确率 CPA 则更加注重分类精度，它指分类为目标的像素点中，真正正确的像素点所占比例，可以更好地反映模型对于目标区域的识别能力。Dice系数是一种相似度度量函数，可以评估模型的分割结果与真实结果之间的相似程度。同时，本文也会使用模型参数量和模型计算量来评估模型的复杂度和规模，这有助于判断模型在实际应用中的可行性和效率。通过对这些评价指标的综合分析，可以更全面地评估本文网络模型的性能和可靠性，以及其在实际应用中的优势和局限性。Acc、CPA、Dice系数的计算公式为：（1）（2）（3）式中：TP（true positive）表示检测结果为正样本且实际为正样本的数量；FP（false positive）表示检测结果为正样本，但实际为负样本的数量；FN（false negative）表示检测结果为负样本，但实际为正样本的数量。2.2 实验结果及比较针对全维气相色图像数据集，采用 U-Net 和本文模型进行对比实验，分割实验结果如图 2 所示。从图 2 的分割结果可以看出，U-Net 模型总体上能将目标分割成功，然而，在某些情况下，仍然存在一些没有完全分割的部分或缺失的情况。例如，在针对第一张图的分割，可以看到有明显的断点，而嵌入 CBAM 模块后，能够进行较为完整的分割。针对后几张图CBAM-U-Net的结果也优于U-Net初始模型的分割效果，这说明 CBAM 模块在 U-Net 模型中的应用能够有效地改善图像分割的性能。2023 年第 11 期48计算机应用信息技术与信息化 （a）原始图像（b）加标签样本（c）U-Net 分割结果（d）本文模型分割结果图 2 分割结果示例表 1 展示了该模型在五种评价指标的表现。表 1 评价指标对比Model Acc/%CPA%Dice%Parm/MBGFLOPs/GBU-Net98.7267.0268.4924.8943.25Ours98.8073.5071.7326.5743.37在表 2 中，可以看到几种评价指标的具体数值。其中，Acc指示分割结果中被正确分类的像素点占总像素点的比例，包括背景区域。由于背景区域太大而导致准确率都在 98%左右，U-Net 的 CPA达到了 67.02%，这说明该模型对 streak 目标具有一定的分割能力，而嵌入 CBAM 模块后，CPA提高了5.48%，达到了 73.50%，U-Net 和 CBAM-U-Net 的 Dice系数分别达到了 68.49%和 71.73%。CPA和 Dice均有所提高，表明了引入注意力机制后的模型具有良好的表现，而 Parm提高了1.68 MB，GFLOPs提高了 0.12 GB，说明引入注意力机制后增加了模型的参数量与计算量。3 结语本文针对全二维色谱图像的复杂场景中 streak 目标的分割问题，提出 CBAM-U-Net 分割模型。实验结果表明，在企业提供的二维色谱数据集上，相比其他模型和方法，本文所提出模型的 Acc、CPA、Dice系数值均有所提高，验证了该模型的分割效果。目前，本文的模型在提供的全二维色谱数据集上图像语义分割中取得一定效果，后续将考虑对复杂混合目标进行进一步的精细分割，同时考虑不影响算法性能的情况下适当消减网络的参数，从而解决引起注意力机制带来的计算量大、训练时间增加的问题，从而让本文的模型更加高效地处理复杂任务。参考文献：1 MONDELLO L,TRANCHIDA P Q,DUGO P,et al.Com-prehensive twodimensional gas chromatographymass spectrometry:a reviewJ.Mass spectrometry reviews,2008,27(2):101-124.2 LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentationC/IEEE Conference on Computer Vision and Pattern Recognition.New York:The Institute,2015:3431-3440.3 RONNEBERGER O,FISCHER P,BROX T.U-net:convo-lutional networks for biomedical image segmentationC/International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham:Springer International Publishing,2015:234-241.4 陈文婷.全二维气相色谱技术应用研究进展 J.化学分析计量,2022,31(8):82-89.5 LI B,REICHENBACH S E,TAO Q,et al.A streak detection approach for comprehensive two-dimensional gas chroma-tography based on image analysisJ.Neural computing and applications,2020,32(3):649663.6 王彩云,关志玉,吴钇达,等.基于多方向滤波的视网膜血管图像分割算法 J.激光与光电子学进展,2022,59(8):463-469.7 董红月,张兴忠,赵杰伦.基于可逆金字塔和平衡注意力的工业裂缝分割 J.计算机工程与应用,2022,58(12):234-242.8 WOO S,PARK J,LEE J Y,et al.Cbam:convolutional block attention moduleC/Proceedings of the e uropean conference on computer vision(ECCV).Berlin:Springer,2018:3-19.9 郭永坤,朱彦陈,刘莉萍,等.空频域图像增强方法研究综述 J.计算机工程与应用,2022,58(11):23-32.10 张淑英,陈若玲,李佐勇,等.图像椒盐噪声的开关滤波算法综述 J.福建电脑,2014,30(4):1-9.11 FU J,LIU J,TIAN H,et al.Dual attention network for scene segmentationC/Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Piscataway:IEEE,2019:3146-3154.【作者简介】李鑫（1996），男，湖北恩施人，硕士研究生，研究方向：数字图像处理与机器学习。李波（1975），通信作者（email:），男，湖北宜昌人，副教授，研究方向：机器学习与模式识别。（收稿日期：2023-05-23 修回日期：2023-06-17）