基于稠密高分辨率并联网络的安检X光图像分割.pdf

第 卷第 期 年 月北京信息科技大学学报（自然科学版）（）文 章 编 号：（）：基于稠密高分辨率并联网络的安检 光图像分割李广睿，刘琼（北京信息科技大学 自动化学院，北京 ）摘要：针对安检 光图像检测中违禁物品尺度差异大、杂乱无章且存在重叠遮挡现象的技术难题，对高分辨率网络（，）模型进行改进，同时融合去遮挡单元，提出了一种新的多尺度特征融合网络结构，实现安检 光图像中的违禁物品语义分割。在编码阶段，基于 的多分支并联网络结构，设计了一种单分支内稠密连接的方式，增强深、浅层的信息融合，提取多尺度特征，解决安检 光图像违禁物品尺度多样化的问题。在网络整体架构中，融入基于注意力机制的去遮挡单元，加强模型的边缘感知能力，有效抑制安检 光图像中物品重叠遮挡对分割精度的影响。在 安检图像公开数据集的 、三个验证子集上验证了所提方法的有效性。结果表明：该模型分别取得了 、的平均交并比，相比原始 模型，分别提升了 、百分点，总体平均交并比提升约 百分点。关键词：安检 光图像；语义分割；违禁品识别；稠密并联网络中图分类号：文献标志码：，（，）：，（），（），：；收稿日期：基金项目：国家自然科学基金项目（）作者简介：第一作者：李广睿，男，硕士研究生；通信作者：刘琼，女，博士，副教授。北京信息科技大学学报（自然科学版）第 卷 引言在公共交通运输领域，对行李实施 光安检是保障乘客生命财产安全的重要手段。当前，安检工作主要依赖人眼识别和判读做出决策 ，要求工作人员在相当长的时间内保持高度集中的注意力，容易导致人为误检和漏检的情况。因此，运用先进的人工智能技术和方法辅助违禁物品识别具有极为重要的研究意义。违禁物品尺寸多样化、位置摆放随意且存在重叠遮挡，这一直以来都是安检光图像检测领域亟待解决的难题。近年来，随着深度学习方法在图像领域取得突破性进展，越来越多的研究者在安检领域展开新的研究。其中，等 对多种基于视觉词袋模型、深度学习和稀疏表示的方案进行了评估，发现深度学习方法在安检 光图像检测中的效果最好。等 提出了一种细化模型，利用不同尺度特征过滤无关信息并对违禁品进行识别分类。等 提出一种基于注意力机制的去遮挡模块，利用违禁品的特征信息生成注意力图来增强对遮挡物品的检测效果。等 提出使用特征增强模块提高特征提取能力，同时利用多尺度融合方式得到更准确的感兴趣区域，提高了安检光图像违禁品检测的准确性和鲁棒性。然而，这些目标检测算法可以获取违禁品的类别信息以及粗略的位置信息，却无法获取目标物的形状信息。因此，本文拟采用图像语义分割算法，获得更为准确的违禁物品的类别信息、位置信息和形状信息。语义分割一直是计算机视觉领域的研究重点。等 首次打开了语义分割任务的大门，提出全卷积网络（，），成功实现了卷积神经网络在像素级分类任务中的应用。等 则提出 网络，该模型通过对称结构融合编码器和解码器的特征图，有效提高了分割精度。不过，在下采样阶段逐渐降低特征图分辨率，限制了上下文信息的充分利用，可能导致图像信息丢失。为了扩展空间信息，系列算法 引入了空洞卷积网络结构，以增大感受野，捕捉更多上下文信息。然而该结构存在网格效应导致空间信息不连贯的问题，且对于小目标的分割任务效果有待提升。在捕捉局部细节信息上表现出色，但在处理大尺度场景时缺乏全局感知能力，导致分割效果相对较差。设计的一个主要优势是其能够捕获全局上下文信息。通过使用 模块，可以在网络中引入更大范围的感受野，有助于更好地理解整个图像的语境。但是模型计算复杂性高、训练难度大，且实际效果易受具体任务特性影响，并不具备很好的普适性。双重注意力网络（，）引入了双重关注机制，旨在同时对空间和通道进行注意力加权。这有助于网络更有效地捕获空间和通道上的关键信息，提高特征表示的表达能力，但是同样具有任务依赖性。高分辨率网络（，）通过保持图像高分辨率，同时下采样得到并行分支以提取不同分辨率的特征，捕捉了不同尺度的细节和上下文信息，取得了高准确率的图像语义分割。然而，在主干网络进行特征提取过程中，并未注重深、浅层之间的信息交流，而在信息量本身就格外有限的安检 光图像任务中，具备更丰富信息的特征图对分割效果具有积极意义。为应对上述问题，本文在 语义分割算法的基础上进行了优化和改进，以提升其在安检 光图像语义分割任务中的适用性。改进的 算法高分辨率的并行神经网络更加注重图像位置信息，这使得 在安检 光图像语义分割任务中表现良好。但是，模型中每一层的输入只来自于前一层，并未和其他层建立相应的联系，这显然忽略了深层和浅层特征图之间的信息交流。因此，在原 模型的基础上，本文在每一分支均建立一种稠密连接的方式，使得每一层的输入均来自该层前所有层的输出，并通过相加的方式在每一分支的不同层之间进行信息融合，并嵌入优化后的去遮挡单元，进一步提升模型的分割精度。模型的整体结构如图 所示。其中，不同大小的立体块表示不同分辨率的特征图，向下的直线表示下采样，向上的直线表示上采样，黑色的曲线为本文设计的稠密连接方式，连接在一起的立体块表示特征图的拼接。稠密多分支并行特征提取网络安检 光图像中违禁物尺寸差异大，包含细小违禁物品，需要更加关注图像中微小但不可忽视的特征，以便获取高清的局部细节信息，从而有助于网络细粒度分割。为此，本文提供了一种新思路，在多分支并联的神经网络中，建立单分支内不同层之间的稠密连接，以此弥补 的不足。浅层特征图包含丰富的细节信息，但缺乏语义信息，而深层特征图包含丰富的语义信息，却缺乏细节信息。通过在高分辨率特征图主网络逐渐并行加入低分辨率特征第 期李广睿等：基于稠密高分辨率并联网络的安检 光图像分割图 模型整体网络结构 图子网络，可以使得特征图在整个过程中都保持高分辨率，通过不同分辨率之间的上采样和下采样操作，让不同分辨率特征进行多尺度融合，从而聚合不同分辨率的信息，过程如图 所示。图 不同分辨率特征融合方式 本文充分借鉴了 和 的先进思想，在每个分支网络各层之间建立了稠密连接，使得每一层都会收到在它之前所有层的特征输入，有助于深层、浅层之间的特征融合和优势互补，使网络具有更加丰富的特征表示能力，有助于训练深层网络。若第 层的非线性变换为（），则输出可以用式（）表示。（）（）式中第 层的输入是所有浅层的输出之和。通过对每一层进行非线性处理后，网络的表达能力得到增强。（）是非线性变换函数集合，包括批标准化（，）、非 线 性 激 活 函 数 等。改进模型的另一个优势是只改变了神经网络中的连接方式，而并未增加额外的参数，因此仍然可以通过反向传播的优化器进行端到端的训练。优化的去遮挡单元边界模糊和物体重叠遮挡一直是安检 光图像识别所面临的技术难题。为了进一步加强模型对重叠遮挡物品的分割能力，本文在原去遮挡模块 （）的基础上进行优化，构建了双重边界信息增强单元，以进一步增强物体的边界信息。首先，通过上下左右 个方向对边界信息进行强化，将其巧妙聚合形成一个完整的形状 。为了更清晰地呈现这一过程，将提取左边界信息的计算方法用式（）表示，其他方向的计算方法同理。，（），（）式中：，、分别表示边界强化处理前和处理后的特征图；下标 表示特征图的第 个通道，（，）表示第 个通道中像素点的位置坐标，其中 表示纵坐标，对应竖直方向，表示横坐标，对应水平方向；表示取最大像素值；为任意自然数；为特征图的宽度，。采用 算子分别计算水平和竖直方向上的边缘图像。通过双重边界信息增强单元，获得初步边界信息增强图。然后在一条分支上，通过一系列的卷积、批标准化和非线性激活操作后，得到最终的边界增强图；另一分支上，输入图像与初步边界增强图拼接后的图像通过一系列的卷积、批标准化和非线性激活操作后，再利用区域信息聚合模块进行不同尺度的池化来聚合区域特征，进而得到材质感知图。最后，利用边界增强图与材质感知图生成一个关注图像关键区域的注意力图，从而获得加强了边界特征的改进特征图。这一设计在提高图像质量的同时，强调了对关键位置信息的捕捉，有助于提升对光图像复杂情境的解析能力。去遮挡单元网络结构如图 所示。北京信息科技大学学报（自然科学版）第 卷图 去遮挡单元结构 实验分析为了验证本文算法在安检 光图像违禁物品语义分割任务上的有效性以及优越性，在安检公开数据集上进行对比实验和消融实验。实验数据集本文实验所选择的 安检 光图像语义分割数据集来源于机场、地铁站和火车站的真实场景，且来自于 台不同制造商所生产的安检设备，具有广泛的覆盖范围和多样性。该数据集包含了常见的 种违禁物品，共有 张图像。训练集包含 张图像（约 ），测试集包含 张图像（约 ）。每张图像均包含违禁物品，且进行了像素级注释。为了更好地评估算法在不同场景和复杂度下的性能表现，测试集被细分为容易（）、难（）和隐藏（）三个图像子集，分别包含 、张图像。图像子集中，每张图像仅包含一个违禁物品；图像子集中，每张图像包含多个违禁物品；而 图像子集中，图像中的违禁物品存在严重的重叠遮挡。实验设置）实验环境。实验采用 操作系统和 ，基于 深度学习框架进行神经网络构建。网络均使用自适应矩估计（，）优化器，学习率初始化为 ，采用余弦函数调整学习率，最低学习率为 ，训练 次。为了提高训练效率，将图像统一裁剪为 像素大小。）评价指标。本文采用如下 个评价指标来评估模型性能，分别是平均交并比（，）、平均像素准确率（，）以 及 平 均 精 确 率（，）。（）（）（）式中：和 表示像素类别；为总类别的数量（包含背景）；表示属于 类却被预测为 类的像素数量；表示属于 类却被预测为 类的像素数量；表示属于 类且被正确预测为 类的像素数量。对比实验对比实验结果如表 所示。为了更加直观地展现实验数据，将各项指标的最佳值做了加粗处理。从实验结果可知，在安检 光图像语义分割任务上，相较于 等其他流行的高精度语义分割算法，本文算法准确性得到了一定提升。具体地，本文算法在 数据集的 个测试子集上分别取得了 、的平均交并比和 、的平均像素准确率。需要说明的是，实验中的遮挡问题主要分为 种。一种是非违禁物品对违禁物品的遮挡，这时由于只标注违禁物品，需要在作为背景的非违禁物品的遮挡中分割出其中的违禁物品。另一种是违禁物品之间的重叠遮挡，这又分为同类违禁物品之间的重叠和不同种类违禁物品之间的重叠。对于同类违禁物品之间的重叠，因为不管遮挡物还是被遮挡物都是同一第 期李广睿等：基于稠密高分辨率并联网络的安检 光图像分割表 本文模型与其他主流语义分割模型的性能对比 模型容易（）难（）隐藏（）本文模型 类，因此不会出现同一像素点属于 类的情况。而对于不同类的违禁物品重叠，数据集中只会标注一类违禁物品，并不会在同一像素点处同时标记 种违禁物品，所标记种类的违禁物品破坏了被遮挡的其他类违禁物品的形状完整性，增加了分割任务的难度。部分分割结果的可视化效果如图 所示。由实验结果可以看出，本文所提算法更加注重边界位置信息和物体自身的完整性，比 模型更加接近真实标签；同时，通过稠密的并行网络加强特征提取和融合，使得在遮挡较为严重的图像中像素点分类正确率大幅提升，且提升了小目标的分割精度。日后，将会在物体分割的连贯性以及精准度方面继续优化改进。图 本文模型与其他语义分割模型可视化结果对比 消融实验为了验证各组成模块的有效性，在相同数据集和实验设置条件下进行了消融实验。容易、难、隐藏种难度下的平均结果如表 所示。由表可知，分别移除去遮挡单元和稠密连接后，模型的性能均有所下降，表明这 种主要的改进均有助于提高安检光图像的分割精度，充分验证了本文算法针对安检 光图像违禁品分割识别的适用性和有效性。表 消融实验结果 去遮挡单元稠密连接 结束语面对 光安检图像语义分割的现实应用挑战，本研究以 算法为基础，提出一种创新的网络架构和优化策略。通过引入改进的去遮挡单元和构建稠密连接的多分支并行网络，成功克服了遮挡问题和多尺度特征融合的难题。实验结果表明，该方法在安检 光违禁物品图像语义分割任务中取得了更为优越的性能。这些改进在提高安检图像分割的精确性和可靠性方面具有显著意义，同时在实际应用中展现了潜在的价值。参考文献：邢琛聪，吕淑静，吕岳 基于小样本学习的 光图像违禁物品识别 电子测量与仪器学报，（）：北京信息科技大学学报（自然科学版）第 卷 ，（）：（），（）：，：（），：，：，：，：，：，（）：，（），：，：，：，：，：，：，：，：，（）：，：（），：，：，（），：，：，（），：，：，：（）：，（），：，：，（），：，：，：（），：，：，：（），：，：