基于改进YOLOv5s的飞机装配环节多余物检测研究.pdf

中国新技术新产品2024 NO.1（下）-29-高 新 技 术多余物（foreign object debris，简称 FOD）是指遗留在零部件、成品件和整机上的与工程图样、工艺规范及其他技术要求无关的物品1。目前，多余物检测主要方法如下。1）开放区域，一般采用目视检查的方法。2）狭小区域，可以使用反光镜观察，并通过手电筒补光。3）不可达区域，一般采用X 光透视检查。由于多余物产生的随机性，因此人工检查需要耗费大量人力和管理成本。本文提出一种检测飞机装配环节中多余物的基于深度学习的计算机视觉算法，可在尽量减少模型算力要求的同时保证检测的精确度和速度。1 YOLOv5s 的轻量化和精度提升方法在多余物检测方面，国内、外已经有过一些研究，陈静提出通过人工提取特征进行复杂背景下多余物检测的方法2；杨民等提出利用工业计算机断层扫描技术识别叶片内冷通道内的多余物3；许冲等提出利用原信号的固有噪声分量进行降噪和多余物特征精确提取，快速准确地检测出航天设备中存在的多余物4。在计算机视觉方面，越来越多的科研人员正在研究使用计算机视觉进行多余物检测。徐骏提出利用毫米波雷达和图像识别技术识别机场跑道上的多余物5。随着深度神经网络和GPU 加速计算不断发展，目标检测领域获得高速发展，目前的研究方向主要是以 YOLO6（you only look once）系列为代表的一阶段检测算法和以 R-CNN（region-CNN）系列为代表的二阶段检测算法。本文主要贡献如下。1）在飞机装配阶段，利用基于深度学习的计算机视觉技术进行多余物检测，提升检测的效率和时效性。2）针对飞机装配阶段多余物检测的特点，优化了YOLOv5s 的网络结构，增加 CA（coordinate attention）注意力机制，使用双向特征金字塔网络 BiFPN（bi-directional feature pyramid network）7和 SPD（space to depth）卷积8提升模型的特征提取和融合能力，保证了检测精度。3）设计了轻量化模块 DGConv（dense ghost convolution），利用 DGConv 替换原网络中的 Conv 模块，使模型更轻量化，降低了模型对算力的要求。YOLOv5s 是 YOLOv5 系列中最小的模型。YOLOv5s 的整体网络结构包括 3 个部分，主干网络（backbone）、特征融合（neck）以及检测头（head）。主干网络主要用于提取特征，YOLOv5s 将 Conv（包括卷积、批量归一化和激活函数）和 C3（包括 3 个 Conv 和 Bottleneck 层）模块组成主干网络。主干网络共经历 4 次下采样，形成了 5 层特征图。在特征融合部分，使用了路径聚合网络 PAN（path aggregation network）结构。在检测头部分，YOLOv5s 使用了 3 个检测头，尺寸分别为 1919、3838 和 7676，对应不同尺寸的检测目标。在损失函数方面，将 CIOU（complete-IoU）作为回归框损失。本文改进了 YOLOv5s 网络结构，使用 DGConv 替换 Conv，降低模型参数量。在 backbone 和 neck 中加入注意力模块 CA，提升关键特征提取能力。同时，neck 使用 BiFPN 结构对特征图进行双向连接。在回归框损失方面，使用 SIOU（scylla-IoU）9替换 CIOU，提升了回归速度。1.1 DGConv 模块本文提出的 DGConv 模块是一种轻量化的卷积模块，其结构如图 1 所示。先使用一个 11 的卷积压缩通道数，通道数降至输出特征图通道数的 1/4。再使用一个 33 的卷积（通道数为输出特征图通道数的 1/4）。最后经过一个 33 的卷积（通道数为输出特征图通道数的 1/2）。将 3 次卷积的特征图进行拼接，得到输出特征图。DGConv 可以显著降低参数量。1.2 CA 注意力机制CA注意力机制使网络能够关注大范围的位置信息且不会带来过多计算量。输入的特征图进入残差网络后，分别进行 X方向和 Y 方向的平均池化，池化后 2 个部分的特征图横向拼接，经过卷积、批量归一化和激活函数后沿着空间维度分解为2 个单独的张量，再分别经过卷积和激活函数，最后对特征图上各特征值重新分配权重。1.3 双向特征金字塔网络（BiFPN）BiFPN 的主要思想是通过自下而上和自上而下的路径来构建特征金字塔。在自下而上的路径中，底层特征通过上采样和融合操作进行上层传递。在自上而下的路径中，高层特征通过下采样和融合操作进行下层传递。本文使用 BiFPN 替换原YOLOv5s 的 PAN 结构，在最后一次下采样过程中，对 P4层的特征图进行双向连接，可有效捕捉不同层级上的语义信息，如图 2 所示。基于改进YOLOv5s的飞机装配环节多余物检测研究陈峰（上海交通大学航空航天学院，上海 200240）摘 要：飞机装配过程中对多余物的控制有非常严格的要求，传统方法是人工巡检或定时检查，本文提出一种基于改进 YOLOv5s 的面向多余物检测的目标检测方法。首先，本文提出一种轻量化模块，即 DGConv 模块，用于替换原有的卷积模块，能够有效减少模型参数。其次，在特征融合网络中使用双向特征金字塔网络结构 BiFPN，以提升特征的融合度，同时增加坐标注意力机制 CA，在不增加参数量的情况下提升网络的关注范围。最后，使用 SIOU 作为回归框损失。试验结果表明，本文方法的效果满足要求。关键词：DGConv；多余物检测；YOLOv5s；BiFPN；Coordinate Attention；SIOU中图分类号：TP391文献标志码：A中国新技术新产品2024 NO.1（下）-30-高 新 技 术（a）PAN-路径聚合网络（b）BIFPN-双向特征金字塔网络图 2 PAN 和 BiFPN 的结构图P1P2P3P4P5P1P2P3P4P5PANBiFPN1.4 损失函数 SIOUYOLOv5s 使用的损失函数 CIOU 考虑了预测框与真实框之间的 IOU 成本、距离成本以及形状成本。在该基础上，SIOU 增加了角度成本。将 SIOU 作为损失函数，预测框会快速移动至最近的轴（X 轴或 Y 轴），只需要在 X 坐标或 Y 坐标上进行回归。1.5 SPD 卷积SPD卷积可以替代跨步卷积和池化层。SPD层对输入的特征图进行下采样，但是在通道维度上保留了所有特征信息，因此没有特征损失。并在 SPD 层后添加了一个非跨步卷积，以增加或减少通道数量。SPD 卷积的结构如图 3 所示，本文在网络第二次下采样过程中使用了 SPD 结构。2 试验2.1 试验环境本文的试验环境基于 Windows 11 操作系统，CPU 为INTELI7-13600，显卡是 NVIDIAGTX3060（显存 12G），内存32G，开发软件使用的是 Pycharm，Python 版本为 3.9，cuda 版本为 11.7，PyTorch 版本为 2.0.0+cu117。2.2 数据集本文采集了 25 种飞机装配过程中常见的物品，包括零件、工具、工装和辅料等，共 600 张图片。其中训练集包括 480 张图片，测试集包括 120 张图片。2.3 评价指标本文使用检测速度 FPS（frame per second）、每秒浮点数运算次数 FLOPs（floating-point operations per second）和全类平均精度 mAP0.5（mean average precision）来评价模型的性注：S-输入特征图的宽度和高度；C1-输入特征图的通道数；C2-输出特征图的通道数。图 3 SPD 卷积结构图SSC1C1S/2S/2S/2S/2S/2S/2C24C1注：C1为输入特征图的通道数；Conv为卷积+批量归一化+激活函数；k为卷积核尺寸；C2为输出特征图的通道数。图 1 DGConv 模C1C21/2C21/4C21/4C2Conv（k=3）Conv（k=3）Conv（k=1）中国新技术新产品2024 NO.1（下）-31-高 新 技 术能，检测速度 FPS 为每秒检测的图像帧数，反映了模型的运行速度，每秒浮点数运算次数体现了模型对算力的要求。全类平均精度 mAP0.5 代表当 IoU（intersection over union）为 0.5时各类数据的平均准确率 AP（average precision），反映了模型的准确性，mAP 的计算方法如公式（1）所示。mAPnAPiin?11 （1）式中：n 表示数据种类。平均准确率 AP 的计算方法如公式（2）所示。AP=P（R）dR （2）式中：P 表示准确率（precision）；R 表示召回率（recall）。准确率 P 的计算方法如公式（3）所示。PTPTPFP?（3）式中：TP 代表预测结果为正样本，实际也为正样本；FP 代表预测结果为正样本，实际为负样本。召回率 R 的计算方法如公式（4）所示。RTPTPFN?（4）式中：TP 代表预测结果为正样本，实际也为正样本；FN 代表预测结果为负样本，实际为正样本。2.4 消融试验试验在 YOLOv5s 的基础上单独增加 DGConv、CA、BiFPN、SPD 以及使用损失函数 SIOU，结果见表 1。单独使用 DGConv时，浮点数运算次数下降 35%，mAP 下降了 6.5%；单独使用注意力模块 CA，FLOPs 下降 5.6%，mAP 与 YOLOv5s 持平；单独使用 BIFPN 和 SPD 时，mAP 略有提升，但是 SPD 的 FLOPs增加 22.5%；单独使用损失函数 SIOU，在 FLOPs 不变的情况下，mAP 提升了 1.7%。再依次增加 DGConv、CA、BIFPN、SPD、SIOU 进行试验，最终的结果是，结合所有的改进后，与 YOLOv5s 相比，YOLOv5s 的 mAP 提升 2.1%，同时 FLOPs 降低 25%。2.5 不同模型的对比将本文提出的改进 YOLOv5s 与 YOLOv3-tiny、YOLOv5s、YOLOv7-tiny 进行比较，使用相同数据集进行训练后，得出的模型指标见表 2。与 YOLOv3-tiny 相比，YOLOv5s 的 mAP提升 5.5%，FLOPs 降低 7.7%。与 YOLOv5s 相比，YOLOv5s的 mAP 提升 2.1%，FLOPs 降低 25%。与 YOLOv7-tiny 相比，YOLOv5s 的 mAP 提升 3.7%，FLOPs 降低 10.4%。由此可知，本文提出的改进 YOLOv5s 模型的总体性能优于其他 3 种基线模型。3 结语本文提出了面向飞机装配环节的基于深度学习的多余物检测方法。该方法引用并改进了 YOLOv5s 算法，通过使用轻量化模块，降低了参数量，从而降低算法模型对算力的要求。在该基础上，通过增加注意力机制、修改特征融合的结构等方法，提升算法精度。根据试验结果，与 YOLOv5s 相比，本文改进算法的每秒浮点数运算次数降低了 25%，而 mAP 则提升了1.6%，在 FPS 方面也能满足实时检测的要求。因此，YOLOv5s基本满足飞机装配环节多余物检测的要求。参考文献1 汪永琴.航空产品多余物控制研究 J.数字化用户，2018（23）：207-208.2 陈静.复杂背景下器件多余物成像检测的若干关键技术研究D.武汉：华中科技大学，2012.3 杨民，孙晶晶，李兴东，等.ICT 辅助涡轮叶片内冷通道多余物检测方法 J.航空动力学报，2011，26（11）：2433-2438.4 许冲，翁艺航，朱骏，等.航天电子设备多余物自动检测系统设计 J.软件导刊，2021，20（8）：140-144.5 徐骏.基于复合探测的跑道异物检测识别方法 D.哈尔滨：哈尔滨工业大学，2022.6JOSEPH REDMON，SANTOSH DIVVALA，ROSS GIRSHICK，et al.You only look once：Unified，real-time object detectionEB/OL.2015-06-08.https：/arxiv.org/abs/1506.02640.7TAN M X，PANG R M，QUOC V.LE.EfficientDet：Scalable and efficient object detectionEB/OL.2020-07-27.https：/arxiv.org/pdf/1911.09070.pdf.8RAJA SUNKARA，TIE LUO.No more strided convolutions or pooling：A new CNN building block for low-resolution images and small objectsEB/OL.2022-08-07.https：/doi.org/10.48550/arXiv.2208.03641.9ZHORA GEVORGYAN.SIoU loss：More powerful learning for bounding box regressionEB/OL.2022-05-25.https：/doi.org/10.48550/arXiv.2205.12740.表 1 消融试验结果DGConv模块CA模块BIFPN网络SPD模块SIOU损失函数全类平均精度检测速度（F/s）参数量每秒浮点数运算次数FLOPs0.894107.57077550160.82988.5441460610.40.894105.3592536615.10.901105.3714308616.20.90199763460619.60.911108.77077550160.84290.937632869.90.88190.1382882210.10.91186.24320342120.91588.5432034212表 2 不同模型的试验结果模型全类平均精度检测速度（F/s）参数量每秒浮点数运算次数FLOPs YOLOv3-tiny0.86142.9872213213.0YOLOv5s0.894107.5707755016YOLOv7-tiny0.87860607993213.4改进的YOLOv5s0.91588.5432034212