基于YOLOv5s 6.0的飞机遥感图像分类研究.pdf

第 22 卷 第 2 期2023 年 6 月宁 夏 工 程 技 术Vol.22 No.2Ningxia Engineering TechnologyJun.2023基于 YOLOv5s 6.0 的飞机遥感图像分类研究顾旭璐1，郭中华1，2*，闫梓旭3，陈旺1，龚轩1，王正4（1.宁夏大学 电子与电气工程学院，宁夏 银川750021；2.宁夏沙漠信息智能感知重点实验室，宁夏 银川750021；3.宁夏计量质量检验检测研究院，宁夏 银川750001；4.国华宁夏新能源有限公司，宁夏 银川750000）摘 要：为了实现光学遥感图像中飞机目标的快速分类，提出了以 YOLOv5s 6.0 为基础的网络模型算法。该算法采用自适应锚框计算得到适用于实验中自建数据集的锚框；使用 Mosaic 数据增强方法增强了数据集的丰富度；使用 SPPF 模块提高了计算速度；在 Backbone 部分引入了注意力机制模块 CBAM，在 Neck 部分引入了加权双向特征金字塔网络 BiFPN，以便于将高层次与低层次的特征融合，同时保留了原始特征信息，提高了算法的检测分类能力。最后，根据飞机外型特征点，在自建的 3 种分类数据集上进行了训练。结果表明：平均检测精度的均值达到60.3%，较改进前的算法模型提高了 2.9%；该算法可以实现在一张遥感图像上对飞机目标进行快速定位与分类。关键词：飞机遥感图像分类；YOLOv5s 6.0；BiFPN中图分类号：TP751.1 文献标志码：A在飞机目标检测与分类系统中，使用卫星遥感图像能够快速识别出飞机的位置、型号和数量，其对于开展工程与雷达航空领域的研究具有重要意义。此外，近年来随着计算机运算能力的不断提升，深度学习也被广泛应用于目标检测过程中。该过程不需要建立精确的数学模型，其类似于人类大脑神经的视觉感知系统，由神经网络的输入端提供需要学习的信息，输出端则给出对应的结果，并且用神经网络训练出一套内部的学习机制，最终给出预测结果。在目标检测领域中，YOLO 系列算法因准确性高、实时性强，在众多同类算法中脱颖而出1，其代表算法主要有 YOLO，YOLOv2，YOLOv3，YOLOv4，YOLOv52-4。相较于前期的目标检测算法，YOLOv4与 YOLOv5 在检测精度与检测速度上有了很大的提升。当前，遥感飞机图像数据集匮乏，复杂背景下的小目标检测存在许多困难。为进一步读取光学遥感图像中小目标的位置与空间信息，提升网络的检测精度，本文以 YOLOv5s 6.0 为基础进行了相关研究。1数据集处理目前，行业内缺少光学遥感图像的飞机机型分类数据集，因此限制了飞机机型的识别与应用研究。本文根据已公开的遥感数据集，提取了目标物为遥感飞机的图像，采用高分一号（GF-1）和高分六号（GF-6）卫星作为数据获取源，处理并得到了北京市机场地区含有目标物的遥感图像。1.1机型分类本文借鉴陆保国等5提出的机型分类法，根据遥感飞机图像中飞机机翼和螺旋桨等特征点，将飞机机型分为 3 类，即机型、机型和机型。机型分类图如图 1 所示。由图 1 可知，该机型的飞机其发动机位于机身两侧尾翼处，机翼形状呈现向后的趋势。机型分类图如图 2 所示。由图 2 可知，该机型的飞机采用机翼下吊型发动机，机翼形状也呈现向后的趋势。机型分类图如图 3 所示。由图 3可知，该机型的飞机其机翼为平直翼，发动机位于机翼下。1.2图像处理与标注首先，本文对公开数据集 NWPU-RESISC 45 中的光学遥感图像和卫星采集到的遥感图像进行了处理，从中选取 1 000 张遥感飞机图像，并将图像尺寸归一化为 256256 pt。然后，本文利用 Labelme 数文章编号：1671-7244（2023）02-0187-06收稿日期：2022-07-14基金项目：宁夏自然科学基金项目（2020AAC03026）作者简介：顾旭璐（1998），女，硕士研究生，主要从事模式识别与图像处理研究（）。*通信作者：郭中华（1973），男，教授，博士，主要从事图像处理与机器视觉研究（）。宁 夏 工 程 技 术第 22 卷据标注工具对归一化后的遥感飞机图像进行手动标注，标注前后的图像如图 4 所示。由于标注后的文件为 json 格式，需要将其转换为 YOLOv5 模型训练所要求的 txt 格式。最后，本文将格式转换后的标注文件按照 7 3 的比例生成训练集（700 张）和测试集（300 张）；按照飞机的形状特点，将遥感飞机分为型、型和型。按上述步骤，项目组手动标注了1 770 个目标物，采用 1 000 张格式为 PASCAL VOC的光学遥感图像改进了网络训练，完成了自建数据集。数据集包含 1 000 张遥感图像与标签文件，1 张遥感图像中又包含多个飞机目标。2YOLOv5框架YOLOv5 是最新提出的目标检测算法，目前该算法只公开了源代码。根据网络结构的深度和宽度，YOLOv5 分成了 YOLOv5n，YOLOv5s，YOLOv5l，YOLOv5m，YOLOv5x 共 5 个不同体量的版本。其中，YOLOv5n 是 YOLOv5 系列中网络深度和宽度最小的版本，其他 4 个版本在此基础上不断加深了网络深度和宽度。此外，YOLOv5s 版本的网络参数少，速度快，但精确度最低，主要用来研究大目标物，其能够在较短的时间内检测到目标物，因此，本文以YOLOv5s 6.0 版本为基础来进行相关的改进研究。YOLOv5s 的网络结构主要分为输入端、Backbone、Neck、Head、输出端 5 个部分。最新的 YOLOv5 6.0 版本其网络结构如图 5 所示。由图 5 可知：YOLOv5s 6.0 引入了 SPPF 模块并将其放在主干的最后一层，以此保证在同样的准确率条件下减少计算量，提升运算速度；Backbone 部分主要用于特征提取，也属于网络的主干部分；Neck 部分主要用于融合提取到的特征，并把这些特征传递给预测层；Head 部分主要用于预测最终的输出类别。图1机型分类图 图2机型分类图图3机型分类图 a标注前 b标注后图4标注前后的遥感飞机图像188第 2 期顾旭璐等：基于YOLOV5s 6.0的飞机遥感图像分类研究SPPF 与 CBS 的结构图如图 6 所示。其中 CBS模块的主要功能是对输入特征图进行卷积运算，将神经网络非线性化，从而学习和模拟其他复杂类型的数据。该模块采用了激活函数 SiLU（sigmoid-weighted linear units），计算公式为U(x)=xs(x)，（1）s(x)=11+e-x ，（2）U(x)=U(x)+s1-U(x)，（3）式中：U（x）为 SiLU 函数值；s（x）为 sigmoid 函数值。SiLU 函数具备无上界有下界、平滑、非单调的特性，其可以防止在慢速训练期间梯度逐渐接近 0。C3 模块是 CSPBottleneck 的改进版本，其主要功能是对残差特征进行学习。C3 模块主要用于Backbone 阶段，该模块是对残差特征进行学习的主要模块，其结构分为两条通道：一条分支先经过CBS，再经过 Bottleneck1 的堆叠，得到子特征图 1；另一条分支经过 CBS 后，得到子特征图 2。最后，将子特征图 1 与子特征图 2 拼接后输入 CBS，得到 C3层的输出。C3 模块的结构图如图 7 所示。C3_F 模块主要用于 Neck 阶段，其输入特征图的一条分支先经过 CBS，再经过 Bottleneck 2 的堆叠，得到子特征图 1；另一条分支经过 CBS 后，得到子特征图 2；最后，将子特征图 1 与子特征图 2 拼接后输入 CBS，得到 C3_F 层的输出（图 8）。3改进的YOLOv5结构3.1CBAM注意力机制注意力机制与人类大脑的学习过程类似。在网络学习过程中，需要从海量信息中提取关键信息，从而实现精确学习。人类在日常学习的过程中总是紧盯难以理解的内容或者重要的部分来进行快速学习。在目标检测分类算法中，注意力机制可以让算法在大量的信息中注意到有用信息，提升网络的学习能力。在本文构建的数据集中，最初的网络结构加入了 ECA 注意力机制、CA 注意力机制、SE_net 注意力机制，但训练效果并不理想，因此后续引入了CBAM6注意力模块来提高网络的学习能力。CBAM的结构图如图 9 所示。$#4$#4$#4$#4$#4$411%FUFDU$#4$PODBU$#4$#4$#4$#4$#4$PODBU$PODBU$6QTBNQMF6QTBNQMF$#4%FUFDU%FUFDU$PODBUInputBackboneNeckHead图5YOLOv5 6.0网络结构图SPPFCBSConcatMaxPool2DCBSMaxPool2DMaxPool2DCBSSiLUConv+BN+图6SPPF与CBS的结构图$#4$#4$PODBU$#4#PUUMF/FDL#PUUMF/FDL$#4$#4C3图7C3结构图BottleNeck 2CBSCBSCBSCBSConcatCBSBottleNeck 2C3_F图8C3_F结构图189宁 夏 工 程 技 术第 22 卷CBAM 包含两个独立的子模块，分别为通道注意力模块（channel attention module，CAM）和空间注意力模块（spartial attention module，SAM），两者相互结合，计算公式为MC(F)=sMLPAvgPool(F)+MLPMaxPool(F)，（4）Ms(F)=s f AvgPool(F)；MaxPool(F)，（5）式中：F表示输入特征图；F表示 SAM 的输入特征图；AvgPool表示平均池化操作；MaxPool表示最大池化操作；MLP表示全连接操作；Mc表示一维通道注意力图；Ms表示二维空间注意力图；f 表示卷积运算。CBAM 注意力机制主要用于对重要的特征信息进行增强学习，因此本文将其嵌入到网络的骨干部分，此外，在 Backbone 的最后部分还需要单独加入注意力模块。3.2BiFPN加权双向特征金字塔的特征融合本文系统设计了用于目标检测的神经网络结构，并引入 BiFPN7优化方法以提高网络运行效率。BiFPN 的结构图如图 10 所示。YOLOv5s 6.0 版本在 Neck 阶段将 FPN 和 PAN进行了结合。FPN 通过上采样和低层次特征的融合得到高层次特征图；PAN 在 FPN 的基础上又将低层次特征传送至高层次特征进行融合，得到低层次特征图8。高层次特征图携带较强的语义特征，但定位信息较弱；而低层次特征图携带较强的位置信息和较弱的语义特征。BiFPN特征融合的计算公式为P6td=Conv(w1P6in+w2Resize()P7inw1+w2+)，（6）P6out=Conv(w1P6in+w2P6td+w3Resize()P 5outw1+w2+w3+)，（7）式中：P6td为第 6 层的中间特性；P5out，P6out分别为第5 层和第 6 层的输出特性；P6in，P7in分别为第 6 层和第 7 层的输入特性；Conv 为卷积函数；w1，w2，w3均为可学习权重参数，分别控制横向特征融合、纵向特征融合、跨层连接融合；Resize 为图像缩放函数；为各个特征图的贡献比例。FPN 可以增强多个尺度的语义表达，PAN 可以增强多个尺度的定位能力，但 FPN 和 PAN 的组合缺少原始的特征信息，导致网络的训练学习出现偏差，从而影响了检测的准确率。因此，本文基于建立的数据集引入了加权双向特征金字塔网络 BiFPN，该网络可以实现高效的双向跨尺度连接，也可以进行加权特征图的融合9。BiFPN 能够根据各个输入特征的重要性来设置大小不同的学习权重，同时将此结构反复使用以加强特征融合。3.3改进后的YOLOv5s 6.0版本实验证明：将 3 种注意力机制 ECA，CA，SE_net加入网络后，取得的训练结果不太理想；引入 CBAM注意力机制后，网络的训练效果有所提升。本文在此基础上又引入了 BiFPN，得到最终改进的 YOLOv5s 6.0 算法，其网络结构如图 11 所示。4结果与分析4.1实验环境本实验选用 Windows 10，64 位操作系统；CPU为 Inter Corei 9-9900 K，3.60 GHz；GPU 为 NVIDIA GTX2080Ti4 加速；编译环境为 torchvision 0.12.0，cuda11.5；编程语言为 Python 3.8.13。实验在 1.11.0版本的 PyTorch 框架下进行。4.2实验结果与对比分析本文评估了改进模型算法后的自建数据集，其分配情况如表 1 所示。本文采用目标检测领域通用的多尺度特征值 P（precision）、召回率 R（recall）、多个类别的平均精度均值 mAP（mean average precision）作为本次改进算法的评价标准。计算公式为P=TPTP+FP，（8）E(FF#0L#0#E(图9CBAM结构图P3P4P5P6P7P3P4P5P6P7P3P4P5P6P7FPNPANetBiFPN图10BiFPN结构图表1数据集分配表类别型飞机型飞机型飞机图像数/幅1 061379330像素/pt256256256256256256190第 2 期顾旭璐等：基于YOLOV5s 6.0的飞机遥感图像分类研究R=TpTp+Fn，（9）PmAP=i=1nPain，（10）式中：Tp为正确检测的目标数量；Fp为错误检测的目标数量；Fn为未被检测出的目标数量；PmAP为mAP 值；n为标记的类别；Pai为第i类目标的平均精确度。基于改进 YOLOv5s 6.0 算法得到的模型训练效果图如图 12 所示。本文设定了 6 组实验并将其与未改进的 YOLOv5s 6.0 算法模型进行了对照，实验结果如表 2 所示。由表 2 可知，基于 YOLOv5s 6.0 的改进算法其实时检测精度与分类精度均有所提升。虽然改进后的算法模型其体积以及计算量都有所增加，但均在可接受范围内。加入 SE_net 注意力机制后，精确度下降最多。加入 CBAM 注意力机制后，模型训练的精确度提升最多。基于此，引入 BiFPN 加权双向特征金字塔特征融合模块后，最终得到的模型检测效果要优于未改进的 YOLOv5s 6.0 算法模型，3 个类别平均检测精度的均值提升了 2.9%，有效提高了基准网络的检测性能。5结论（1）通过实验可知，改进的 YOLOv5s 6.0 算法模型在自建遥感飞机数据集上的平均检测精度的均值提高了 2.9%，从而表明了其在分类检测任务上的有效性。本文建立的遥感飞机分类的数据集进一步验证了实验效果。（2）本文提出的遥感飞机数据集并不平衡，3 种分类的飞机目标数量存在差异，导致模型训练的平均精度总体较低。后续研究可以继续细化、扩充飞机的分类，并且要向更高精度、更小内存、快检测的方向发展。参考文献：1 REDMON J，DIVVALA S，GIRSHICK R，et al.You only look once：Unified，real-time object detectionC/2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：IEEE，2016：779-788.2 REDMON J，FARHADI A.YOLO9000：Better，faster，strongerC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：6517-6525.3 REDMON J，FARHADI A.YOLOv3：An incremental improvementEB/OL.2018-04-08.https：/arxiv.org/abs/1804.02767.4 BOCHKOVSKIY A，WANG C Y，LIAO H Y M.YOLOv4：Optimal speed and accuracy of object detectionEB/OL.2020-04-23.https：/arxiv.org/abs/2004.10934.5 陆保国，梁博，马焕芳.光学遥感影像飞机目标识别与分类方法J.指挥信息系统与技术，2020，11（5）：78-82，88.6 WOO S，PARK J，LEE J Y，et al.CBAM：Convolutional block attention moduleC/European Conference on Computer Vision.Cham：Springer，2018：3-19.7 TAN M X，PANG R M，LE Q V.EfficientDet：Scalable and efficient object detectionC/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Seattle：IEEE，2020：10778-10787.图12改进后的算法效果图表2不同算法模型的性能对比算法模型YOLOv5s 6.0+SE_net+CBAM+CA+ECA+BiFPN+BiFPN+CBAM体积/MB14.514.814.914.914.814.814.9R/%54.452.057.257.656.055.161.3PmAP/%57.453.158.055.054.758.760.3P/%59.953.561.255.857.456.859.2注：体积为模型权重所占内存。CBSCBSC3CBSC3CBSC3CBSC3SPPFDetect0CBSConcatConcatC3CBSCBSCBSCBSCBSConcatConcatC3C3C3UpsampleUpsampleCBSDetect1Detect2CBAMInputBackboneNeckHead图11改进后的算法结构图191宁 夏 工 程 技 术第 22 卷8 LIN T Y，DOLLR P，GIRSHICK R，et al.Feature pyramid networks for object detectionC/2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE，2017：936-944.9 LIU S，QI L，QIN H F，et al.Path aggregation network for instance segmentationC/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：8759-8768.Research on Aircraft Remote Sensing Image ClassificationBased on YOLOv5s 6.0GU Xulu1，GUO Zhonghua1，2*，YAN Zixu3，CHEN Wang1，GONG Xuan1，WANG Zheng4（1.School of Electronic and Electrical，Ningxia University，Yinchuan 750021，China；2.Ningxia Key Laboratory of Desert Information Intelligence Perception，Yinchuan 750021，China；3.Ningxia Institute of Metrology，Quality Inspection and Testing，Yinchuan 750001，China；4.Guohua Ningxia New Energy Co.，Ltd.，Yinchuan 750000，China）Abstract：In order to achieve rapid positioning and classification of aircraft targets in optical remote sensing，a network model algorithm based on YOLOv5s 6.0 was proposed.It used adaptive anchor frame calculation to obtain the anchor frame suitable for the self-built datasets in experiments，Mosaic data method to enhance the richness of datasets，and SPPF to improve the calculation speed.In addition，it introduced the attention mechanism module CBAM into the Backbone part，and the weighted bi-directional feature pyramid network BiFPN into the Neck section，which combined the high-level and low-level features，retained the information of the original features，and improved the detection and classification ability of the algorithm.The training was conducted on three self-built classification datasets based on the aircraft appearance feature points.The results show that the average detection accuracy reaches 60.3%，which is 2.9%better than the original algorithm model.The algorithm can effectively improve the rapid positioning and classification of aircraft targets on a remote sensing image.Keywords：classification of aircraft remote sensing images；YOLOv5s 6.0；BiFPN（责任编辑 丁莉君）（上接第 186 页）Research on Express Service Outlets Location Based on K-means Clustering Algorithm Improved by Particle Swarm OptimizationNI Mengmeng，LI Chunshu*，LIU Yin（School of Electronic and Electrial Engineering，Ningxia University，Yinchuan 750021，China）Abstract:For large-scale customer groups，how to efficiently and reasonably plan a network location and improve the turnover rate and timely delivery rate of goods on the premise of saving the distribution cost of logistics enterprises is the difficulty in the network optimization of express logistics system.The K-means clustering algorithm improved by particle swarm optimization was used to locate the express outlets based on customers information of a regional logistics company.Firstly，the Elbow method was adopted to evaluate the optimal number of express outlets to be set up in the study area.Secondly，the particle swarm optimization algorithm was used to iteratively optimize to redetermine the initial cluster center，in order to avoid the problem of falling into the local optimal solution caused by the initial cluster center of K-means.Finally，the K-means clustering algorithm was used to complete the clustering task in the space near the global optimal solution.The final clustering result represented the division scheme of the distribution area，and the cluster center was the location of the express outlets.In addition，three evaluation indexes were used to make a comparative analysis of the particle swarm optimized K-means clustering algorithm and the traditional one.The results show that the clustering results combined with the particle swarm optimization algorithm have higher similarity of intra-class data，greater difference and distance of inter-class data，and more reasonable clustering effect.Keywords:particle swarm optimization；K-means clustering；express service outlets；cluster center（责任编辑丁莉君）192