基于改进YOLOv4的储粮害虫检测算法.pdf

2023 年第 6 期计算机与数字工程收稿日期：2022年12月12日，修回日期：2023年1月20日基金项目：国家重点研发计划（编号：2017YFC1600804）；国家自然科学基金项目（编号：61902156）；江苏省自然科学基金项目（编号：BK20180860）资助。作者简介：孙妍，女，硕士研究生，研究方向：深度学习与目标检测。宋雪桦，女，教授，研究方向：信号处理、人工智能。陈静，女，硕士研究生，研究方向：深度学习与图像处理。蒋思玮，女，硕士研究生，研究方向：机器学习。1引言民以食为天，在粮食存储过程中，常因虫害造成严重的损失1，我国储粮中农户的储粮损失为6%9%，国家粮库的粮食损失为0.2%2。粮食是食品加工的重要原料，储粮害虫也造成了巨大的经济损失。为了防止储粮害虫，粮库每年都会对储粮进行多次以磷化氢为主的化学药剂熏蒸3，但是过多的熏蒸会不仅会污染环境，还会导致害虫的抗药性增加 4，因此对储粮害虫进行精准检测非常重要。早期，工作人员主要采用取样筛选的检查方法5。该方法是通过采样装置获取粮仓不同位置的粮食，然后由人工对样本中的害虫进行定性和定量。这种方法具有较高的识别准确性且不受环境影响，但是费时费力、效率低、时效性差。随后，基于声信号的储粮害虫检测技术6出现，该方法通过采集害虫成虫活动时发出的声信号，将其转化为电信号，分析得出储粮害虫行为的脉冲信号。由于环境噪声的影响，该方法存在一定的技术难点，即区分多重储粮害虫声信号。随着光学技术的发展，出现基于基于改进 YOLOv4 的储粮害虫检测算法孙妍宋雪桦陈静蒋思玮（江苏大学计算机科学与通信工程学院镇江212013）摘要针对储粮害虫检测中害虫目标较小，且存在重叠和遮挡现象，检测难度大的问题，提出了基于改进YOLOv4的储粮害虫检测算法。首先，该算法以多尺度检测的YOLOv4为基础算法，满足了小目标检测的要求；其次，引入K-means算法，对储粮害虫数据集聚类分析，调整先验框大小，加强对储粮害虫目标的检测能力；最后，在YOLOv4主干网络中加入空间金字塔池化结构，增加感受野，增加网络的特征提取能力。实验结果表明，在储粮害虫检测中，论文提出的算法的平均精度均值达到93.99%，与未改进的YOLOv4算法相比提高了4.49%，且检测速度达到了26.36帧/s。与YOLOv3相比，改善了储粮害虫的漏检情况。关键词储粮害虫；YOLOv4；K-means；空间金字塔池化中图分类号TP301.6DOI：10.3969/j.issn.1672-9722.2023.06.001Stored Grain Pest Detection Algorithm Based on Improved YOLOv4SUN YanSONG XuehuaCHEN JingJIANG Siwei（School of Computer Science and Communication Engineering，Jiangsu University，Zhenjiang212013）AbstractIn order to solve the problems of small pest targets，overlapping and shielding，and difficult detection in the detection of stored grain pests，a stored grain pest detection algorithm based on improved YOLOv4 is proposed.Firstly，the algorithm isbased on the multi-scale detection of YOLOv4，which meets the requirements of small target detection.Secondly，the K-means algorithm is introduced to cluster the stored grain pest data set，and the size of the prior box is adjusted to enhance the detection ability of stored grain pest targets.Finally，the spatial pyramid pooling structure is added to the backbone network of YOLOv4 to increase the receptive field，enhance the network feature extraction ability.The experimental results show that in the detection ofstored-grain pests，the mean average accuracy of the proposed algorithm reaches 93.99%，which is 4.49%higher than the unimproved YOLOv4 algorithm，and the detection speed reaches 26.36 frames per second.Compared with YOLOv3，the missed detection effect of stored grain pests is improved.Key Wordsstored grain pest，YOLOv4，K-means，SPPClass NumberTP301.6总第 404期2023 年第 6 期计算机与数字工程Computer&Digital EngineeringVol.51No.61217第 51 卷光学原理的储粮害虫检测技术，主流技术分别是基于软X射线检测法7和基于近红外光谱检测法8。前者利用X射线成像技术，对比害虫产生前后储粮密度成像的变化。后者利用近红外谱，分析害虫产生前后粮食内的成分变化。基于光学原理的储粮害虫检测技术可以提高检测的效率和实时性，但是由于光学设备仪器成本较高，且部署困难，不利于该技术的应用推广。近年来，基于深度学习的目标检测算法取得了很大的突破，主要分为两大类。一是基于区域推荐的目标检测算法。首先利用区域目标生成候选目标，然后利用卷积神经网络进行处理，该类算法也称双阶段目标检测算法。代表算法有 RCNN9、Fast RCNN10等。另一种是基于回归方法的目标检测算法，将检测问题视为回归问题，直接预测目标的类别和位置，也称单阶段目标检测算法，是一种端到端的目标检测算法，因此具有更快的检测速度。代表算法有SSD11、YOLO系列算法1215等。为了提高目标检测算法对储粮害虫目标检测的精度和速度，本文以端到端的目标检测算法YOLOv4 为基础，与 YOLOv3 相比，YOLOv4 对小目标以及有遮挡和重叠的物体有更好的检测性能。由于储粮害虫检测的主要难点是害虫的目标较小，且存在重叠和遮挡的现象，YOLOv4比YOLOv3更适合作为储粮害虫的检测算法。本文提出了一种改进 YOLOv4 的 储 粮 害 虫 检 测 算 法。首 先 引 入K-means聚类算法，对害虫图像聚类分析，选取更合适的先验框，以提高检测的精度和速度。同时对YOLOv4的主干网络进行改进，在三个不同尺度大小的检测头前，加入空间金字塔池化（Spatial Pyramid Pooling，SPP16）结构。最后将储粮害虫作为实验对象，并与其他算法进行比较，结果表明，改进后的YOLOv4算法，在储粮害虫检测中有较好的检测精度和速度。2YOLOv4算法模型用于储粮害虫检测的 YOLOv4算法是一种基于深度学习的回归算法，在降低目标检测训练硬件成本的同时，提高了检测的精度和速度。YOLOv4模型结构由CSPDarknet53、路径聚合网络（Path Aggregation Network，PANet17）和三个YOLO检测头组成，如图 1 所示。作为 YOLOv4 的主干网络，CSPDarknet53网络由Darknet53和CSPNet18构成，通过5个 CSP Residual Block模块提取输入害虫图像的深层特征，改善了梯度消失的问题。该网络包含72个卷积层，卷积大小分别为11和33，每个卷积层连接一个批归一化层（Batch Normalization，BN）和一个Mish激活函数。图1YOLOv4模型结构孙妍等：基于改进YOLOv4的储粮害虫检测算法12182023 年第 6 期计算机与数字工程此外，YOLOv4中其余的激活函数都采用需要较少计算量的Leaky relu激活函数。Mish函数为ymish=xtanh(ln(1+ex)（1）Leaky relu函数为yleaky relu=xif x0 xif x0（2）其中是（0，1）区间内的固定参数。PANet采用自顶向下和自底向上的方法聚集储粮害虫的特征，结合低层和高层的特征语义信息和目标位置信息，三个YOLO检测头通过对多尺度融合特征图进行独立检测，有效提高了对不同大小目标的检测效果。YOLOv4 算法中使用的损失函数由三个部分组成：置信度损失函数Lconf、分类损失函数Lcla、定位偏移损失函数Lloc，如式（3）所示，其中为平衡系数。Loss=1Lconf+2Lcla+3Lloc（3）Lconf=-(Objiln(pi)+(Obji)ln(1-pi)（4）Lcla=-iboxjclass(Oijln(pij)+(1-Oij)ln(1-pij)（5）Lloc=1-IOU(AB)+d2AB(ActrBctr)l2+（6）在式（4）中Obji表示预测框i中是否由对象，结果为0或1。pi表示预测框中存在一个真实物体的概率。式（5）中，Oij和pij分别表示预测框i中是否存在对象j，以及存在的概率。YOLOv4采用的 CIOU19算法计算定位偏移损失，如式（6）所示，计算长宽比以及预测框A和真实框B中心点的欧几里得距离(ActrBctr)。3基于YOLOv4的储粮害虫检测3.1先验框聚类算法本文的研究对象是储粮害虫，通过聚类算法找到合适的先验框，有助于提升储粮害虫检测的精度。K-means算法是解决聚类问题的无监督学习算法之一，该算法遵循的是一种简单且容易的方式，通过预先固定的一定数量的群集（假设K个群集）来对给定数据集进行分类。其主要思想是定义K个聚类中心，每个集群一个聚类中心，根据每个对象到中心的距离不同聚类，然后分配到最近的群集中。然后重新计算每个群集的平均值，直到聚类中心不在发生改变，该算法的最终目标是最小化一个目标函数。通常K-means算法的距离度量是用的是欧几里得距离，其定义如式（7）所示：i=1d(xi-yi)2（7）其中xi和yi是d维欧几里得空间中的两个点。目标函数则使用误差平方和函数，其定义如式（8）所示：J=j=1ki=1n(xi(j)-cj)2（8）其中，J是所有对象数据集的误差平方和，(xi(j)-cj)2是对象点xi(j)和聚类中心cj之间的距离度量。在YOLOv4算法中，针对3种不同尺度的特征图输出训练与检测，借鉴了9个先验框，以便获取不同尺度大小的目标信息，先验框的大小分别为（12，16）、（19，36）、（40，28）、（36，75）、（76，55）、（72，146）、（142，110），（192，243）、（459，401）。针对本文的储粮害虫数据集，YOLOv4的先验框都不是适用于训练与检测储粮害虫目标，因此针对本文的数据集进行聚类分析，得到合适大小的先验框。K-means算法输入的具体步骤：输入：先验框数m和一个包含n个对象的数据集输出：聚类得到的m个适用于害虫数据集的先验框步骤：1）从n个对象中随机选择m个对象为初始聚类中心；2）重复3）至4），直到每个对象不再改变；3）根据对象与聚类中心的距离，将对象分配到相似的聚类；4）为每个聚类重新计算聚类中心。K-means聚类流程如图2所示。图2K-means算法流程图针 对 本 文 的 害 虫 数 据 集，选 取 m=9，进 行K-means 聚类后，得到的 9 个先验框大小为（16，21）、（20，24）、（21，14）、（23，18）、（26，38）、（36，27）、（40，49）、（47，82）、（60，53）。表1展示了在储粮害虫数据集上，先验框聚类前后对检测平均精度均值（mean Average Precision，mAP）的结果对比。从表1可以看出，重新聚类后1219第 51 卷的先验框在储粮害虫检测上有明显的精度提升，mAP比原YOLOv4提高了1.9%。表1不同的先验框检测结果对比原YOLOv4K-means聚类后先验框（12，16）、（19，36）、（40，28）、（36，75）、（76，55）、（72，146）、（142，110），（192，243）、（459，401）（40，49）、（47，82）、（60，53）、（23，18）、（26，38）、（36，27）、（16，21）、（20，24）、（21，14）mAP/%89.5091.403.2基于SPP结构的YOLOv4算法在卷积神经网络中，卷积层接受任意大小图像的输入，即卷积后的输出大小也是可变的，但是全连接层需要固定大小的输入，一般使用扭曲或者裁剪满足这一需求。然而，扭曲和裁剪后的区域可能不包含所需的对象。卷积后需要考虑如何有效地利用卷积激活的空间信息，传统的聚合方法，如平均池化、最大池化不能充分利用卷积激活的空间信息。SPP模块解决了这一些问题，SPP可以接受任意大小的输入，通过使用多层空间区域划分特征图，并在子区域内池化局部特征，从而产生固定大小的输出，保证了检测对象的存在，并满足了全连接层的输入需求。SPP对卷积后特征进行聚合，获得更具有代表性、空间信息丰富的纹理特征。在针对YOLOv4有三个不同大小尺度的输出，本文网络选用SPP模块对卷积后的特征图进行池化操作，使全局上下文特征能够与多尺度特征保持一致。对于大小为mm的特征图和具有l级nn大小的金字塔，l级的输出串联是全连接层的输入。例如，如果一个3级金字塔池（11，22，33），对于给定的任何特征图的输入，全连接层的输入大小固定为（max pooling11，max pooling22，maxpooling33），如图3所示。本文的SPP模块，采用11，55，99，1313最大池化四种量表。原 YOLOv4的 54层、85层、107层的输出都是作为多尺度检测模块的输入，在三个不同尺度的输入前加入SPP模块，增加视觉感受野，从而提高网络的特征提取能力，得到更多的目标信息，进而提高储粮害虫目标的检测精度，如图4所示。4实验与结果分析4.1数据集和实验环境本文使用的数据来源于拍摄人工饲养的储粮害虫制作的数据集，主要研究对象为储粮中高爆发的五类害虫，分别是锈赤扁谷盗（Cryptolestes ferrugineus，Cf）、锯谷盗（Oryzaephilus surinamensis，Os）、谷蠹（Rhizopertha dominica，Rd）、米象（Sitophilusoryzae，So）和赤拟谷盗（Tribolium castaneum，Tc）20。拍摄的害虫图像，经筛选标记后，共选出1425张害虫图片，共分为两个部分，其中1324张图片作为训练集，91张图片作为测试集。在训练过程中按9 1的比例划分训练集与验证集进行训练交叉验证。图3SPP硬件配置：CPU 型号是 Intel（R）Core（TM）i7-9700K，频率为3.6Hz，内存为16GB；GPU型号是NVDIA GeForce RTX 2070。软 件 环 境：tensorflow-gpu1.13.2，CUDA10.0，CUDNN7.4.1.5。4.2评价指标储粮害虫目标检测算法，采用平均精度（Average Precision，AP）、平均精度均值（mean AveragePrecision，mAP）和检测速度（Frames Per Second，FPS）作为算法模型的评价指标。mAP首先计算每个类别的AP，AP是指该类别的准确率P（Precision）和召回率R（Recall）之和，再对所有类别的平均精度求均值得到，计算公式如式（12）所示。P=TPTP+FP100%（9）R=TPTP+FN100%（10）APs=1NsrsRsp(rs)（11）mAP=1NAPs（12）以害虫检测为例，其中TP（True Positive）为测试数据集中害虫被正确检测的个数，FP（FalsePositive）为测试数据集中非害虫被检测为害虫的个数，FN（False Negative）为测试数据集中真正的害虫被检错的个数，s是害虫类别数。孙妍等：基于改进YOLOv4的储粮害虫检测算法12202023 年第 6 期计算机与数字工程4.3实验结果分析选取五类害虫图片，分别使用原始YOLOv4算法和改进后的YOLOv4算法进行储粮害虫检测，并加入YOLOv3算法的检测，图5展示了三种算法模型的检测结果。相较于YOLOv3算法，YOLOv4算法对储粮害虫有较好的检测结果，例如米象（So），YOLOv3算法检测存在漏检的现象，YOLOv4算法有效的检测出了所有的害虫。改进后的 YOLOv4算法，相较于原始的YOLOv4算法检测，有更高的检测精度。图4基于改进YOLOv4的算法模型（a）YOLOv3（b）YOLOv4（c）改进后的YOLOv4图5三种算法检测结果1221第 51 卷为了进一步验证本文改进的算法有效的提高了储粮害虫检测的准确率，采用mAP指标对改进后的YOLOv4算法进行评估。图6展示了YOLOv4算法改进前后在储粮害虫上检测的AP对比结果，原始的YOLOv4算法的AP值在75%99%之间，改进后的YOLOv4的AP值在85%99%之间，虽然不是每类害虫的AP值都高于原始的YOLOv4网络，但是改进后的算法对五类害虫的检测性能整体优于原始算法。100.0095.0090.0085.0080.0075.0070.00AP/%CFOSRDSOTC害虫类别YOLOv4改进后的YOLOv4图6储粮害虫AP的检测结果表2展示了改进前后的YOLOv4算法在害虫检测上的mAP对比实验结果，相较于原YOLOv4算法相比，改进后的 YOLOv4储粮害虫检测算法，mAP从89.50%提升至93.99%，说明该算法整体上提升了精测精度，再如锈赤扁谷盗（Cf），原 YOLOv4算法检测AP为76.51%，改进后的YOLOv4算法AP提升到了89.56%。表2改进后的YOLOv4与原YOLOv4算法检测效果对比类别CfOsRdSoTcmAP/%AP/%YOLOv476.5193.0799.8788.9189.1489.50改进后的YOLOv489.5687.9698.7294.5699.1393.99将本文改进的 YOLOv4 算法与 YOLOv3、YOLOv4两种经典的多尺度目标检测算法对mAP、FPS值进行对比，结果如表 3所示。与 YOLOv3相比，YOLOv4的主干网络采用CSPnet结合YOLOv3的主干网络 Darknet53 构成 CSPDarknet53，提高了算法的检测精度。为了进一步改善储粮害虫检测精度，在网络的三个不同尺度的检测前加入SPP模块，通过不同的最大池化层，在不增加计算开销的情况下有效地增加了储粮害虫图像的深层感受野，获得更加丰富的储粮害虫纹理特征，并且几乎不会降低网络检测的速度。相较于YOLOv4，本文改进的YOLOv4算法在储粮害虫检测中，mAP提高了4.49%。同时，检测速度超过了原始YOLOv4算法，每秒达到26.36帧。表3三种方法性能比较方法YOLOv3YOLOv4改进后的YOLOv4mAP/%83.7989.5093.99FPS34.0622.4826.365结语本文针对储粮害虫的检测，提出了基于改进YOLOv4 的 粮 仓 害 虫 检 测 算 法。该 算 法 使 用K-means 算法，调整训练检测使用的先验框的大小，在模型中加入SPP结构，增加模型感受野，得到了一种适合储粮害虫检测的算法模型。实验结果表明，相较于原YOLOv4算法，本文提出的改进的YOLOv4 算法，在储粮害虫检测中 mAP 提升了4.49%，且检测速度达到了 26.36帧/s。与 YOLOv3相比，改善了储粮害虫的漏检效果。参 考 文 献1Asrar M，Ashraf N，Gogi M D，et al.Toxicity and repellence of plant oils against Tribolium castaneum（Herbst），Rhyzopertha dominica（F.）and Trogoderma granarium（E.）J.Pakistan Entomologist，2016，38（1）：55-63.2国家粮食局人事司组织编写.粮油保管员 M.北京：中国轻工业出版社，2007.Organized and compiled by the Personnel Department ofthe State Food Administration.Grain and oil custodianM.Beijing：China Light Industry Press，2007.3王洋，李长明，刘中超，等.储粮害虫绿色防治技术分析J.现代食品，2020（16）：3-5.WANG Yang，LI Changming，LIU Zhongchao，et al.Analysis on Green Control Technology of Stored GrainPestsJ.Modern Food，2020（16）：3-5.4沈驭风.基于深度学习的储粮害虫检测算法的研究D.北京：北京邮电大学，2018.SHEN Yufeng.Research on the Detection Algorithm ofStored Grain Pests Based on Deep LearningD.Beijing：Beijing University of Posts and Telecommunications，2018.5马彬，金志明，蒋旭初，等.储粮害虫在线监测技术的研究进展J.粮食储藏，2018，47（02）：32-36.MA Bin，JIN Zhiming，CAI Xuchu，et al.Research Progress on Online Monitoring Technology of Stored GrainPests J.Grain Storage，2018，47（02）：32-36.（下转第1255页）孙妍等：基于改进YOLOv4的储粮害虫检测算法12222023 年第 6 期计算机与数字工程7-12，45.GAO Xin，XU Jian，HU Jianhong.Improved Density PeakClustering for News Topic Based Word2Vec J.Computer and Digital Engineering，2020，48（1）：7-12，45.14Korn F，Muthukrishnan S.Influence Sets Based on Reverse Nearest Neighbor Queries J.ACM SIGMOD Record，2000，29（2）：201-212.15Cassisi C，Ferro A，Giugno R，et al.Enhancing density-based clustering：Parameter reduction and outlier detection J.Information Systems，2013，38（3）：317-330.16Jarvis R A，Patrick.E A.Clustering using a similaritymeasure based on shared near neighborsJ.IEEETransactions on Computers，1973，22（11）：1025-1034.17何云斌，董恒，万静，等.基于密度峰值和近邻优化的聚类算法 J.计算机科学与探索，2020，14（4）：554-565.HE Yunbin，DONG Heng，WAN Jing，et al.ClusteringAlgorithm Based on Density Peak and Neighbor OptimizationJ.Journal of Frontiers of Computer Scienceand Technology，2020，14（4）：554-565.18Ester M，Kriegel H P，Xu X.A Density-Based Algorithm for Discovering Clusters in Large Spatial Databaseswith NoiseC/International Conference on KnowledgeDiscovery and Data Mining.ACM，1996：226-231.19Frey B J，Dueck D.Clustering by passing messages between data pointsJ.Science，2007，315（5814）：972-976.20Macqueen J.Some Methods for Classification and Analysis of MultiVariate ObservationsC/Proc of BerkeleySymposium on Mathematical Statistics and Probability.1965：281-297.21VINH N，EPPS J，BAILEY J.Information TheoreticMeasures for Clusterings Comparison：Variants，Properties，Normalization and Correction for Chance C/Canada：International Conference on Machine Learning，2009：2837-2854.6贾琪.基于声音信号处理的农业虫害识别系统 D.济南：山东大学，2016.JIA Qi.Agricultural Pest Recognition System Based onSound Signal Processing D.Jinan：Shandong University，2016.7Nawrocka A，Stpie E，Grundas S，et al.Mass loss determination of wheat kernels infested by granary weevilfrom X-ray imagesJ.Journal of Stored Products Research，2012，48：19-24.8Biancolillo A，Firmani P，Bucci R，et al.Determination ofinsect infestation on stored rice by near infrared（NIR）spectroscopyJ.Microchemical Journal，2018，145：252-258.9Girshick R，Donahue J，Darrell T，et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic SegmentationC/2014 IEEE Conference on Computer Vision and Pattern Recognition，2014：580-587.10Girshick R.Fast R-CNNC/Proceedings of the 2015IEEE International Conference on Computer Vision（ICCV），2015：7-13.11Liu W，Anguelov D，Erhan D，et al.SSD：Single ShotMultiBox Detector C/European Conference on Computer Vision.Springer，2016：21-37.12Redmon J，Divvala S，Girshick R，et al.You Only LookOnce：Unified，Real-Time Object DetectionC/Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2016：27-30.13Redmon J，Farhadi A.YOLO9000：Better，Faster，Stronger C/Proceedings of the 2017 IEEE Conferenceon Computer Vision and Pattern Recognition（CVPR），F 21-26 July 2017，2017.14Redmon J，Farhadi A J a e-p.YOLOv3：An Incremental ImprovementJ.Journal of Computer and Communications，2018.15Bochkovskiy A，Wang C Y，Liao H Y M.YOLOv4：Optimal Speed and Accuracy of Object Detection J.ArXivPreprint ArXiv：2004.10934，2020.16He K，Zhang X，Ren S，et al.Spatial Pyramid Poolingin Deep Convolutional Networks for Visual RecognitionJ.IEEE Transactions on Pattern Analysis and MachineIntelligence，2015，37（9）：1904-1916.17Liu S，Qi L，Qin H，et al.Path Aggregation Network forInstance SegmentationC/Proceedings of the 2018IEEE/CVF Conference on Computer Vision and PatternRecognition，2018：18-23.18Wang C，Liao H M，Wu Y，et al.CSPNet：A New Backbone that can Enhance Learning Capability of CNN C/Proceedings of the 2020 IEEE/CVF Conference on ComputerVisionandPatternRecognitionWorkshops（CVPRW），2020：14-19.19Zheng Z，Wang P，Liu W，et al.Distance-IoU Loss：Faster and Better Learning for Bounding Box RegressionC/Proceedings of the AAAI Conference on ArtificialIntelligence，2020.20任剑豪，吴卫国，宗平，等.储粮害虫生物防治技术研究进展 J.粮油食品科技，2020，28（06）：233-237.REN Jianhao，WU Weiguo，ZONG Ping，et al.Researchprogress on biological control technology of stored-grainpestsJ.Science and Technology of Cereals，Oils andFoods，2020，28（06）：233-237.（上接第1222页）1255