农业害虫检测的深度学习算法综述_蒋心璐.pdf

Computer Engineering and Applications计算机工程与应用2023，59（6）农业害虫通过吸食作物的叶片、繁殖器官和根茎等组织，造成组织损失率攀升，影响作物产量1，同时还存在传播病害的潜在风险。害虫种类众多、繁殖能力强、为害速度快，一旦开始大量聚集，就极有可能造成大规模虫情虫害爆发。虫害辐射范围广且持续时间长，影响作物的产量和质量，给农产品的生产、加工和销售等行业带来巨大的经济损失。据全国农作物病虫害监测预报信息发布预测，重大虫害在2022年仍会呈现重发态农业害虫检测的深度学习算法综述蒋心璐1，2，3，陈天恩2，3，王聪2，3，李书琴1，张宏鸣1，赵春江1，2，31.西北农林科技大学 信息工程学院，陕西 杨凌 7121002.国家农业信息化工程技术研究中心，北京 1000973.北京市农林科学院 信息技术研究中心，北京 100097摘要：害虫检测是害虫测报的关键步骤，对于害虫防治具有重要意义，也是保证农作物产量和品质的前提。近年来，随着卷积神经网络的迅速发展，害虫检测技术进入智能化时代，使用深度学习相关技术实现精确的害虫检测已成为研究人员重点关注的课题。为了促进深度学习害虫检测技术的发展，对检测算法和现有数据集进行综述。总结了当前面临的数据匮乏、小目标检测、多尺度检测和密集与遮挡检测等四大难点问题，并分析了其主要成因。重点针对以上难点问题，总结归纳了近年来提出的深度学习害虫检测算法的改进策略和技术细节，以及面向实际场景的应用算法，对比分析了各类算法的性能表现、改进策略的适用场景及其优缺点。从面向复杂检测场景、解决数据匮乏问题、模型增量更新和应用落地等方面分析并展望了未来的研究趋势。关键词：深度学习；目标检测；害虫检测文献标志码：A中图分类号：TP391.41doi：10.3778/j.issn.1002-8331.2205-0604Survey of Deep Learning Algorithms forAgricultural Pest DetectionJIANG Xinlu1，2，3,CHEN Tian en2，3,WANG Cong2，3,LI Shuqin1,ZHANG Hongming1,ZHAO Chunjiang1，2，31.College of Information Engineering,Northwest A&F University,Yangling,Shaanxi 712100,China2.National Engineering Research Center for Information Technology in Agriculture,Beijing 100097,China3.Research Center of Information Technology,BeijingAcademy ofAgriculture and Forestry Sciences,Beijing 100097,ChinaAbstract：Pest detection is a key step in pest forecasting,which is of great significance to pest control,and is also a pre-requisite for ensuring crop yield and quality.In recent years,with the rapid development of convolutional neural net-works,pest detection technology has entered the era of intelligence,using deep learning related technologies to achieveaccurate pest detection has become a research topic that researchers attach great attention to.To facilitate the developmentof pest detection techniques in deep learning,an overview of existing detection algorithms and datasets will be presented.The four difficult problems currently faced,such as data scarcity,small target detection,multi-scale detection,and denseand occlusion detection,are summarized and the main causes are analyzed.Focusing on the above difficult problems,theimprovement strategies and technical details of the deep learning pest detection algorithms proposed in recent years aresummarized,as well as the application algorithms for practical scenarios.The performance of various algorithms,theapplicable scenarios of improvement strategies and their advantages and disadvantages are compared and analyzed.Finally,the potential development direction of pest detection is analyzed and prospected from the aspects of complex detectionscenarios,lack of data,incremental update model and application landing.Key words：deep learning;target detection;pest detection基金项目：北京市科技计划（Z191100004019007）；北京市农林科学院信息技术研究中心开放课题（KF2022W001）。作者简介：蒋心璐（1998），女，硕士研究生，研究方向为深度学习、目标检测；赵春江（1964），通信作者，男，博士，院士，博士生导师，研究方向为人工智能、智慧农业、智能农业装备和农业信息技术研究，E-mail：。收稿日期：2022-05-31修回日期：2022-10-14文章编号：1002-8331（2023）06-0030-15302023，59（6）势，预计稻飞虱、稻纵卷叶螟和贪夜蛾在全国发生面积将分别达到3.1亿、2.2亿和8 000万亩次2。只有在害虫呈小范围聚集趋势时，及时对害虫进行测报和防治，才能有效预防和抑制规模性虫害的爆发，保证农作物品质和产量。通过统计分析区域内害虫种类和虫口密度等信息判断该区域是否有爆发重大虫害的趋势，当出现特定种类或密度达到阈值时，及时预警并消杀，实现预防治理。随着科技的进步，害虫测报技术不断发展。早期害虫测报技术依赖测报人员进行田间诊断，但是田间害虫情况复杂，并且基层的测报人员数量不足、专业技术水平良莠不齐，导致人工田间诊断的实施难度高、可靠性差且效率低3。无法准确判断害虫，导致过量施用农药成为常态，不仅易使害虫产生耐药性，更是对环境造成了破坏。随着图像处理技术与机器学习的发展，研究人员将其应用到了害虫检测领域，利用机器学习和害虫图像数据对虫情进行监测，提高了害虫测报的效率，初步实现了田间诊断的智能化。在卷积神经网络（convolutionalneural network，CNN）出现后，害虫领域涌现出许多优秀的深度学习检测算法，不仅减少了技术人员对害虫形态学和防治手段等先验知识的依赖，而且进一步提升了检测精度与效率，使田间诊断智能化程度大幅提升。目前已有一些综述4-6涉及了深度学习害虫检测领域。文献4综述了病虫害分类和检测任务中CNN和图像处理方法的结合情况以及CNN微调方法的应用，并就目前难以解决的害虫遮挡问题进行了原因分析。文献5介绍了深度学习害虫分类和检测技术在大田的应用，从图像采集、预处理和建模方法等方面总结了害虫分类和检测技术，并形成了一个深度学习害虫监测的通用框架，最后提出了面临的挑战和解决方案。文献6首先定义了植物病虫害检测的概念，然后概述了基于深度学习的病虫害分类、检测和分割算法并介绍了常见的病虫害数据集，对当前面临的挑战提出了相应的解决方案，最后展望了未来趋势。上述三篇研究从多个视觉任务的角度对病虫害领域的图像处理和深度学习技术进行宏观综述。本文与前人文章的区别在于：（1）聚焦于害虫检测细分领域；（2）对害虫检测面临的难点进行剖析，总结了问题与成因；（3）总结分析了算法改进策略及其优势与不足，从不同数据类型和应用场景进行算法性能表现的对比分析；（4）介绍了面向实际应用的算法进行模型选取的实验设计思路与性能调优倾向；（5）从小样本学习和模型增量更新等新颖的角度展望未来研究趋势。1害虫检测数据集害虫种类众多，不同种类的害虫外观差异小、不同虫态的害虫外观差异大，数据采集难度较大，害虫领域数据集的数据量远远不如植物病害、人脸识别等数据采集便捷的领域。害虫数据的采集方式主要包括通过固定测报设备采集、真实田间环境采集和互联网渠道收集，几种方法优势与不足的对比情况如表1所示。不同的采集方式选用不同的拍摄设备：固定测报设备采集使用设备内置的固定相机拍摄，田间采集则根据成像要求选择手机或相机。现有害虫数据中通过吸虫灯、信息素和粘性板等捕捉陷阱收集的陷阱图像较多，真实田间环境下拍摄的田间图像相对较少。表2展示了20个害虫数据集的基本信息以及应用于数据集上最优方法的平均精度均值（mean average precision，mAP），其中公开害虫检测数据集的具体信息如下。AgriPest7包含四种作物上的14类害虫，共计49 707张图像，时间跨度达7年以上。其中，训练集44 716张图像，验证集4 991张图像。同时，定义分类了密集分布、稀疏分布、照明变化和背景杂波等4个典型场景子类数据集，单张图像可能包含多种场景。TPest8通过黄色粘性板捕获温室中的成年粉虱和蓟马，原始数据包含126张2 5601 920分辨率图像，通过网格切片得到了14 000张640480分辨率图像。数据集中存在粘性板反光情况。桉树害虫数据集9包含两种桉树害虫和一种寄生虫黄蜂，共748只害虫对象，适用于检测、计数任务。Rustia2021数据集10涉及苍蝇、蓟马和粉虱等 4种害虫，包括268张3 2802 464分辨率和722张840840分辨率的粘性陷阱图像。分类固定测报设备采集真实田间环境采集互联网渠道收集捕捉装置吸虫灯或信息素诱捕器粘性板拍摄设备固定镜头固定镜头相机、手机图像背景陷阱图像：白底，部分有网格陷阱图像：黄色或红色等纯色板田间图像：作物叶片、根部和地面等田间环境田间图像、陷阱图像和害虫知识绘图等优势采集持续高效，光源稳定，成像质量高，便于量化比较害虫尺寸无需捕捉装置，图像质量高，数据贴近田间诊断场景无需捕捉装置或拍摄设备，收集方便，速度快不足经济成本高，需要部署和定期维护设备，存在非目标害虫和碎片等干扰物，虫体易堆叠，粘性板存在反光情况拍摄难度大，耗时长；成像质量不稳定，易受环境影响；难以量化比较尺寸存在标签错误和图像模糊等情况，图像质量难以保证，需要进行数据清洗和检查表1采集方式对比Table 1Comparison of collection methods蒋心璐，等：农业害虫检测的深度学习算法综述31Computer Engineering and Applications计算机工程与应用2023，59（6）Pest2411是一个多目标检测数据集，包含24种农业害虫，共25 378张2 0951 944分辨率的自动成像设备陷阱图像。害虫相对尺寸较小，相似度高，分布密集，平均每张图像中包含2.3个类别和7.6个害虫对象。数据集中最常见类别包含53 347个害虫对象，而最不常见的仅有108个害虫对象。训练集、验证集和测试集的划分比例为5 2 3。西红柿害虫数据集12包含8种常见的西红柿害虫，原始图像共609张，互联网渠道收集。利用数据增强方法得到增强后的图像共计4 263张。GHCID13是一个蚱蜢数据集，包含3 578张分辨率为2 9763 968分辨率图像，共4 406只成年蚱蜢。数据集大部分为田间环境采集，小部分通过拍摄冷冻蚱蜢采集。IP10214包含102种害虫，共75 222张图像，存在虫卵、幼虫、蛹和成虫等4种不同虫态。数据来自互联网渠道收集的图像和视频截图，图片背景多为田间环境。对于目标检测任务，共有18 983张标注图像，训练集和测试集分别包含15 178张和3 798张图像。对于识别任务，训练、验证和测试图片数量分别为45 095张、7 508张和22 619张。RTB数据集15包含2 183张红松节油甲虫（red tur-pentine beetle，RTB）陷阱图像，平均每张图片包含1.36只RTB，标注仅区分RTB和非RTB。训练图像1 693张，验证和测试图像490张。2害虫检测现存的难点问题Ding等人26通过实验分析了影响害虫检测精度的主要因素为：数据量、害虫尺寸和害虫间的遮挡程度。这些因素衍生的数据匮乏问题、小目标检测问题、多尺度检测问题以及密集与遮挡检测问题已经成为深度学习害虫检测面临的主要难点问题。2.1高质量数据匮乏目前害虫领域中公开的害虫数据集较少，可用于害虫检测任务的检测数据十分不足。其中以IP102和Pest24数据集最为常用，但IP102数据集来源于网络渠道，数据的质量参差不齐，混杂着田间图像和害虫知识绘图，虽然总类别高达102种，总数据量也较为可观，但是存在较严重的类别不均衡，部分种类用于检测的图像数量较少。Pest24是陷阱图像数据集，数据量较大，但图像背景单一，数据缺乏多样性，相同类别之间没有很好的区分性。因此，在数据缺乏时通过数据增强技术进行数据扩充是非常有必要的，例如，文献15，18，27-31采用几何变换增强数据，文献15，27，32-34采用强度变换进行数据扩充，文献16，35使用数据生成方法，基于生成对抗网络（generative adversarial networks，GAN）利用有限数据拟合逼真数据。2.2小目标害虫检测各类任务下对小目标的定义都不尽相同，通常其定义取决于应用场景的需求。MS COCO数据集36从绝分类田间背景陷阱图像规模/10349.718.94.03.61.20.62.05.124.025.488.610.01.41.82.00.20.90.20.2年份20212019202220202020202020192016202120202018201820212020201820222021202120202016数据集AgriPest7IP10214APHID-4K16GHCID13He202017西红柿害虫数据集12蚜虫数据集18Pest ID19AgriPest2120Pest2411MPD201821飞虫数据集22TPest8LMPD202023RTB数据集15InsectCV24Rustia202110桉树害虫数据集9果蝇数据集25Ding201626适用任务小目标、密集检测常规检测小目标检测常规检测密集检测常规检测小目标、密集检测常规检测小目标检测密集、常规小目标、密集检测密集检测小目标检测小目标、密集检测常规检测密集检测常规检测常规检测小目标检测密集检测类别数量1410221381122124166226224311可否获取https：/doi.org/10.3390/s21051601https：/ 2Basic information of pest detection dataset322023，59（6）对尺寸的角度将小目标定义为尺寸小于32像素32像素的目标，是目前较通用的定义。小目标害虫检测的难点在于：（1）可提取的特征有限。小目标害虫在图像中面积占比小、分辨率较低，本身包含的特征有限。同时，小目标更易受环境噪声影响，无论是固定测报设备收集的陷阱图像还是田间环境收集的图像都存在杂物以及照明条件变化等干扰。（2）卷积丢失小目标特征。深度学习检测算法通过与包含了大量冗余信息的高分辨率图像进行卷积运算以提取其中感兴趣信息，特征图随着卷积次数增加而不断缩小，下采样率过大导致丢失大量用于小目标检测的细节信息。（3）小目标边界框定位精度要求更高。与大目标相比，小目标对预测框的偏移更敏感，容错性更低。（4）模型锚框（anchorbox）尺度设计不合理。存在两种情况：锚框尺度过大时，由于小目标本身面积小，即使小目标在锚框内，仍可能因为交并比（intersection overunion，IoU）达不到阈值，造成漏检情况，另外感受野过大，易被大量其他特征干扰；锚框预设的几个尺度过于接近时，无法保证下采样后的空间差异，导致小目标害虫被忽略。（5）样本不平衡。基于IoU的正负样本判定方法将IoU小于阈值的样本判定为负样本，导致小目标参与模型学习的正样本数量过少而在模型学习的过程中被忽视，影响其检测效果。（6）小目标带来的并发问题。小目标害虫通常有聚集性，极大可能进一步引发密集与遮挡检测问题。当小目标与其他尺度目标同时出现时，又引发出了多尺度检测问题。除了上述原因，缺乏相关小目标害虫数据也是重要因素37。当前检测算法中针对小目标检测的解决方案主要包括：（1）通过数据预处理与数据增强增加小目标样本数量，例如文献8，16，18，29-31，33-34，38-39。（2）通过改进框架16-18，31，38，40、增强特征提取能力20-21，23，30-31，34，38-39，41-43、融合特征30-31，34，39-40，43-44等方法增强小目标特征并减少小目标特征丢失情况。（3）通过改进候选区域生成网络（region proposal network，RPN）生成更高质量的小目标候选区域，例如文献16，20，44。（4）优化锚框8，15，21，23，31，34，38，43，45以保证感受野与小目标匹配，例如文献8，17-18，21，23，31，34，38，43-44。（5）通过平衡样本增加小目标正样本数量，提高模型对于小目标的学习效果，例如文献20-21，31，33-34，43-44。2.3多尺度害虫检测大型害虫与微小害虫的尺寸差异大，有的甚至可以达到30倍，例如数据集LMPD2020中最大的害虫的相对尺度为0.9%，而最小的害虫的相对尺度仅为0.03%。当检测对象尺寸差异大时，检测结果难以同时在多个尺度上都达到高精度，常出现漏检问题。因为小尺度目标在中浅层即可提取到足够的语义信息，而大尺度目标需要在更深层才能提取到足够的语义信息，但是在模型层数加深的过程中，小尺度目标的特征与位置信息可能就已经丢失了，从而导致漏检问题。解决多尺度检测的核心仍然是解决多尺度下的小目标检测问题。目前有以下解决思路：（1）通过数据增强或多尺度训练，增加尺度多样性。例如，文献28-29，46使用多尺度数据增强方法，文献28，46每迭代n次随机选择某个尺度进行训练，从而学习不同尺度下的特征。（2）增强多尺度特征提取能力或融合深层浅层特征。构建特征金字塔网络47（feature pyramid networks，FPN）是一种高效提取不同尺度特征的方法。文献34，42通过构建自适应特征融合的FPN，提取并有效地融合了害虫的多尺度特征，提升检测性能。（3）通过改进框架结构、优化锚框、样本平衡和降低下采样率等其他方法提高多尺度场景下小目标的检测准确率和召回率，例如文献34，42，46。2.4密集与遮挡检测密集与遮挡检测（以下简称密集检测）是指害虫密度过高导致目标被部分遮挡的情况，包括害虫间的遮挡以及被阴影或作物枝叶等其他干扰物遮挡等两种情况，其难点在于提高被遮挡目标的召回率。重叠情况中，导致被遮挡目标漏检的原因主要有：（1）目标不完整，可提取的特征锐减。（2）重叠的目标间通常具有高度相似的特征，模型难以判断是否属于不同个体。（3）非极大值抑制（non maximum suppression，NMS）的后处理方法直接丢弃重叠区域中得分更低的对象，易导致被遮挡目标漏检。针对害虫聚集时的检测困难问题，文献16-18构建由粗及细的网络结构，放大害虫密集区域后进行精细检测，从而提高检测精度。对于遮挡问题，有以下改进方法：（1）改进 NMS。例如，文献44-46，48使用Soft-NMS通过降低重叠区域的预测得分抑制结果，减少密集场景下害虫重叠的影响。（2）设计新的损失函数。例如，Wang等人49设计了一种排斥损失函数（repulsionloss），通过对重叠的预测添加惩罚，抑制了提案转移到目标周围的物体。（3）通过数据增强增加密集情况样本数量，例如，文献16，18，46。（4）通过增强特征提取与特征融合，例如，文献44-45。3深度学习中害虫检测算法的改进与应用本文通过“害虫检测”“pestdetection”“深度学习”和“deeplearning”等中英文关键词检索了相关领域中近五年的高水平研究工作，经过筛选后共获取了54篇论文，包含4篇综述和50篇研究型论文。研究型论文中，33篇进行了模型创新改进，17篇使用迁移学习进行了微调与应用。通过对33篇创新改进论文的研读、统计和分析，将改进策略总结归纳为9类，图1对比了各类改进策略所解决的难点问题及其论文数量。其中数据增强在解蒋心璐，等：农业害虫检测的深度学习算法综述33Computer Engineering and Applications计算机工程与应用2023，59（6）决四类问题上均有所应用，同时也是使用频率最高的改进策略；训练策略使用频率最低；RPN改进策略的应用范围最小，仅被使用在小目标检测和密集检测问题上；多尺度检测问题在4个问题中关注度最低，其主要改进策略集中在数据增强方面；小目标检测问题是当前的研究热点，其改进策略数量占总数的一半以上，数据增强、锚框优化和样本平衡是其中最受关注的3个改进策略，RPN改进和训练策略则使用较少。3.1改进策略3.1.1数据预处理与数据增强数据是影响深度学习模型优劣的重要因素，深度学习模型严重依赖于大量的高质量数据样本。提升数据质量有利于模型学习到更准确的特征表示，扩充数据量有利于模型学习到更多的特征信息。深度学习中对数据的操作包括数据预处理和数据增强两项。数据预处理是指在原始数据输入模型前，通过剔除过曝、过暗和模糊等不符合条件的图像，并将标准不一的杂乱数据调整统一，从而提高数据质量的操作，是缓解数据匮乏、小目标检测和多尺度检测问题的常用方法。数据的预处理十分关键，当数据来源复杂时，其尺寸、分辨率和对比度等指标没有做到标准统一，图像质量良莠不齐，易对模型收敛造成不良影响，因此需要通过筛选、调整尺寸、分辨率和对比度等预处理操作提高数据质量。例如，De Cesaro等人24应用高斯模糊滤波器去除图像噪声，并使用霍夫圆算法消除无关区域；Shen等人39通过降低原始图像分辨率，获得统一尺寸的输入图像；文献8，18，29缩放、裁剪图像以调整目标尺寸；Chodey等人32通过调整大小整合常规图像数据和视频帧数据，并使用贝叶斯算法去除图像噪声；Ding 等人26使用颜色校正消除光照变化的影响。数据增强是一种扩充数据的手段，按照某种规则，利用已有的数据生成更多数据，从而增加有限数据的数据量和数据多样性。数据增强是最常用的改进策略，可以有效缓解数据匮乏、小目标检测等难点问题，目前对于数据增强方法的研究有文献50。常见的方法包括平移、旋转和调整大小等几何变换15，18，27-30、改变色调、增加噪声和调节亮度等强度变换15，27，32，39以及基于GAN的数据生成方法16，35。例如，Shen等人39随机调整图像的亮度、饱和度和对比度；李欣38调整了图像亮度并添加高斯噪声；Zha等人31使用随机裁剪进行数据扩充；Li等人28使用多尺度数据增强和旋转数据增强，使4种害虫的mAP分别比使用DAG-CNN51、HR52和GAN53等3种方法提升了 12.44%、7.93%和 4.72%；Rios 等人35使用DCGAN54、WGAN55和VAE56模型生成害虫图像，显著提高检测性能；Du等人16使用复合聚集数据生成方法（composited cluster data generation，CCG）扩充训练数据，使mAP比其基线模型提升了1.9%。CCG方法包括生成逼真图像的方法（CCG-R）和生成完全虚假图像的方法（CCG-F），设计思路与复制粘贴数据增强法57类似。CCG-R方法从目标数据集中随机分割出若干真实对象，在大量不含对象的作物图像上进行随机粘贴。CCG-F方法则不依赖任何数据集，以椭圆斑点代替检测对象粘贴在纯色背景上，并将其标注为新类别“假”。综上所述，数据预处理通过清洗和调整数据，使数据规范化，提高数据的质量，数据增强可以有效扩充数据，提高数据多样性，降低模型对特定因素的依赖，提高模型鲁棒性。但是预处理需要考虑各项属性之间的平衡，比如裁剪图像以调整检测目标尺寸时需平衡图像尺寸和分辨率，由于输入模型前会将图像尺寸调整到统一大小，若裁剪过多将导致统一尺寸后图像的分辨率损失过大，裁剪不足则无法达到放大目标尺寸的预期。过度依赖数据增强也易造成过拟合，同时有可能给数据集带来新的噪声。3.1.2框架结构改进框架结构改进是指根据使用场景设计新颖的网络结构，或将经典模型和能与之互补的网络结构进行结合改进。针对小目标设计和改进框架结构，可以提高小目标检测、多尺度检测和密集检测的检测效果。用于害虫检测的深度学习模型可以分为两阶段检测算法和单阶段检测算法。两阶段害虫检测算法基于候选区域，通常包含骨干网络、候选区域生成网络、池化层和分类器。单阶段害虫检测算法将检测任务定义为类别置信度和边框位置的回归问题，由于没有两阶段算法的生成候选区域阶段，极大提高了检测速度。本小节将从两阶段和单阶段两方面对改进的框架结构进行探讨、分析。（1）两阶段检测算法构建“由粗及细”的级联检测网络结构，提高小目标检测或密集检测精度。当图像背景包含大面积无关区域，或当微小害虫聚集时，检测对象过小，极大地提高了检测难度。这种情况常用由粗及细的级联检测模型将检测分解成两步，首先初步检测得到目标所在的粗略区051015202530篇数数据预处理数据增强框架结构改进特征提取特征融合RPN改进锚框优化样本平衡训练策略53%17%14%16%小目标检测问题密集与遮挡检测问题多尺度检测问题数据问题图1不同难点问题下改进策略的使用数量统计情况Fig.1Quantitative statistics of using improvementstrategies for different difficult problems342023，59（6）域，然后在粗略区域中进行精细检测，最终得到单个目标的准确定位。例如，He等人17首先粗略检测，得到了水稻根部区域图像，再对根部区域中的稻飞虱进行精细检测。同样，模型CFN18先使用两阶段模型初步定位蚜虫密集区域，再使用单阶段YOLOv358模型进行蚜虫个体的精细检测。Jiao等人42将粗略检测器的输出用于训练精细检测器，通过提高两级检测器IoU阈值，从而提高准确率。小麦蚜虫检测模型DCTDet16通过合并与分组运算形成不同密度水平的候选聚集区域分支，使用并行的多分支检测器进行精细检测，在数据集APHID-4K上实现了最先进的性能。虽然通过对不同密度进行并行分支检测，改善了漏检问题，但是合并、分组运算以及分支结果合并将降低检测速度。通过引入其他模型以构建两阶段模型。例如，Chodey等人32将语义分割模型用于害虫检测，设计了基于混合图像和视频采集帧的害虫检测模型，通过集成轻量级上下文引导网络CGN59与ResNet-5060提取了检测对象的局部特征和上下文信息并分割了感兴趣区域，最后对分割图像进行检测和分类。（2）单阶段检测算法桃树害虫检测模型38在SSD架构61中引入感受野结构（receptive field block，RFB），结合不同大小的卷积核，构成多分路卷积结构，在不同大小卷积核后还使用了空洞卷积层，有效融合了不同卷积层提取的特征，可以模拟出人类的视觉感受野，通过利用图像的浅层特征增强了对小目标害虫的检测。林业害虫检测模型YOLOv4_MF31使用带有轻量级坐标注意力机制的MobileNetV2作为骨干网络，获得了带有空间信息的多尺度特征图，并提出了一个多尺度特征融合模块代替原结构中的PANet，高效融合了多尺度特征。综上所述，调整模型框架结构可以融合多种结构的优势，更好地针对应用场景提升模型性能，例如，粗及细网络结构不仅可以缓解目标的漏检问题，还可以有效提升小目标害虫检测或密集检测的边框定位精度。但是构建和训练模型的复杂度和难度较高，限制了模型的通用性和应用于其他场景的适应能力。3.1.3特征提取能力增强特征提取是指特征提取器通过与图像进行特殊运算，从而提取图像中感兴趣信息的方法与过程。增强特征提取能力有利于提取更多害虫的重要信息，提高小目标检测、多尺度检测和密集检测的准确率。常规CNN骨干网络和以FPN为代表的特征金字塔是最常见的两类特征提取器。常用以下几种方式增强特征提取能力。（1）增加网络宽度或深度通过适度增加神经网络模型的宽度或深度来增强特征提取能力，通常与残差结构一起使用。Shen等人39在空间上重复Inception结构62增加模型的深度以增强特征提取能力，通过跳跃连接（skip connect）将浅层特征引入到深层特征中，缓解了深层特征图中小目标害虫特征消失的情况，使其对小目标特征更敏感。严礼伟34使用残差结构和深度可分离卷积代替普通卷积，不仅增强了深层语义特征提取能力，还减少了参数和计算量，使模型兼具准确率和检测速度，但易损失连续性信息，增加了读写数据时间。盛家文45使用密集神经网络模块代替YOLOv3中用于预测多尺度输入的三组残差模块，提高了不同尺度特征间的融合和复用。（2）增加注意力机制在常规CNN骨干网络中增加注意力机制。Liu等人21提出了一个通道空间注意力模块并将该模块插入骨干网络中，增强了模型提取高质量特征的能力。级联模型 DeepPest30在每个投影卷积块和残差块上使用通道注意机制，获取每个通道的权重并与原图相乘，抑制了无用噪声，提高了复杂背景下的害虫特征提取能力。Zha等人31通过向骨干网络中加入轻量级坐标注意力机制，提升了移动模型的特征提取能力。通过在特征金字塔中加入注意力机制，提高特征提取能力。例如，GaFPN63在FPN的每层特征图后增加通道和空间注意力机制，通过全局平均池化和全局卷积等一系列组合运算激活了全局特征。由于FPN直接使用求和法或拼接法来融合特征图，特征图在多次传播的过程中易发生特征丢失情况。Dong等人23在FPN自顶向下的路径中加入了通道再校准模块，通过增强重要通道特征，抑制了不重要通道特征，并防止了相邻特征图直接融合导致的重要通道信息丢失，显著提高了小害虫的识别精度和定位。由于FPN仅考虑相邻层的特征，而忽略了其他层的特征信息。算法AFFP-Net42结合特征金字塔与自适应特征融合，增强了多尺度特征提取能力，同时减少了顶层特征向下传播的信息损失。除了空间和通道注意力外，还可以通过增加自注意力机制来增强特征提取。自注意力机制中的注意力函数根据注意力权重自适应地聚合关键内容，但没有考虑输入向量的位置信息，因此视觉任务引入自注意力机制时通过位置编码来增强向量位置信息。例如，Wang等人20将自注意力引入ResNet-50网络的残差块，线性聚合了多个注意力函数的输出与可学习的权重，让模型关注来自不同表示空间和不同位置的关键内容。（3）增加环境上下文信息上文两种改进方法增强了模型提取原始图像中特征的能力，然而拍摄害虫图像时的环境、时间和地理位置等相关信息也有助于模型进行更准确的类别判断。Wang等人30提出了一种上下文感知注意网络，将原始数据的图像上下文信息、地理信息、时间信息和环境信息等多类信息编码为图像注释，利用多任务学习架构中每个任务的CNN模型提取了害虫粗分类、地理、时间和蒋心璐，等：农业害虫检测的深度学习算法综述35Computer Engineering and Applications计算机工程与应用2023，59（6）环境等特征。该算法不拘泥于传统意义的图像特征提取，将地理、时间和环境等非图像的外部环境信息纳入提取特征的范围中，通过提取害虫生存环境特征辅助模型检测害虫，探索了将广泛的环境信息编码融合到CNN中以提取特征表示的可能性。综上所述，增强特征提取能力有利于模型从大量嘈杂信息中提取出更有判别能力的重要特征，特征提取能力越强，模型学习到的特征表示越能代表目标，更有利于预测目标的类别信息。但增加网络宽度或深度以及将广泛的环境特征信息编码将增加模型的计算量，需要在性能提升和计算量增加之间进行平衡，同时增加注意力机制需要谨慎考虑注意力的设计原理是否适合当前任务以及作用的位置与方式，否则可能给模型带来负面影响。如何平衡性能提升和计算成本增加、合理设计并实施注意力机制、高效利用广泛的外部环境特征仍是未来的研究方向。3.1.4特征融合特征融合是指将多个特征优化组合，形成更具特征的方法和过程。浅层特征具有高分辨率和大量的位置信息，有利于检测小目标，但语义信息少、噪声较多。深层特征则语义性强，适用于检测大目标，但分辨率较低，位置和细节信息流失严重。因此，有效融合深、浅层特征的语义信息和细节信息对于提升模型性能十分关键，可以有效缓解小目标检测、多尺度检测和密集检测的难检和漏检问题。常用以下方式进行特征融合。（1）通过求和法实现特征融合。Jiao等人44采用22的反卷积上采样深层特征图以及11卷积缩减了浅层特征图的通道数，然后通过逐像素加法运算融合了深层和浅层特征。（2）通过拼接法实现特征融合。Shen等人39通过拼接法将浅层特征引入到深层特征中，缓解了深层特征图中小目标害虫特征消失的情况。文献30对每个投影卷积块进行一次下采样，以保留浅层中的上下文信息，然后拼接投影卷积块与骨干网络的最后一层，从而实现了浅层与深层特征的融合，减少了浅层信息丢失的影响。严礼伟34通过拼接法融合3个不同尺度的特征图进行多尺度检测，提高了小目标的召回率。（3）使用加权法实现特征融合。Chen等人40通过加权法对不同细粒度的局部特征赋予不同的权重，并选择合适的通道将其融合到全特征网络的最大池化层中，增强了全局特征网络中的局部特征表示。Zha等人31构建多尺度特征融合模块，通过加权双向特征金字塔网络64（bi-directional feature pyramid network，BiFPN）和自适应空间特征融合65（adaptive spatial feature fusion，ASFF）实现了深层、浅层特征融合。首先，BiFPN从不同分辨率的特征图中获取多尺度特征，并根据特征的重要程度生成相应的权重，然后ASFF学习权重，融合了多尺度特征。综上所述，特征融合有利于特征传播，缓解特征消失问题，提升小目标及多尺度问题的检测效果。求和法与拼接法都可以增加信息量，其中求和法增加了单个特征包含的信息量，拼接法则通过合并特征通道增加了描述图像的特征总数，避免了直接相加的信息损失。两种方法都需要调整特征通道数或大小，求和法需将两个特征的通道数调整至相同，拼接法无需对齐通道数，但是要求特征图大小一致，增大了计算量，且拼接法显存消耗巨大。求和法和