基于改进YOLOv7的疏果期苹果目标检测方法.pdf

基于改进 YOLOv7 的疏果期苹果目标检测方法龙燕，杨智优，何梦菲（1.西北农林科技大学机械与电子工程学院，杨凌712100；2.农业农村部农业物联网重点实验室，杨凌712100；3.陕西省农业信息感知与智能服务重点实验室，杨凌712100）摘要：疏果期苹果目标检测是实现疏果机械化、自动化需要解决的关键问题。为实现疏果期苹果目标准确检测，该研究以 YOLOv7 为基础网络，融合窗口多头自注意力机制，设计了一种适用于近景色小目标检测的深度学习网络。首先在 YOLOv7 模型的小目标检测层中添加 SwinTransformerBlock，保留更多小尺度目标特征信息，将预测框与真实框方向之间的差异考虑到模型训练中，提高模型检测精度，将 YOLOv7 中的损失函数 CIoU 替换为 SIoU。最后利用 Grad-CAM 方法产生目标检测热力图，进行有效特征可视化，理解模型关注区域。经测试，该文模型的检测均值平均精度为95.2%，检测准确率为 92.7%，召回率为 91.0%，模型所占内存为 81MB，与原始模型相比，均值平均精度、准确率、召回率分别提高了 2.3、0.9、1.3 个百分点。该文模型对疏果期苹果具有更好的检测效果和鲁棒性，可为苹果幼果生长监测、机械疏果等研究提供技术支持。关键词：图像识别；模型；苹果目标检测；SIoU；深度学习doi：10.11975/j.issn.1002-6819.202305069中图分类号：S24;S126文献标志码：A文章编号：1002-6819(2023)-14-0191-09龙燕，杨智优，何梦菲.基于改进 YOLOv7 的疏果期苹果目标检测方法J.农业工程学报，2023，39(14)：191-199.doi:10.11975/j.issn.1002-6819.202305069http:/www.tcsae.orgLONGYan,YANGZhiyou,HEMengfei.RecognizingappletargetsbeforethinningusingimprovedYOLOv7J.TransactionsoftheChineseSocietyofAgriculturalEngineering(TransactionsoftheCSAE),2023,39(14):191-199.(inChinesewithEnglishabstract)doi:10.11975/j.issn.1002-6819.202305069http:/www.tcsae.org0引言疏果是苹果果树管理中的重要环节，合理疏果可以克服果树隔年结果，提高果实品质，延长果树年限1-2。目前主要有化学疏果和人工疏果两种疏果方式。化学疏果效率高、成本较低，但疏果效果不稳定3-4。人工疏果可以按照经验进行疏果，疏果效果好，但是费工费时，劳动力成本高。机械疏果大幅度降低劳动力成本的同时可以按照经验留果，因此，机械疏果代替人工疏果是果园现代化管理的趋势5-6。实现机械疏果的关键技术之一是幼果检测，但疏果期幼果具有体积小、成簇状生长、颜色与背景相近的特点，大大增加了幼果目标检测的难度。近年来随着计算机算力的提升，深度学习技术广泛应用于目标检测领域7-8。与传统的目标检测算法相比，深度卷积网络可以自动从训练数据中学习多层次的特征，模型具有较强的泛化能力以及更强的特征提取能力9-10。龙燕等提出了一种改进 FCOS 网络，融合联合交并比和焦点损失，在提高检测性能的同时降低正负样本比例失衡带来的误差，改进后的网络对成熟苹果的识别准确率达到 96.0%11。周桂红等在 YOLOv4 主干特征提取网络的Resblock 模块中加入 scSE 注意力机制，并将 PANet 模块中的部分卷积替换为深度可分离卷积，改进后的 YOLOv4网络模型检测成熟苹果的平均精度达到 97.27%12。随着成熟期果实的检测技术日益成熟，一些研究开始聚焦于未成熟且与背景颜色相近的果实检测。谢圣桥等提出了基于 FasterR-CNN 的疏果期毛桃目标识别方法、毛桃识别的准确度为 92.97%，但是其检测召回率仅有 84.62%13。LYU 等提出了一种轻量级的目标检测 YOLOv5-CS 模型，在 YOLOv5 网络中加入了注意力模块，自然环境中绿色柑橘识别准确率为 98.23%14。王丹丹等针对苹果幼果，设计了基于 ResNet-44 的 R-FCN 网络，苹果幼果识别召回率为 85.7%，基本实现了苹果幼果目标的识别，但是平均检测速度为 0.187s/幅，检测速度较慢15。为进一步提高幼果检测效率和准确率，宋怀波等提出了一种基于YOLOv4-SENL 模型的苹果幼果目标检测方法，使用 SEblock和NLblock两种视觉注意机制从通道和非局部两个方面重新整合高级特征，改进后的模型对自然环境下的苹果幼果的检测精度为 86.6%，平均精度为 96.9%，内存占用量为 255MB，识别准确率较高，但是模型占用内存稍大16。虽然目前对果实检测方面的研究已经取得较好的成果，但是针对幼果目标检测的检测精度和速度还有待提高，在检测距离较远及存在部分遮挡的幼果目标时会出现漏检和置信度偏低的问题。本研究针对现有目标检测网络对幼果小目标检测精度不佳的问题，改进 YOLOv7 模型，在其小目标检测层添加窗口多头自注意力机制，以保留小尺度目标信息，提升对小目标的识别效果。同时，考虑到模型训练中预收稿日期：2023-05-10修订日期：2023-06-13基金项目：陕西省重点研发计划一般项目农业领域（2020NY-144）作者简介：龙燕，博士，副教授，研究方向为农业电子与自动化技术、数字农业与农业信息化工程。Email：第39卷第14期农 业 工 程 学 报 Vol.39No.142023年7月TransactionsoftheChineseSocietyofAgriculturalEngineeringJuly2023191测框与真实框方向间不匹配的问题，将原始网络中的损失函数 SIoU 替换为 CIoU，从而提升模型整体的检测精度。本研究为近景色小目标检测提供参考，也为苹果幼果生长监测、机械疏果等提供必要的技术支持。1试验数据1.1图像采集本研究所用数据集拍摄于陕西省咸阳市杨凌示范区西北农林科技大学园艺学院附属试验站，研究对象为疏果期富士苹果。考虑到实际机械疏果任务中需要在较远距离寻找需要疏果的果簇以及在近距离完成疏果任务，设计远距离（50100cm）和近距离（1030cm）两种拍摄模式，拍摄时间段为 7:0018:00。拍摄时期为 5 月17 日，此时为疏果期并且还未进行疏果，幼果成簇状生长，横径在 30mm 以下。1.2幼果图像数据集制作除去重复和成像模糊的图像后，幼果图像数据集共计 2950 张图像，其中远距离图像 1150 张，近距离图像 1800 张。利用 Labelimg 标注软件对幼果数据集进行人工标注，标注框选择幼果最小外接矩形，标注后产生的标注信息文件为 xml 类型文件，储存了幼果图像文件名、标注区域矩形框四个角的位置信息以及标注种类等信息。以 8:2 的比例划分训练集和测试集进行模型训练和测试。图 1 为不同距离、光照条件下、幼果表面存在阴影的幼果图像，幼果的纹理颜色与背景中的枝叶极其相似，太阳位置的变化以及拍摄角度的不同会导致幼果亮度的不同，在逆光和表面具有光影的条件下，幼果与枝叶难以区分。在远距离的情况下，幼果目标所占像素在整张图像中占比很小并存在幼果间互相遮挡及枝叶遮挡的情况。a.顺光a.Frontlightb.逆光b.Backlightc.树枝遮挡c.Branch occlusiond.光照不均d.Uneven lighting e.顺光远景e.Long distance frontlight imagef.逆光远景f.Long distance backlight image图 1幼果图像Fig.1Imagesofyoungapples1.3试验平台本研究使用 Win10 操作系统，显卡型号为 NvidiaGeForceRTX308010GB，处理器型号为 Intel(R)Core(TM)i5-12600KFCPU3.80GHz3.79GHz，深度学习框架采用 PyTorch1.9，编程平台为 PyCharm，编程语言为 Python3.8，所有对比算法均在相同环境下运行。2研究方法2.1YOLOv7 网络YOLOv7 网络结构由输入端（Input）、主干网络（Backbone）和检测头（Head）三部分组成17。输入端沿用 YOLOv4 所提出的 Mosaic 数据增强方法，对 4 幅图片进行随机裁剪，再拼接成一幅图进行训练，丰富数据集、提高训练效率的同时训练和推理代价保持不变18。YOLOv7 提出了重参数化卷积（RepConv）、高效聚合网络（ELAN）、动态标签分配等策略，使其在检测精度和效率上取得了较好的平衡。但 YOLOv7 网络中对特征提取仅用了卷积操作，卷积是一种局部操作，卷积层通常只会建模邻域像素之间的关系，难以捕捉长距离的依赖关系，导致小目标特征易丢失，出现幼果漏检问题，自注意力机制更加关注每个像素特征之间的关系，是一种全局操作，经过矩阵运算后得到特征之间的权重，使得模型可以更好地捕捉长距离的依赖关系。自注意力机制所得图像特征可以与卷积操作所得特征形成互补。同时，YOLOv7 中的 CIoU 损失函数只考虑了检测框尺度的损失，但没有考虑预测框与真实框方向间的不匹配，因此本研究使用 SIoU 损失函数代替 CIoU 损失，将方向尺度的损失考虑到模型训练中。2.2改进 YOLOv7 网络模型构建本研究中 YOLOv7 主干网络由 CBS 模块、MP 模块、ELAN 模块组成，如图 2 所示。CBS 模块由卷积层、批归一化层以及激活函数组成一个标准的卷积块，MP 模块的作用是进行下采样，由最大池化层和 CBS 模块组成，具有上下两个分支，提高了模型的特征提取能力。ELAN模块是一个高效聚合网络，可以增强网络学习能力。检测头部分引入 REP 模块与 SPPCSPC 模块，REP 模块分为训练模块以及推理模块，训练模型时融合不同卷积层以及批归一化层合并为一个卷积模块，在网络推理时训练模块中的参数重参数化至推理模块中，在保证模型性能的条件下加速了网络推理。SPPCSPC 模块在一串卷积中加入并行的多次最大池化操作，避免了由于区域裁剪、缩放等操作造成的图像失真问题，同时解决了卷积神经网络提取到重复特征的难题19。YOLOv7 检测头部分包括 3 个检测层，输出特征图大小分别为 8080 像素、4040 像素、2020 像素，其中输出特征图最大（8080 像素）的检测层由于感受野较小，适合检测小目标，为小目标检测层。同理，输出特征图最小（2020 像素）的为大目标检测层。输出特征图大小（4040 像素）的为中目标检测层。由于幼果目标较小特征易丢失，出现漏检问题，本研究在小目标检测层添加 SwinTransformerBlock，以增强局部注意力，保留了更多小尺度特征信息，提升对小目标幼果的检测精度。同时使用 SIoU 作为模型的损失函数，将预测框与真实框方向之间的差异考虑到模型训练中。192农业工程学报（http:/www.tcsae.org）2023年CBSCBSCBSCBSELANMP1ELANMP1ELANMP1ELANREPST-RCBSCBSCatUpST-RUpELAN_HSPPCSPCCatELAN_HCatELAN_HMP2CatST-RELAN_HREPREPConvConvConv202025540402558080255MP2主干网络Backbone检测头Head小目标检测层Small target detection layerMP=MaxPoolCBSCBSCBSCatCBSSPPCSPC=CBSCBSCBSCBSMaxPoolMaxPoolMaxPoolCatCBSCBSCatCBSELANCBSCBSCBSCBSCBSCatCBSCBS=ConvBNSiLUCBSCBSCBS=(1,1)(3,1)(3,2)输出Output输入Input位置1位置2位置3注：ST-R 为 SwinTransformerBlock，位置 1 为 ST-R 的最终添加位置，位置 2、位置 3 为 ST-R 在本文 3.3 节对比试验中尝试添加的位置。Note:TheST-RistheSwinTransformerBlock,position1isthefinaladdedpositionofST-R,position2andposition3arethepositionsthatST-Rtriestoaddinthecomparisonexperimentinsection3.3ofthispaper.图 2改进 YOLOv7 网络结构图Fig.2ImprovedYOLOv7networkstructurediagram2.2.1窗口多头自注意力机制模块SwinTransformer 是窗口多头自注意力机制模块，添加 SwinTransformer 模块有利于保留小尺度特征信息、提升运算速度20。SwinTransformer 是以 Transformer 结构为基础，将标准多头自注意力模块（multi-headself-attention,MSA）替换为窗口多头自注意力模块（windowmulti-headself-attention,W-MSA）和滑动窗口多头注意力机制（shiftwindowmulti-headself-attention,SW-MSA）。图 3 为 SwinTransformerBlock的结构。MLPLNW-MSALNMLPLNSW-MSALN注：MLP 为多层感知机，LN 为层归一化处理，W-MSA 为窗口多头自注意力，SW-MSA 滑动窗口多头注意力机制。Note:MLPismultilayerperceptron,LNislayernormalizationprocessing,W-MSAiswindowmulti-headself-attention,andSW-MSAiswindowmulti-headself-attention.图 3SwinTransformerBlock 结构图Fig.3SwinTransformerBlockstructurediagramW-MSA 是将特征图用固定大小的窗口进行划分，并在每个窗口中进行多头自注意力操作。SW-MSA 是将特征图用 MM 大小的窗口进行切分，并对窗口实行移位，实现不同窗口间的信息交互，从而达到一种全局建模的效果。特征图传入 LayerNorm 层进行归一化后，执行窗口自注意力 W-MSA 操作，W-MSA 的输出与原始输入相加后再次传入到 LayerNorm 层，进行归一化后执行 MLP 操作，并与 W-MSA 输出相加传入到下一个模块，重复上述操作，并将 W-MSA 替换为 SW-MSA。2.2.2损失函数YOLOv7 算法中，预测框回归损失采用 CIoU损失，但CIoU并没有考虑到预测框与真实框方向间的不匹配。这种方向的不匹配，可能导致收敛速度较慢且收敛效率较低，预测框可能在训练的过程中“四处游荡”并最终产生更差的模型。针对以上问题，本研究采用SIoU损失函数替换CIoU损失函数21。SIoU 包含 4 个部分：角度损失、距离损失、形状损失以及交并比损失 U。如图 4 为 SIoU 参数示意图。角度损失 计算公式如下=12sin2(arcsin(x)4)（1）其中:x=ch=sin()（2）根据角度损失，定义距离损失 计算公式如下第14期龙燕等：基于改进 YOLOv7 的疏果期苹果目标检测方法193Bgt(bcx,bcy)gtgtB(bcx,bcy)CwChbgtcxbgtcy注：B 和 BGT点分别为预测框中心点及真实框中心点。Cw、Ch分别为 B 和BGT点的横坐标与纵坐标之差，为两点连线与水平线的夹角；（bcx，bcy）为预测框中心坐标，（，）为真实框中心坐标，为真实框和预测框中心点距离。bgtcxbgtcyNote:BandBGTarethecenterpointsofthepredictionboxandtherealboxrespectively.CwandCharethedifferencebetweentheabscissaandordinateofBandBGTrespectively,istheanglebetweenthetwopointconnectionandthehorizontalline,(bcx，bcy)isthecentercoordinateofthepredictionbox,(,)isthecentercoordinateoftherealbox,isthedistancebetweentwopoints.图 4SIoU 参数示意图Fig.4SIoUparametersschematicdiagram=t=x,y(1ept)（3）其中:px=(bgtcxbcxcw)2,py=(bgtcybcych)2,=2（4）形状损失定义如下=t=w,h(1ewt)（5）其中:w=|wwgt|max(w,wgt),h=|hhgt|max(h,hgt)（6）wgthgt式中 控制对形状损失的关注程度，为避免过于关注形状损失而降低对预测框的移动，参数范围为 26 之间。w 和 h 为真实框的宽和高，和为预测框的宽和高。SIoU 损失的定义为Lsiou=1U+2（7）2.3训练参数及评价指标训练网络时设定学习率为 0.01，权重衰减率为0.00005，动量因子为 0.935。网络训练轮次为 300 次，图像尺寸为 640640 像素。本研究采用准确率（precision，P）、召回率（recall，R）、均值平均精度（meanaverageprecision，mAP）、模型大小等指标进行模型评价。P=NTPNTP+NFP100%（8）R=NTPNTP+NFN100%（9）式中 NTP、NFP、NFN分别为真正例、假正例、假反例数量，以 R 为横轴，P 为纵轴，PR 曲线下的面积定义为 AP，mAP 为苹果和背景的 AP 平均值。3结果与分析3.1幼果图像检测结果图 5、图 6 是不同距离、不同光照条件下 YOLOv7和改进 YOLOv7 的检测结果。原图Original imagesYOLOv7 改进YOLOv7Improved YOLOv7a.光照不均a.Uneven lightingb.顺光b.Frontlightc.逆光c.Backlightd.树叶遮挡d.Leaf occlusione.树枝遮挡e.Branch occlusionf.逆光f.Backlight图 5近距离幼果图像检测结果Fig.5Detectionresultsofclose-distanceyoungapplesimages图 5 所示，近距离幼果在表面具有阴影、顺光、逆光的情况下YOLOv7 模型以及改进YOLOv7 模型均可准确识别，但存在枝叶遮挡时，YOLOv7 的检测框不够准确，如图 5e 中最右边的果实部分被枝干遮挡，YOLOv7 模型输出的检测框只包含部分果实，而改进 YOLOv7 模型检测框包含整个果实，检测更加准确。同时，对比 YOLOv7模型及改进 YOLOv7 模型对近距离幼果检测结果的置信度，改进 YOLOv7 模型检测置信度均有明显提升。194农业工程学报（http:/www.tcsae.org）2023年a.原图a.Original imageb.YOLOv7 c.改进YOLOv7c.Improved YOLOv7图 6远距离幼果图像检测结果Fig.6Detectionresultsoflong-distanceyoungapplesimages在远距离幼果图检测中，如图 6b 所示，由于幼果目标较小，且存在树叶遮挡以及果实间遮挡，YOLOv7 模型产生了漏检，而改进 YOLOv7 模型能检出所有幼果。表 1 为 YOLOv7 模型和改进 YOLOv7 模型应用于近景幼果和远景幼果测试集的具体检测效果。表1YOLOv7 和改进 YOLOv7 在 2 种场景下的性能指标Table1PerformanceindicatorsofYOLOv7andimprovedYOLOv7intwoscenarios%网络Network场景Scene均值平均精度Meanaverageprecision精确率Precision召回率RecallYOLOv7近景95.492.492.6远景90.190.287.5改进 YOLOv7ImprovedYOLOv7近景96.193.493.1远景93.692.189.6由表 1 可知，改进 YOLOv7 的 mAP、精确率、召回率在近景和远景两种场景下均比 YOLOv7 模型高，在测试近景数据集时，改进 YOLOv7 的 mAP 较 YOLOv7 高0.7 个百分点；在测试远景数据集时，改进 YOLOv7 的mAP 较 YOLOv7 高 3.5 个百分点。因此本研究模型在检测准确性、置信度、检测框准确性方面均有提升，并且模型在检测远景幼果时，性能提升明显。对不同距离、光照条件及存在遮挡的幼果目标均可准确识别，表明本文模型可以有效的检测疏果期苹果幼果且模型鲁棒性更好。3.2不同目标检测网络模型的性能比较为了评价改进 YOLOv7 网络对苹果幼果的检测效果，使用 Faster R-CNN22、EfficientDet-D523、YOLOv5-m24、YOLOv7 网络模型对苹果幼果数据集进行训练和测试，表 2 为上述 5 种网络模型的性能指标。表25 种目标检测网络模型性能指标Table2Fivetargetdetectionnetworkperformanceindicators网络Network均值平均精度Meanaverageprecision/%精确率Precision/%召回率Recall/%模型大小Modelsize/MB检测速度Detectionspeed/(帧s1)FasterR-CNN68.763.561.71089.4EfficientDet-D580.588.470.838426.5YOLOv5-m89.293.978.98255.4YOLOv792.991.889.77565.4改进 YOLOv7ImprovedYOLOv795.292.791.08163.1由表 2 所知，改进 YOLOv7 的 mAP、精确率、召回率、分别比 FasterR-CNN 的高 26.5、29.2、29.3 个百分点，模型内存占用量少 27MB；比 EfficientDet-D5 的高14.7、4.3、20.2 个 百 分 点，模 型 内 存 占 用 量 仅 为EfficientDet-D5 的 21%；比 YOLOv7 的高 2.3、0.9、1.3个百分点，模型内存占用量多 6MB。改进 YOLOv7 的mAP、召回率分别比 YOLOv5-m 的高 6.0、12.5 个百分点，精确率低 1.2 个百分点，模型内存占用量少 1MB；改进 YOLOv7 与 Faster R-CNN、EfficientDet-D5、YOLOv5-m、YOLOv7 相比，mAP 最高，模型占用量和检测速度与 YOLOv7 相当。因此，改进 YOLOv7 综合表现最好，可以实现自然环境下疏果期苹果目标的快速准确识别。3.3不同损失函数应用于 YOLOv7 的性能比较为 了 分 析 不 同 损 失 函 数 的 性 能 表 现，将 原 始YOLOv7 的损失函数 CIoU 分别替换为 alphaIoU25、DIou26、GIoU27、SIoU，表 3 为上述 5 种损失函数应用于 YOLOv7 的性能表现。图 7 为使用 5 种损失函数训练模型的损失曲线图，由损失曲线图可以看出，使用AlphaIoU、DIoU、CIoU、SIoU 损失函数训练模型损失值均可快速收敛并维持在较低损失值。GIoU 模型损失值存在震荡现象，不能很好的收敛。表35 种损失函数的性能Table3Performanceoffivelossfunctions损失函数Lossfunction均值平均精度Meanaverageprecision/%精确率Precision/%召回率Recall/%训练时间Trainingtime/hAlphaIoU92.290.389.65.65DIoU91.590.588.55.82GIoU86.687.379.53.71CIoU92.991.689.77.24SIoU(ours)93.592.389.24.2205010015020025030000.020.040.060.080.100.120.14损失值Loss value迭代轮次Epochs SIoU CIoU AlphaIoU DIoU GIoU图 75 种损失函数损失值随迭代轮次变化的损失曲线Fig.7Losscurvesofthelossvaluesofthefivelossfunctionswiththenumberofepochs对 5 种 损 失 函 数 性 能 进 行 分 析 可 以 得 出，与AlphaIoU 相比，使用 SIoU 损失函数模型的 mAP 为93.5%、精确率分别高 1.3、2 个百分点，召回率低 0.4 个第14期龙燕等：基于改进 YOLOv7 的疏果期苹果目标检测方法195百分点，训练时间短 1.43h。与 DIoU 相比，使用 SIoU损失函数模型的 mAP、精确率和召回率分别高 2.0、1.8、0.7 个百分点，训练时间短 1.6h；与 GIoU 相比，使用SIoU 损失函数模型的 mAP、精确率和召回率分别高 6.9、5.0、9.7 个百分点，训练时间长 0.51h。与 CIoU 相比，使用 SIoU 损失函数模型的 mAP 和精确率分别高 0.6、0.7 个百分点，召回率低 0.5 个百分点，训练时间短3.02h。由上述分析可知，使用 SIoU 损失函数进行模型训练综合优势较为明显，检测精度最高。3.4Swin-Transformer 模块应用不同位置效果分析为分析 Swin-Transformer 模块添加至不同位置的性能表现，将 Swin-Transformer 模块分别添加至 YOLOv7检测头中大、中、小 3 个检测层，分别记为 YOLOv7-L、YOLOv7-M、YOLOv7-S，3 个 检 测 层 均 添 加 记 为YOLOv7-all，如图 2 所示，图中 ST-R 所处位置为 Swin-Transformer 模块的具体添加位置。表 4 为 5 种模型的性能指标。表45 种目标检测网络模型的性能指标Table4Fivetargetdetectionnetworkperformanceindicators网络Network检测均值平均精度Meanaverageprecision/%精确率Precision/%召回率Recall/%模型大小Modelsize/MBYOLOv7-S94.892.191.381YOLOv7-M92.891.690.283YOLOv7-L92.591.390.280YOLOv7-all94.592.390.8106YOLOv792.991.889.775由表 4 可知，将 Swin-Transformer 模块分别添加至大、中检测层时，模型检测性能较原始 YOLOv7 模型稍有下降，mAP 分别低 0.4、0.1 个百分点，将 Swin-Transformer 模块添加至小目标检测层时模型检测性能提升明显，mAP、精确率和召回率分别高 1.9、0.3、1.6 个百 分 点。大、中、小 三 个 检 测 层 均 添 加 Swin-Transformer 模块时，与只添加 Swin-Transformer 模块至小目标检测层的模型性能相差不大，但是模型内存占用量增加 25MB。因此，只添加 Swin-Transformer 模块至YOLOv7 的小目标检测层，模型性能提升较明显，模型内存增加量较少。小目标检测层提取的是主干网络的浅层特征，此时特征图尺寸较大、感受野较小，所以添加窗口自注意力机制到小目标检测层可以更好的关联特征图中距离较远的有效特征。3.5检测热力图分析目标检测热力图可以直观展示图像中哪些区域对目标检测的贡献程度大，在一定程度上可视化模型检测结果，理解模型的关注区域。本研究利用 Grad-CAM 产生目标检测热力图28。Grad-CAM 是一种基于梯度的网络可视化方法，使用最后一个卷积层的梯度信息计算每个通道的权重，以热力图的形式把加权特征图映射到原始图像，热力图中像素值代表了该像素区域对于分类结果的重要性。如图 8 为部分幼果图像检测热力图，可以看出改进 YOLOv7 模型的检测热力图更加贴近真实幼果区域。如图 8a、8d 中圆形线条圈出的区域，YOLOv7 的热力值较改进 YOLOv7 模型的低，当预测模型检测阈值设置偏高时，很容易出现漏检现象。原图Original imagesYOLOv7改进YOLOv7Improved YOLOv7a.光照不均a.Uneven lightingb.顺光b.Frontlightc.逆光c.Backlightd.树枝遮挡d.Branch occlusione.逆光e.Backlightf.远距离顺光f.Long-distance frontlight注：图中使用圆形圈出的区域为有幼果存在但是热力值较低的区域，正方形圈出的区域为无幼果存在但是存在热力值的区域。Note:Theareacircledbythecircleinthefigureistheareawithyoungfruitbutlowthermalvalue,andtheareacircledbythesquareistheareawithoutyoungfruitbutwiththermalvalue.图 8部分幼果图像检测热力图Fig.8Heatmapofpartialyoungapplesimagedetection196农业工程学报（http:/www.tcsae.org）2023年如图 8a、8f 中正方形圈出的区域，没有幼果，YOLOv7 的热力图仍然存在热力值，当预测模型检测阈值设置偏低，容易出现错检现象。通过可视化结果表明，改进 YOLOv7 模型可以从弱语义的目标中提取更强的目标特征，有较好的鲁棒性和泛化能力。4结论为实现疏果期苹果目标的准确检测，本研究改进YOLOv7 模型，通过添加 Swin-Transformer 模块、修改损失函数提升幼果目标检测准确性，主要结论如下：1）在 YOLOv7 小 目 标 检 测 层 中 添 加 Swin-Transformer 模块，提升模型对小目标的感知能力，从而更好的捕获幼果目标，提升幼果检测精度。并分析了Swin-Transformer 模块添加至 YOLOv7 不同检测层的性能表现，实验结果表明 Swin-Transformer 模块添加至小目标检测层时的模型均值平均精度 mAP 为 94.8%，优于其他添加方法，且模型较小，内存占用量为 81MB。2）将 YOLOv7 原始损失函数 CIoU 替换为 SIoU，将方向尺度的损失考虑到模型训练中，提升边框回归精度，从而提高幼果识别率。分析不同损失函数应用于YOLOv7 的性能表现。试验结果表明，使用 SIoU 损失函数进行模型训练检测精度最高，模型 mAP 为 93.5%。3）本文模型幼果检测的 mAP 为 95.2%，精确率为92.7%，召回率为 91.0%，优于原始 YOLOv7 网络。模型大小为 81MB，略高于 YOLOv7 网络模型。相比于YOLOv7 网络，本文模型的优势主要体现在提升近景色远景幼果的检测精度，在远景图像数据集的 mAP 较原始 YOLOv7 的提高 3.5 个百分点。且对本文模型及原始YOLOv7 的检测热力图进行分析可得，本文模型可以提取更多有效特征，具有更好模型鲁棒性。但是模型内存占用量稍大，后期将针对该问题展开进一步研究。参考文献饶晓燕，吴建伟，李春朋，等.智慧苹果园“空-天-地”一体化监控系统设计与研究 J.中国农业科技导报，2021，23(6)：59-66.RAOXiaoyan,WUJianwei,LIChunpeng,etal.Designandresearchon“space-air-ground”integratedmonitoringsystemforintelligentorchardJ.JournalofAgriculturalScienceandTechnology,2021,23(6):59-66.(in Chinese with Englishabstract)1门小鹏，许雪峰，王玉斌，等.我国苹果生产的现状、问题与发展对策 J.农村实用技术，2022，(1)：25-27.22021 年度中国苹果产业发展报告(总篇)精简版 J.中国果菜，2023，43(1)：1-8.3卢蒙蒙，江珊，张国浩，等.苹果化学疏花疏果技术研究进展 J.中国果树，2021，210(4)：4-74LU Mengmeng,JIANG Shan,ZHANG Guohao,et al.Research progress on chemical flower and fruit thinningtechnology of appleJ.China Fruits,2021,210(4):4-7.(inChinesewithEnglishabstract)李文胜，王安丽，吴泽珍，等.不同化学疏果剂对富士苹果疏除效果及品质的影响 J.西北农业学报，2022，31(4)：468-478.LIWensheng,WANGAnli,WUZezhen,etal.EffectsoffruitthinningwithdifferentchemicalsonthinningandqualityinfujiappleJ.ActaAgriculturaeBoreali-occidentalisSinica,2022,31(4):468-478.(inChinesewithEnglishabstract)5罗锡文，廖娟，胡炼，等.我国智能农机的研究进展与无人农场的实践 J.华南农业大学学报，2021，42(6)：8-17.LUOXiwen,LIAOJuan,HULian,etal.Researchprogressofintelligent agricultural machinery and practice of unmannedfarms in ChinaJ.Journal of South China AgriculturalUniversity,2021,42(6):8-17.(inChinesewithEnglishabstract)6宋怀波，尚钰莹，何东健.果实目标深度学习识别技术研究进展 J.农业机械学报，2023，54(1)：1-19.SONG Huaibo,SHANG Yuying,HE Dongjian.Review ondeep learning technology for fruit target recognitionJ.TransactionsoftheChineseSocietyforAgriculturalMachinery,2023,54(1):1-19.(inChinesewithEnglishabstract)7黄昊，谢圣桥，陈度，等.深度学习在苹果产业链中的应用与研究进展 J.中国农业科技导报，2022，24(10)：79-89.HUANGHao,XIEShengqiao,CHENDu,etal.Applicationand research advances on deep learning in apples ind