融合剪枝与知识蒸馏的农业病虫害检测.pdf

2024 年 4 月第 45 卷第 2 期湘南学院学报Journal of Xiangnan UniversityApr.,2024Vol.45 No.227融合剪枝与知识蒸馏的农业病虫害检测潘伟1，朱镕1，史润发1，胡国华1,*，连顺2，梅腱1，何凤莲3（1.合肥大学 先进制造工程学院，安徽 合肥 230000；2.讯飞科技股份有限公司，安徽 合肥 230088；3.安徽医科大学第二附属医院，安徽 合肥 230031）摘 要：自动化监测农产品病虫害情况，可以早期发现问题并采取防控措施，减少农作物的损失。一种基于YOLOv7 的检测方法以及一种通用的 YOLO 模型剪枝流程被用于解决农业病虫害检测算法冗杂、计算量大等问题。具体流程是：对农业数据集进行预训练初始化的 YOLOv7 模型；应用 ResRep 剪枝以获得稀疏化的小模型；设计带有中间层知识传递的Neck蒸馏训练策略恢复小模型精度，实现无损剪枝。以包含豆类作物角叶斑点病、草莓花枯病、番茄蜘蛛螨等 12 类作物病虫害真实图片的数据集为样本，实验结果表明，剪枝后模型的计算量和参数量分别减少了 62%和 76%，同时平均精度和推理速度分别提升了 3.9%和 40.4%。研究对提升农业病虫害问题智能检测等新质生产力具有重要的现实参考价值。关键词：农业病虫害检测；模型剪枝；知识蒸馏；新质生产力；人工智能中图分类号：TP391.4 文献标志码：A DOI:10.3969/j.issn.1672-8173.2024.02.005收稿日期：2023-06-28基金项目：安徽省高等学校省级质量工程项目（2022sx128，2022jyxm735）。作者简介：潘伟（1999），男，安徽安庆人，硕士研究生，研究方向为目标检测、深度学习；通信作者：胡国华（1978），男，安徽合肥人，教授，博士，研究方向为无线通信技术、智能信息处理及深度学习。农产品是人类重要的食物来源，农产品安全问题关系到人民的生命健康，受到国家的高度重视。传统的农业病虫害自动化检测方案需要特定的图像处理算法，对光照、噪声、角度等因素敏感，不具备抗干扰能力，且针对每一种特定的病虫害图像需要设计特定的特征识别方法，导致算法的适用范围有限。为了克服传统视觉方法的缺陷，近年来国内外诸多研究者开始探索将深度学习应用到农业图像检测，例如，Singh 等 1 在目标检测算法中增加针对预测位置的微调算法，避免了预测位置误差带来的影响。Liu 等 2 为了检测葡萄病害设计了名为 UnitedModel 的卷积神经网络，能够提取图像的深层特征，对葡萄叶片病害实现了 96.58%的检测准确率。吕培鑫 3 以 RetinaNet 目标检测框架为基线，采用数据增强方式扩充大豆叶片表型数据，并针对损失函数进行改进，对虫洞等病虫害问题检测的平均精度均值(mAP)达到 83.93%。另外，一些学者 4-8 在农业场景中使用 YOLO 系列算法。目前的研究主要关注检测效果，虽然能够达到较高精度，但仍存在计算冗杂、复杂度高等问题。2023 年，Yuan 9 通过对比实验验证了目标检测模型 YOLOv7 10 在农业检测上的优越性和鲁棒性。本文以豆类作物角叶斑点病、草莓花枯病、番茄蜘蛛螨等 12 类作物病虫害的真实图片为样本，首先采用 ResRep 剪枝方法去除 YOLOv7 模型中不重要的通道参数，降低原模型的复杂度，然后通过改进的知识蒸馏技术实现模型剪枝后的精度恢复，以期使剪枝后的模型在农业病虫害数据集上的表现更加优越。1 算法原理分析1.1 YOLOv7 目标检测算法YOLO是性能比较优秀的目标检测系列算法。图 1 为 YOLOv7 模型的网络结构图，整体结构可分为Backbone，Neck 和 Head 三部分，由各种不同结构的卷积小模块组合而成，分别用于从输入图片中提取特征、对特征进行融合增强处理以及根据特征向量输出预测类别和位置。模型输入为 6406403 的三通道 RGB图片，Backbone 部分提取原图中的特征得到三个特征向量，维度分别为 8080512、40401024、28湘南学院学报2024 年 4 月（第 45 卷）第 2 期20201024。靠前的特征向量蕴含浅层语义信息，如物体大致轮廓、颜色等；而靠后的特征向量含有深层语义信息，如物体的细节边缘。随后，这三个特征向量会进入中间的Neck部分进行特征融合与拼接(Concat)，以便这些提取到的特征能更好地表征目标物体。最后，Head 部分完成检测，并输出三组特征向量。此时，特征向量会包含模型预测到的物体类别和位置坐标信息，这三个预测头的输出需要放在一起进行筛查，去除重叠的预测框，得到最终的位置预测以及类别结果。图 1 YOLOv7 模型的网络结构1.2 YOLO 剪枝策略通道剪枝方法 11 常被用于压缩 YOLO，通过去除卷积层中不重要的通道连接来降低模型复杂度。传统通道剪枝方法易于操作且剪枝效果明显，但会造成一定的精度损失 12。ResRep 剪枝 13 是一种基于卷积核的剪枝策略，其创新在于单独设计剪枝梯度下降规则，可以大幅降低剪枝带来的精度损失。本文研究将其应用到 YOLOv7 中进行无损剪枝。在 YOLOv7 中应用 ResRep 剪枝过程如图 2 所示。首先，在训练好的模型中每个卷积层后添加卷积核尺寸为 11 的卷积 Compactor 层，并初始化其参数Q为单位矩阵。其次，对Q中的所有通道添加掩码。掩码标记为 1 代表该通道不需要被剪枝，通道参数按照 YOLO 原始梯度与 ResRep 梯度惩罚项进行更新；而掩码标记为 0 代表该通道需要被剪枝，通道参数仅由 ResRep 梯度惩罚项进行更新。充分剪枝训练后计算每个通道的得分并通过阈值法去除得分低的通道。最后，通过融合卷积层与 Compactor 层完成通道剪枝，其中通道得分为每个通道对应的卷积核参数的 L2 范数。图 2 在 YOLOv7 中应用 ResRep 剪枝过程29计算量是指在神经网络的前向传播过程中执行的浮点运算的总数，它衡量了模型在推理阶段所需的计算资源，包括乘法、加法等基本运算。本文使用计算量来评估模型的推理速度和效率，模型中每个卷积通道的计算量 F 为2inoutFkCW=（1）其中：k 为该通道的卷积核尺寸，inC、outW分别为该通道的输入特征图的通道数和输出特征图的像素个数。在实现 ResRep 剪枝的过程中，模型中的每个卷积层通道均会被添加掩码标记。初始时每个通道的掩码标记均为 1，而为了避免一次性对大量通道添加 0 掩码，我们采取了渐进式剪枝。这需要在剪枝训练时不断对网络结构中所有卷积通道进行得分排序，每次从所有卷积通道中选取得分最小的 96 个通道添加 0 掩码，并根据式（1）计算原模型中所有卷积通道的计算量总和oriF，以及当前已添加 0 掩码的卷积通道的计算量总和curF，直至curoriFF大于目标剪枝比例时，停止调整通道掩码。近些年，一些研究人员 13-14 将剪枝方法应用于 ResNet 分类网络中，并成功减少了 62%的计算量。故本文在 YOLOv7 的第一次实验中设置剪枝目标比例为 62%，第二次实验中增大剪枝目标比例为 75%，发现模型精度下降 3.9%，无法完全恢复性能，推测继续增大剪枝比例会造成更大的性能损失。而在渐进式剪枝过程中，分别测试了 80 至 120 之间的若干不同数字，当每次选取 80 个通道数时，剪枝训练需要 550 轮次以上才能达到目标剪枝比例；而当每次选取 120 个通道数时，剪枝训练 130 轮后即达到目标剪枝比例。为了尽量避免出现剪枝训练不充分的情况，同时不让实验时间过长，本文实验中每次选取 96 个通道数。YOLOv7 结构还包含大量的拼接(Concat)操作，即将多个卷积层的输出拼接在一起作为另一个卷积层的输入。为能够正确执行拼接操作，在剪枝时需要保证拼接前后通道数始终可以一一对应。1.3 改进精度恢复策略删除通道连接会导致模型的拓扑结构发生变化，影响最终的输出结果。剪枝后通常采取普通训练或知识蒸馏训练的方式恢复小模型精度。知识蒸馏最早由 Hinton 等 15 提出，核心思想是将复杂教师模型的输出特征向量作为软标签，真实标注作为硬标签，设计合适的蒸馏损失，共同训练一个简单的学生模型，如图 3所示。2022 年，Jinhyuk Park 等 16 的研究提出了先剪枝、后蒸馏的模型压缩范式，证明了将剪枝前模型作为教师模型来引导剪枝后的小模型进行蒸馏训练，可以更好提升小模型精度。同时，一些研究 17-18 证明了YOLO 系列模型可以通过知识蒸馏技术，使模型更加轻量化。图 3 YOLO 模型知识蒸馏原理图本文采取普通训练与 Neck 蒸馏训练相结合的策略，实现剪枝后的精度恢复。由于剪枝时裁剪了大量的卷积层通道，我们发现此时模型 Backbone 以及 Neck 部分已经十分稀疏，制约了模型的特征处理能力。基于此，本文提出带有中间层知识传递的蒸馏方式，称为 Neck 蒸馏，该方法额外提取原模型中间层的特征矩阵，用于强化剪枝后模型的特征处理能力，如图 3 所示。原模型 Neck 部分已对输入图片中的高频和低频特征进行了融合，具有丰富的语义信息。本文将这部分三个输出特征矩阵中的语义信息传递至剪枝后模型的潘伟，朱镕，史润发，等：融合剪枝与知识蒸馏的农业病虫害检测30湘南学院学报2024 年 4 月（第 45 卷）第 2 期对应位置。之后计算这三组特征矩阵之间的 KL 散度，作为中间层蒸馏损失函数。计算 KL 散度需要将特征矩阵转换为概率的形式，假设ix 代表矩阵中第 i 个参数，则转换过程为exp/expiiixxpTT=（2）其中，T 代表蒸馏温度。通过在训练过程中引入温度 T，较高的温度值可以平滑教师模型的输出分布，学生模型会更容易学习到教师模型的知识。假设教师模型和学生模型对应特征矩阵的概率分别为jp、kp，它们之间的 KL 散度（L）为lgjjkpLpp=（3）本文提取原模型中 Neck 部分的三个输出特征矩阵来引导剪枝后模型，所以需要对应计算三次 KL 散度损失并添加相同的损失权重（实验中取0.1=，以保持各损失值处于同一数量级），模型输出向量部分采用均方误差函数（MSE）作为蒸馏损失。整体的损失函数为totaloriMSE1,2,3iLLLLi=+=,（4）本文对剪枝后的蒸馏训练策略也进行了调整，直接使用软标签进行蒸馏训练会使模型参数分布偏离真实分布，故结合普通训练与本文 Neck 蒸馏训练，在前 150 轮迭代中只使用真实标签训练。实验发现这种策略可以使剪枝后模型的性能回弹至更高点。另外，蒸馏训练后期，学生模型的精度可能超过教师模型，此时所有蒸馏损失权重自动归零，教师模型的知识便不再传递给学生模型，仅使用真实标签进行后续训练。消融实验数据证明了本文 Neck 蒸馏的有效性，而普通训练与 Neck 蒸馏训练相结合的策略也能够使 YOLOv7剪枝 62%后的模型达到比原模型更高的精度，说明剪枝后复杂度低的小模型能更好缓解过拟合的发生。2 实验论证与分析2.1 实验数据集与评价指标本文实验选用真实农作物病虫害图片数据集，包含豆类作物角叶斑点病、草莓花枯病、番茄蜘蛛螨等12 类作物病虫害图片，其中训练集、验证集、测试集图片数量分别为 3620、500、500 张。实验采用评价指标有平均精度均值(mean Average Precision,mAP)、模型计算量(FLOPs)、模型参数量(Params)，以及单张图片推理速度(Speed)。2.2 实验设计实验采用 YOLOv7 模型并初始化模型权重，在农业病虫害数据集上预训练得到基线模型，并在此基础上对其进行剪枝。预训练一共迭代300轮，批次大小设置为16，优化器采用随机梯度下降，动量设置为0.937，初始学习率为 0.01。对预训练模型进行充分的剪枝训练，需要将剪枝的通道数初始值设置为 1，每隔 200 个批次进行一次排序，选出通道得分最小的 96 个通道，之后令96=+，直至达到目标剪枝比例，最后采用 Neck 蒸馏策略对剪枝后的模型恢复精度。实验发现，目标剪枝比例设置为 62%时模型能恢复至原来的性能，再次提高剪枝比例为 75%时模型精度损失为 3.9%，无法完全恢复原有精度。2.3 实验数据分析本文成功对 YOLOv7 模型进行了无损剪枝，减少了 62%的计算量。为验证检测效果，在训练集上使用相同参数进行了充分训练后，实验从测试集随机抽取了四张图片考察不同模型检测的结果（图 4）。本文模型与目前流行的几种目标检测模型在测试集上的对比结果见表 1，其中 YOLOv7tiny 为官方发布的微型版本，适用于在移动设备上运行。由表 1 可知，YOLOv7 剪枝 62%后与 YOLOv7 相比，计算量和参数量分别下降了 62%和 76%，平均精度均值（mAP）提升了 3.9%，推理速度（Speed）提升了 16.7%；与YOLOv8 相比，mAP 提升了 2.2%，Speed 提升了 7.4%；与产业界常用的 YOLOv5 相比，mAP 提高了 4.5%，Speed 提升 14.8%。实验发现，YOLOv7 剪枝 75%的精度虽然与 YOLOv7 相比损失较大（达到 3.9%），但与 YOLOv7tiny 相比仍然提高了 2.1%，更适合需要在移动端进行部署的场景。图 5 中展示了不同模型间的性能差异，其中，横轴为模型的推理速度（Speed），数值越小代表检测效31表 1 本文模型与其他模型在测试集上的实验对比模型mAP/%FLOPs/GParams/MSpeed/msYOLOv787.752.036.69.0YOLOv7 剪枝 75%83.813.27.36.5YOLOv7tiny81.76.96.26.4YOLOv587.149.020.98.8YOLOv889.478.725.98.1RTDETR92.4110.231.941.7YOLOv7 剪枝 62%91.620.18.37.5图 4 不同模型的检测结果潘伟，朱镕，史润发，等：融合剪枝与知识蒸馏的农业病虫害检测 （a）原图 （b）YOLOv7 结果 （c）YOLOv8 结果 （d）YOLOv7 剪枝 62%结果32湘南学院学报2024 年 4 月（第 45 卷）第 2 期率越高；纵轴为模型的平均精度均值（mAP），数值越大，代表模型性能越好。RTDETR 模型在此场景下精度最高，达到 92.4%，但其检测速度相较 YOLO 系列模型有明显差距。本文 YOLOv7 剪枝 62%后精度达到 91.6%，仅次于 RTDETR，在平均精度和检测速度上均优于 YOLOv8 模型，证明了本文模型在此场景下具备良好的检测性能。2.4 消融实验剪枝后小模型能达到与原模型相近的性能，可能是由于剪枝使小模型继承了原模型的重要权重，也可能因为小模型本身就拥有较强的检测能力而与剪枝无关。为验证剪枝技术的有效性，本文使用 YOLOv7 剪枝 75%模型设计对照实验，相关数据结果如表 2 所示。实验时，首先随机初始化剪枝模型权重，避免其继承原模型权重，充分训练后小模型的 mAP 仅为74.5%；若训练前不进行参数初始化，可使小模型 mAP 恢复至 83.8%。这证明了剪枝能保留原模型的部分有用权重，使小模型达到与原模型相近的性能，而初始化会使小模型损失精度。表 2 数据无法充分体现本文提出的改进蒸馏策略的优势，因而使用 YOLOv7 剪枝 62%模型对比了不同精度恢复策略的效果（表 3）。本文所提出的 Neck 蒸馏带有中间层知识传递过程，而传统的 Logits 蒸馏方法仅使用模型输出层进行知识传递。由表 3 可知，只使用普通训练和 Logits 蒸馏时精度分别损失了 3.5%和2.2%；在将二者结合之后，剪枝模型精度超越原模型 2.6%；而本文提出的普通训练与 Neck 蒸馏结合策略，使剪枝模型的精度达到 91.6%，超越原模型 3.9%，相比普通结合策略带来 1.3%的精度提升。表 3 精度恢复策略对比精度恢复策略mAP/%预训练模型87.7普通训练84.2Logits 蒸馏85.5普通训练与 Logits 蒸馏结合90.3普通训练与 Neck 蒸馏结合91.6表 2 剪枝有效性实验训练方式mAP/%预训练模型87.7初始化训练74.5正常训练83.8图 5 本文模型与其他模型的性能对比3 总结本文提出一种基于剪枝 YOLOv7 模型的农业病虫害检测方法，将 ResRep 剪枝应用到模型中，并将普通训练与 Neck 蒸馏相结合，实现了无损剪枝。实验表明，本文提出的方法十分有效地降低了 YOLO 模型的复33杂度，并提高了模型的泛化能力，剪枝后模型减少了 62%的计算量和 75%的参数量，同时检测精度提升了3.9%；提出的蒸馏策略使小模型精度达到 91.6%，相比较普通蒸馏策略精度提高了 1.2%，验证了本文精度恢复策略的有效性。本文开发的算法模型压缩流程未改变模型本身结构，对于卷积神经网络具有一定的通用性，最终成功提高了农业病虫害检测的精确度与效率，对相关领域研究具有实际意义。本文数据收集自真实农业病虫害图片样本，未来工作中，在保证模型检测精度前提下，还需要收集更多种类的数据，增强对不同种类病虫害问题的检测效果，提升模型的适用性。参考文献 1 SINGH P,VERMA A,ALEX J S R.Disease and pest infection detection in coconut tree through deep learning techniques J.Computers and Electronics in Agriculture,2021,182:105986.2 LIU B,DING Z F,TIAN L L,et al.Grape leaf disease identification using improved deep convolutional neural networks J.Frontiers in Plant Science,2020,11:1082.3 吕培鑫.基于无人机航拍图像的大豆病虫害目标检测算法研究 D.济南:山东大学,2022.4 林少丹,李效彬,杨碧云,等.适用于小样本显微图像数据集的柑橘黄龙病快速诊断模型 J.农业工程学报,2022,38(12):216-223.5 JIANG K L,XIE T Y,YAN R,et al.An attention mechanism-improved YOLOv7 object detection algorithm for hemp duck count estimation J.Agriculture,2022,12(10):1659.6 WANG Y,YAN G,MENG Q L,et al.DSE-YOLO:Detail semantics enhancement YOLO for multi-stage strawberry detection J.Computers and Electronics in Agriculture,2022,198:107057.7 ZHANG W,HUANG H,SUN Y Q,et al.AgriPest-YOLO:A rapid light-trap agricultural pest detection method based on deep learning J.Frontiers in Plant Science,2022,13:1079384.8 XUE Z Y,XU R J,BAI D,et al.YOLO-tea:A tea disease detection model improved by YOLOv5 J.Forests,2023,14(2):415.9 YUAN W A.Accuracy comparison of YOLOv7 and YOLOv4 regarding image annotation quality for apple flower bud classification J.AgriEngineering,2023,5(1):413-424.10 WANG C Y,BOCHKOVSKIY A,LIAO H Y M.YOLOv7:trainable bag-of-freebies sets new state-of-the-art for real-time object detectors C/2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Vancouver,BC,Canada.IEEE,2023:7464-7475.11 LIU Z,LI J G,SHEN Z Q,et al.Learning efficient convolutional networks through network slimming C/2017 IEEE International Conference on Computer Vision(ICCV).Venice,Italy.IEEE,2017:2755-2763.12 梁晓婷,庞琦,杨一,等.基于 YOLOv4 模型剪枝的番茄缺陷在线检测 J.农业工程学报,2022,38(6):283-292.13 DING X H,HAO T X,TAN J C,et al.ResRep:lossless CNN pruning via decoupling remembering and forgetting C/2021 IEEE/CVF International Conference on Computer Vision(ICCV).Montreal,QC,Canada.IEEE,2021:4490-4500.14 LIN M B,JI R R,WANG Y,et al.HRank:filter pruning using high-rank feature map C/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR).Seattle,WA,USA.IEEE,2020:1526-1535.15 HINTON G,VINYALS O,DEAN J.Distilling the knowledge in a neural network EB/OL.2015:arXiv:1503.02531.http:/arxiv.org/abs/1503.02531.pdf.16 PARK J,NO A.Prune your model before distill it C/AVIDAN S,BROSTOW G,CISS M,et al.European Conference on Computer Vision.Cham:Springer,2022:120-136.17 毛剑.基于 YOLOV7 蒸馏模型的道路缺陷检测算法研究 J.现代制造技术与装备,2023,59(2):3.18 刘雨青,隋佳蓉,魏星,等.基于轻量级 YOLOv4 的小目标实时检测 J.激光与光电子学进展,2023,60(6):107-114.潘伟，朱镕，史润发，等：融合剪枝与知识蒸馏的农业病虫害检测