基于改进YOLOv5的新疆棉花幼苗与杂草识别方法研究.pdf

第 51 卷收稿日期：2022年11月3日，修回日期：2022年12月19日基金项目：科技部科技创新2030-“新一代人工智能”重大项目（编号：2022ZD0115805）；新疆维吾尔自治区重大专项（编号：2022A02011-3）资助。作者简介：杜晨，男，硕士，研究方向：计算机视觉、农业信息化。冯向萍，女，硕士，副教授，研究方向：计算机应用。李永可，男，博士，副教授，研究方向：数字农业。张世豪，男，硕士，研究方向：计算机视觉、目标检测。舒芹，女，博士，研究方向：农业数字经济。赵昀杰，男，博士，研究方向：计算机视觉。1引言新疆作为全国第一大棉花种植中心，2021年棉花产量便已超过 500 万吨，占全国总产量的89.5%1。目前，推动新疆棉花“由量向质”转型，是增强新疆棉花竞争力、确保有效供给率以及带动相关产业可持续发展的必由之路。杂草作为棉花生产中的主要威胁要素之一，虽然大面积喷洒除草剂基于改进 YOLOv5 的新疆棉花幼苗与杂草识别方法研究杜晨1冯向萍1李永可1张世豪1舒芹2赵昀杰1（1.新疆农业大学计算机与信息工程学院乌鲁木齐830052）（2.新疆农业大学经济管理学院乌鲁木齐830052）摘要目标检测同农业发展相连结是农业生产走向智慧化的必由之路。研究把深度学习技术应用于杂草检测，提出改进YOLOv5的棉田杂草检测模型。首先，将YOLOv5主干网络中的卷积模块替换为Ghost卷积，实现模型轻量化；其次，使用对所有IoU loss增加幂的-IoU loss替换YOLOv5默认的CIoU loss，以提高模型前期收敛速度；然后，加入加权双向特征金字塔（BiFPN）。改进的模型可实现参数量降低56.8%、浮点运算次数降低65.8%的情况下mAP仅降低1.61%，可满足实际应用和移动端部署的要求。最后，使用解耦头（Decouple Head）替换默认YOLO Head，比官方YOLOv5的mAP提高1.76%，证明解耦头可以提高模型精度。关键词棉花幼苗；目标检测；杂草识别；轻量化模型；YOLO Head 解耦头中图分类号TP183；TP312DOI：10.3969/j.issn.1672-9722.2023.05.030Research on the Identification Method of Cotton Seedlings andWeeds in Xinjiang Based on the Improved YOLOv5DU Chen1FENG Xiangping1LI Yongke1ZHANG Shihao1SHU Qin2ZHAO Yunjie1（1.College of Computer and Information Engineering，Xinjiang Agricultural University，Urumqi830052）（2.College of Economics and Management，Xinjiang Agricultural University，Urumqi830052）AbstractLinking target detection with agricultural development is the only way for agricultural production to become smart.The study applies deep learning techniques to weed detection and proposes an improved YOLOv5 weed detection model for cottonfields.First，the convolution module in the YOLOv5 backbone network is replaced with Ghost convolution to achieve a lightweightmodel.Second，the default CIoU loss of YOLOv5 is replaced with an-IoU loss that adds powers to all IoU losses to improve thepre-convergence speed of the model.Then，a weighted bi-directional feature pyramid（BiFPN）is added.The improved model canachieve only 1.61%reduction in mAP with 56.8%reduction in the number of parameters and 65.8%reduction in the number of floating-point operations，which can meet the requirements of practical applications and mobile deployments.Finally，Decouple Head isused to replace the default YOLO Head，the mAP is improved by 1.76%compared with the official YOLOv5，which proves that theDecouple Head can improve the model accuracy.Key Wordscotton seedlings，target detection，weed identification，lightweight model，YOLO Head decouple headClass NumberTP183，TP312总第 403 期2023 年第 5 期计算机与数字工程Computer&Digital EngineeringVol.51 No.511442023 年第 5 期计算机与数字工程可以抑制杂草生长，但若一味墨守成规的使用此种效率低且成本高的人工除草方式，将严重影响生态环境，同时也会降低土壤肥力，致使棉花品质下降24。为避免此类问题发生，本文将深度学习同农业发展相连结，通过图像处理与分析，精准辨别棉花生长中产生的杂草类型及其定位，高效智能除草，以此增进棉花产量与品质5。就数字图像处理的杂草识别现状来看，关键在于运用颜色、叶片形状和叶面纹理等多个特点的差异进行杂草识别68。就卷积神经网络的杂草识别现状来看，学者们利用深度学习中关键的网络模型CNN，对图像特征进行研究911，从而达到杂草特征自动提取的目的，增加识别准确率。对深度目标检测的杂草识别现状来看，部分学者运用YOLO算法将目标检测任务转换成一个回归问题，利用单阶段检测来提升检测速度1214。上述有关图像识别的研究为我国农业智能化发展提供了有力的学术与技术支持，但这些方法多以农作物为研究对象，特点单一，识别对象多为单独个体，事实上棉花幼苗和杂草的生长往往呈现出纵横交错的态势。综上所述，为解决交叉生长环境下棉花幼苗和杂草的识别难题，本文以新疆棉花田间典型杂草为主要研究对象，构建深度卷积神经网络，针对复杂植株特征，采用当下热门的目标检测算法，设计构建出一个可实现大田环境下棉花幼苗和杂草识别的网络识别模型，提高对杂草植株的识别率。2杂草检测算法原理2.1YOLOv5目标检测模型YOLOv5 模型是一种端到端的单步目标检测模型，它的推理速度较快且模型部署成本较低。模型中囊括 Input、Backbone、Neck 以及 Prediction 这四大板块。从图1可见新版本的YOLOv5模型结构图，多数的激活函数皆应用了SiLU，其特征为无上界、有下界、平滑以及非单调。它是处于线性函数与ReLU函数之间的平滑函数。由于Conv层相较于普通卷积能够降低采样所导致的信息缺失，所以此版本用Conv替代了第一层的Focus，但是其计算速度则相对较慢。除此之外，还运用SPPF（简化的空间金字塔池化）替换了SPP结构，SPPF将输入特征串行利用多个5*5大小的MaxPool层进行替换，从而提高计算速度。2.2改进YOLOv5目标检测算法本文在前人研究的基础上，提出基于YOLOv5模型的改进网络，让模型即能够增强检测精度还可以减少参数量，让在高通量表型平台上操纵困难的问题得以缓解。第一，引进Ghost模块减轻网络复杂度；第二，利用 BiFPN（加权双向特征金字塔网络）增强检测率；第三，运用IoU loss替换 CIoULoss，以此提升收敛速度；第四，对预测头 YOLOHead进行解耦，从而增加精度。具体改进如下所示。InputBackboneConvConvC3ConvC3ConvC3NeckConvC3ConvC3ConvC3SPPFConvC3UpsampleConcatUpsampleConcatC3ConvConcatConcatDetectOutput图1YOLOv5 模型结构图1）Ghost模块从图 2 可见，Ghost 模块中囊括了 1 个少量卷积、1 个总体恒等映射以及 m （s-1）个线性运算。在堆叠卷积层中能够获取充裕的特征信息，冗余信息也被收纳其中。虽然便于网络对特征信息有着更加详细的认识，但是计算量也会相应增加。所以运用一般卷积生成少量的特征图，接下来对上述所得的特征图展开廉价线性操作，从而生成Ghost特征图，最后把二者按照通道进行凭拼接，以此生成充沛的特征图来匹配既定的输出通道数。InputConvIdentify12kOutput图2Ghost模块2）-IoU loss早期的研究多数选取Ln-norm进行BBox的回归，但是，研究发现IoU损失对BBox存在尺度不变性，对于检测器的训练有着一定的帮助，然而，当预测框和 Ground Truth不重叠时出现了几种特殊情况导致无法准确判断预测框和 Ground Truth的真实位置情况引发梯度消失的问题，这会导致模型收敛速度慢并影响检测器的准确度。为了更准确地描述两者的位置关系以缓解梯度消失问题，启发了1145第 51 卷几种基于 IoU 损失的改进设计。经过前人的实验发现，当的取值为3时，在大多数情况下可取得较好的表现，且优于现有的IOU损失。当的取值大于 1 时，会在训练过程中增加对高 IOU 目标的权重，使得网络的预测结果更加精准。3）BiFPN（加权双向特征金字塔网络）由于在网络训练时，各类目标的尺寸大小皆不统一，使得卷积过程中，大目标的特征能够伴随卷积的深入从而保留，小目标的特征则有可能被隐没，所以把具有相同目标的不同深度的特征层融合则势在必行。从图 3 可见，BiFPN 分别对 FPN 和PANet进行改善。第一，在FPN模块中添加一条自底向上的通道，让底部的信息可以更加便捷地上传至顶部，从而生成路径聚合网络；第二，删除仅有1个输入或输出的节点；第三，如果输入和输出的结点在同一层，那么在输入/输出特征图间增加1个跳跃连接。由此则可以在同等计算成本的条件下，将更多的特征融合进来。同时让每个输入增加一个额外的权重，并让网络学习每个输入特性的重要性。（a）FPN（b）PANet（c）BiFPNP7P6P5P4P3P7P6P5P4P3P7P6P5P4P3图3加权双向特征金字塔网络4）YOLOv5解耦头在进行目标检测的过程中，分类任务与回归问题间始终有着巨大的冲突。所以，在诸多的单阶段以及两阶段检测器中，包含着用于分类与定位的解耦头。GE.，et al.16把检测头解耦，使得网络收敛速度大幅提升，同时提高了网络检测精度。由于分类任务与回归问题间具有一定的冲突，所以本文把YOLOv5的检测头由原来的耦合变更为解耦，其结构图如图4所示。首先，本文运用1*1卷积层把原先YOLOv5的输出通道数量缩减至256，然后增加2个平行的分支，利用2层3*3卷积层分别运用在分类和回归任务中，最后采用1*1卷积层来调节最终通道数。InputHW256HW25622HW256HWanchorCHWanchor4HWanchor1图4DecoupleHead 结构图3实验结果及分析3.1实验环境与参数设置本研究使用的处理器为 11th Gen Intel（R）Core（TM）i7-11800H 2.30GHz，显卡为 NVIDIAGeForce RTX 3060 Laptop，内存为 16GB，Python 版本为3.7，图像尺寸为1024，批次大小设置为10，深度学习框架使用 Pytorch1.8.0 版本、CUDA 版本为11.0。3.2数据集及预处理本文以棉花幼苗和田间的杂草作为识别对象。2022年5月至7月在新疆沙雅县海楼镇乔格铁热克村试验田和昌吉市华兴农厂试验田，分18个阶段（每阶段相差35天），总共拍摄16384张样本图像。实验中把数据集依照8 1 1的比例进行划分，分为训练集、验证集以及测试集，然后把划分后的数据集用于本实验，保证每种模型的训练皆选用一模一样的数据。数据集中共有5类数据，分别为棉花幼苗、龙葵、小藜、反枝苋与其他杂草，具体样本数量详见表1。在实验过程中利用随机翻转、随机缩放、随机擦除、随机裁减等方式以及 Mosaic、Mixup方法展开数据增强操作。图 5 可见数据增强后的效果。Mosaic数据增强选择4张图片，按照上述方法处理杜晨等：基于改进YOLOv5的新疆棉花幼苗与杂草识别方法研究11462023 年第 5 期计算机与数字工程完毕后开始随机编排与拼接，增加 BatchSize的同时有效降低了显存占用率，还可以扩大原始数据集。Mixup算法把各类图片相融合，在丰富了重叠杂草样本数量的同时，又让网络可以在测试阶段更为强大。表1样本数量杂草类别棉花幼苗龙葵小藜反枝苋其他杂草数量89341172117611333969（a）Mosaic（b）Mixup图5Mosaic和Mixup数据增强3.3评价指标本实验中目标检测模型的衡量标准为mAP0.5、mAP0.5：0.95、参 数 量、浮 点 运 算 次 数（GFLOPs）、模型大小以及FPS，重叠阈值为0.5。具体含义如下：1）mAP0.5IOU 阈值为 0.5时的平均 AP，展现模型的识别能力；2）.mAP0.5：0.95IOU阈值为从 0.5到 0.95，步长为 0.05时各个 mAP的平均值，展现模型的定位效果、边界回归能力；3）参数量、浮点运算次数（GFLOPs）分别从时间和空间上衡量模型的复杂度；4）FPS代表每秒检测图像的数目，值越大检测速度越快。当IoU高于重叠阈值时，则代表产生了一个真阳性（TP）；当IoU低于阈值或者没有生成相关的真实框时，则代表产生了一个假阳性（FP）。被准确辨别的目标和测试集中目标个数的比值则被定义为召回率。3.4消融实验为了进一步考证本文在实验中所提模型的检测性能，推敲各种改进方法对网络整体性能的影响，在YOLOv5l的基础上进行10组消融实验，选择逐渐增加的方法一步步开始优化，观测各类改进方法对网络性能的影响，并对比参数量与复杂度更高YOLOv5x官方模型。具体实验过程如表2所示。表2消融实验过程序号1234实验过程采用YOLOv5l的官方预训练权重展开实验，然后将训练结果作为本实验的Baseline。把YOLOv5l中的卷积模块更替为GhostConv模块，从而大幅降低模型参数量和浮点运算次数，但会使得模型精度有所下降。考证模型在加入Bifpn特征金字塔后是否会对模型精度产生影响。检测把loss函数更换为-IoU的效果实证研究表明，上述改进策略均有成效之后，本文采用所有的改进策略，然后把模型命名为：YOLOv5l_D。本实验还策划在不改变BackBone以及Neck的情况下，对YOLO Head展开解耦的实验，研究预测头解耦对模型性能的影响程度。每组实验使用相同的训练技巧，基本采用YOLOv5官方推荐的参数设置，实验结果如表3所示。表3不同模型性能对比模型YOLOv5lYOLOv5l_BifpnYOLOv5l_-IoUYOLOv5l_GhostYOLOv5l_Ghost_BifpnYOLOv5l_Ghost_-IoUYOLOv5l_Ghost_Bifpn_-IoU（YOLOv5l_D）YOLOv5l_DHeadYOLOv5l_DHead_GhostYOLOv5xmAP_0.5/%85.7486.8486.6384.5885.4685.3285.8987.2586.0385.92mAP_0.5:0.95/%66.8567.6467.5563.7964.7364.6865.2468.6165.7667.14Parameters/M46.1346.3946.1318.8319.1118.8319.9253.6921.5694.08FLOPs/G107.7108.5107.735.736.435.736.8148.754.6219.41147第 51 卷3.5实验分析Ghost模块引入后，mAP值降低了3.06%，但模型参数量降低了59.2%，计算量降低了66.9%，模型轻量化效果明显；加入Bifpn特征金字塔后mAP值提高了0.94%；使用-IoU替换yolov5默认的CIoU损失函数可在不提高计算量和参数量的情况下将mAP提高0.89%。综合使用上述改进策略后的模型YOLOv5l_D可实现参数量降低56.8%、计算量降低 65.8%的情况下 mAP 值仅降低 1.61%。改进后的YOLOv5l模型检测结果和未改进的模型对比如图6所示，对于部分遮挡的杂草检测效果有所下降，但检测速度由1268ms/张提高至1072ms/张，检测速度显著提升，证明了以上模型改进方法的有效性。（a）YOLOv5l检测结果（b）YOLOv5l_D检测结果图6改进的YOLOv5l与原始YOLOv5l对比使用解耦头DecoupleHead替换YOLO Head后检测结果如图7所示，高亮部分显示出只有改进后的模型才可检测出部分重叠和遮挡较严重的杂草，检测效果相较改进前有较明显的提升，比原始版本YOLOv5l的 mAP提高了 1.76%；替换 Ghost模块后的模型mAP也可提高1.97%，而模型复杂度更高的YOLOv5x模型并不能有效提高 mAP值，证明了对YOLO Head解耦后可以有效提升模型精确度。（a）YOLOv5l检测结果（b）YOLOv5l_DecoupleHead检测结果图7YOLO Head解耦前后对比4结语本文以新疆棉花田间典型杂草为主要研究对象，由于传统杂草检测方法的缺陷，无法对杂草种类进行精准识别，检测难度大。基于此，为提高杂草植株的识别率，本文将深度学习与图像处理相结合，基于 YOLOv5 提出改进的目标检测算法 YOLOv5l_D 与 YOLOv5l_DHead 模型。在原 YOLOv5算法的基础上，引入Ghost模块对网络进行轻量化处理；然后，将CIoU loss替换为-IoU loss，以此提高模型前期收敛速度；最后在网络中加入加权双向特征金字塔（BiFPN），从而更好的融合模型的多尺度特征，提升模型检测率。相比原YOLOv5模型来说，改进的模型在参数量与浮点运算次数分别下降了56.8%和65.8%的基础上，mAP仅下降了1.61%，可满足实际应用与移动端部署的要求。本研究还提出使用解耦头（Decouple Head）替换默认 YOLOHead，相比原 YOLOv5 的 mAP 增加了 1.76%，由此可见，解耦头可以提升模型精度。改进后的 YOLOv5模型对杂草目标的检测准确率明显提高，通过图像处理与分析，精准辨别棉花生长中产生的杂草类型及其定位，高效智能除草，以此增进棉花产量与品质，实现大田环境下棉花幼苗和杂草准确检测，在智慧农业发展等方面具有潜在实用价值。参 考 文 献1中华人民共和国国家统计局.国家统计局关于2021年棉花产量的公告 EB/OL.2021-12-14/2022-02-18.National Bureau of Statistics of the Peoples Republic ofChina.Bulletin of the National Bureau of Statistics on cotton production in 2021EB/OL.2021-12-14/2022-02-18.2张慧春，周宏平，郑加强，等.植物表型平台与图像分析技术研究进展与展望 J.农业机械学报，2020，51（03）：1-17.ZHANG Huichun，ZHOU Hongping，ZHENG Qianqiang，et al.Research progress and prospect of plant phenotypeplatform and image analysis technology J.Journal of Agricultural Machinery，2020，51（03）：1-17.3王术波，韩宇，陈建，等.基于深度学习的无人机遥感生态灌区杂草分类 J.排灌机械工程学报，2018，36（11）：1137-1141.WANG Shubo，HAN Yu，CHEN Jian，et al.Weed classification in remote sensing ecological irrigation areas byUAV based on deep learning J.Journal of Drainage andIrrigationMachineryEngineering，2018，36（11）：杜晨等：基于改进YOLOv5的新疆棉花幼苗与杂草识别方法研究11482023 年第 5 期计算机与数字工程1137-1141.4谢志坚，李海蓝，徐昌旭，等.两种除草剂的土壤生态效应及其对后茬作物生长的影响 J.土壤学报，2014，51（04）：880-887.XIE Zhijian，LI Hailan，XU Changxu，et al.Soil ecologicaleffects of two herbicides and their effects on the growth ofsubsequent cropsJ.Journal of Soil Science，2014，51（04）：880-887.5傅雷扬，李绍稳，张乐，等.田间除草机器人研究进展综述 J.机器人，2021，43（06）：751-768.FU Leiyang，LI Shaowen，ZHANG Le，et al.A review ofthe research progress of field weeding robots J.Robotics，2021，43（06）：751-768.6谈蓉蓉.利用颜色和形状特征的杂草识别方法研究D.镇江：江苏大学，2009.TAN Rongrong.Research on weed identification methodusing colour and shape features D.Zhenjiang：JiangsuUniversity，2009.7邓向武，齐龙，马旭，等.基于多特征融合和深度置信网络的稻田苗期杂草识别 J.农业工程学报，2018，34（14）：165-172.DENG Xiangwu，QI Long，MA Xu，et al.Seedling weedidentification in rice fields based on multi-feature fusionand deep confidence networks J.Journal of AgriculturalEngineering，2018，34（14）：165-172.8胡嵘.基于数字图像处理玉米苗期田间杂草识别方法的研究 D.武汉：华中农业大学，2007.HU Rong.Research on weed identification method inmaize seedling field based on digital image processingD.Wuhan：Huazhong Agricultural University，2007.9孙俊，何小飞，谭文军，等.空洞卷积结合全局池化的卷积神经网络识别作物幼苗与杂草 J.农业工程学报，2018，34（11）：159-165.SUN Jun，HE Xiaofei，TAN Wenjun，et al.Null convolution combined with global pooling for convolutional neuralnetwork to identify crop seedlings and weeds J.Journalof Agricultural Engineering，2018，34（11）：159-165.10Lecun Y，Bengio Y，Hinton G.Deep learning J.Nature，2015，521（7553）：436.11王璨，武新慧，李志伟.基于卷积神经网络提取多尺度分层特征识别玉米杂草 J.农业工程学报，2018，34（05）：144-151.WANG Can，WU Xinhui，LI Zhiwei.Extracting multiscale hierarchical features based on convolutional neuralnetworks for identifying maize weeds J.Journal of Agricultural Engineering，2018，34（05）：144-151.12权龙哲，夏福霖，姜伟，等.基于YOLO v4卷积神经网络的农田苗草识别研究 J.东北农业大学学报，2021，52（07）：89-98.QIAN Longzhe，XIA Fulin，JIANG Wei，et al.Researchon identification of seedling grasses in agricultural fieldsbased on YOLO v4 convolutional neural networkJ.Journal of Northeast Agricultural University，2021，52（07）：89-98.13樊湘鹏，周建平，许燕，等.基于优化Faster R-CNN的棉花苗期杂草识别与定位 J.农业机械学报，2021，52（05）：26-34.FAN Xiangpeng，ZHOU Jianping，XU Yan，et al.Weedidentification and localization in cotton seedlings basedon optimized Faster R-CNN J.Journal of AgriculturalMachinery，2021，52（05）：26-34.14Redmon J，Divvala S，Girshick R，et al.You only lookonce：unified，real-timeobject detectionC/2016IEEE Conference on Computer Vision and Pattern Recognition.New York：IEEE Press，2016：779-788.15Glorot X，Bordes A，Bengio Y.Deep sparse rectifierneural networks C/Proceedings of the fourteenth international conference on artificial intelligence and statistics.JMLR Workshop and Conference Proceedings，2011：315-323.16GE Z，LIU S，WANG F，et al.Yolox：Exceeding yoloseries in 2021 EB/OL.（2021-08-16）2022-08-16.https：/arxiv.org/abs/2107.08430.法 J.电子测量技术，2019，42（22）：145-149.YAN Han，ZHANG Xuxiu，DING Mingyan.An improved non-local means denoising algorithmJ.ElectronicMeasurementTechnology，2019，42（22）：145-149.15刘祝华，陈凌燕.保留细节的迭代非局部均值超声波图像去噪J.计算机工程与设计，2020，41（2）：477-482.LIU Zhuhua，CHEN Lingyan.Detail preserving interative non-local means algorithm for de-speckling of ultrasound imagesJ.Computer Engineering and Design，2020，41（2）：477-482.（上接第1143页）1149