基于CBAM-YOLOv5s模型的温室作物病害检测研究.pdf

第 15 卷第 4 期南阳理工学院学报Vol.15 No.42 0 2 3 年 7 月JOURNAL OF NANYANG INSTITUTE OF TECHNOLOGYJul.2023基金项目:河南省科技攻关项目(222102320375);南阳市科技攻关项目(KJGG017)作者简介:黄奇瑞(1985-),男,硕士,讲师,主要研究方向:图像处理、深度学习、智能优化算法。基于 CBAM-YOLOv5s 模型的温室作物病害检测研究黄奇瑞,闫朝华(南阳理工学院 河南 南阳 473004)摘 要:以温室马铃薯为研究对象,设计一种融合卷积块注意力机制(CBAM)的 YOLOv5s 植物病害检测模型,通过引入 CBAM 机制来提升 YOLOv5s 模型对马铃薯叶片中病害区域的显著度,使病害目标在检测模型中的特征表达能力得到增强,达到提高病害目标检测精度的目的。试验结果表明:改进的 CBAM-YOLOv5s 模型 mAP 达到了98.1%,比原始 YOLOv5 模型 mAP 提升 2.3%,比 SSD 和 FasterRcnn 模型 mAP 分别提高 8.7%和 19%,为马铃薯叶片病害检测提供了一种可靠的检测方法,实现对温室作物叶片病害的精准识别和定位。关键词:智慧农业;作物病害检测;CBAM;YOLOv5;深度学习中图分类号:S432;TP18;TP391 文献标识码:A 文章编号:1674-5132(2023)04-0040-05DOI:10.16827/ki.41-1404/z.2023.04.008 温室农作物由于生长环境的局限性,存在换季连作、重茬、施肥施药不规范等问题,造成温室作物更容易发生病害,且病害种类繁多、不易识别,对温室作物的生长和产量造成了很大的损害。传统的农作物病害识别通常需要经验丰富的专业人员进行人工目视检测,耗力费时且易出现误判,因此对农作物病害识别工作进行科学的探索和研究势在必行。近年来,随着深度神经网络在图像处理领域的广泛应用,国内外学者对深度学习算法在农作物病害检测中的应用展开了研究1-2。Mohanty3等使用 AlexNet 和 GoogLeNet 两种不同的深度卷积神经网络来识别 14 种作物物种和 26 种疾病,通过设置不同的参数训练模型,取得了较高的识别准确率。Sun4等通过对深度神经网络卷积层的输入数据进行批归一化处理,从而加速网络收敛、提高识别精度。Ferentions 等5利用深度神经网络的多层级网络结构来检测 25 种不同作物的患病及健康概率,取得了较好的效果。赵春霞6使用 Pytorch 框架搭建Res Net18 网络模型成功实现了海量图像的高级抽象特征自动提取功能,在番茄数据集上准确率达到92.7%。杨英茹等7提出一种结合颜色纹理特征的CCL-SVM 方法对复杂环境下的番茄叶片图像进行病害识别,测试识别率达到 97.5%。温钊发等8针对现有病害识别模型参数量大、鲁棒性低、泛化性弱等问题,在 MobileNetV2 网络结构的基础上,提出了轻量级 MIE_Net 网络,以复杂环境中两种作物 11 种病害类别为实验对象,总体识别率达到 95.79%。以上文献利用不同的神经网络来实现对植物病害的检测并取得了较好的效果,但实际上由于温室作物病害种类繁多、识别困难,针对温室作物病害检测的研究甚少。因此,本文设计了一种融合卷积块注意力机制(CBAM)的 YOLOv5s 植物病害检测模型,以常见的温室作物马铃薯为实验对象,通过图像增强和标注技术构建叶片病害数据集,利用 K-means 算法调整初始锚框,在此基础上通过引入CBAM 机制来增强 YOLOv5s 模型对病害目标的特征表达能力,进而提高对温室马铃薯叶片病害的检测精度。1 YOLOv5 目标检测算法原理YOLOv5(You Only Look Once version 5)是一种基于深度学习的端到端的目标检测模型,可以直接从原始视频或者图像中检测和定位目标9。它使用卷积神经网络(CNN)来学习图像中物体的特征,并使用多尺度预测和网格分割来检测和定位目标。YOLOv5 的优势在于其高效的检测速度和较低的计算资源消耗,并且在不同分辨率的图像上均能较好地工作。通过结合深度卷积神经网络和目标检测技术,YOLOv5 能够在单个前向传递中实现实时的叶 第 4 期黄奇瑞等:基于 CBAM-YOLOv5s 模型的温室作物病害检测研究片病害检测,并能够在各种复杂的农田环境中进行准确的识别和分类,为农作物叶片病害检测提供了一种快速准确的解决方案。本文采用的 YOLOv5s 模型由 4 部分组成,分别为 Input、Backbone、Neck 和 Prediction,其网络结构如图 1 所示。图 1 YOLOv5s 网络结构图 Input 使用的数据增强方式是 Mosaic 方式,对输入的数据集进行随机缩放、随机剪裁和随机拼接,可以极大地丰富输入的数据集,从而提高训练模型的鲁棒性。Backbone 作为主干网络其主要功能是提取特征,也就是提取视频或者图片中的信息,供后面的网络使用。特征提取的能力会直接影响整个网络的性能,YOLOv5s 的 Backbone 相比于之前的版本提出了新的 Focus 结构,Focus 结构通过切片操作将 443的特征图进行切片处理,变成 2212 的特征图,输入通道扩充了 4 倍,最后将得到的新图片再进行卷积操作。Neck 一般采用 FPN+PAN 结构,其作用是更好地融合或提取 Backbone 给出的特征,从而提高网络的性能。FPN 是自顶向下将强语义特征传递下来,而 PAN 则是将浅层的定位信息传递给深层,增强多尺度定位能力。Prediction 是网络输出端,其作用是利用前面网络提取的特征,做出预测。2 改进的 CBAM-YOLOv5s 检测模型 YOLOv5s 模型在引入 CBAM 注意力机制模块10后其网络结构如图 2 所示。2.1 锚框重设锚框(anchor boxes)是一组宽高比固定的初始候选框,其大小设定直接影响 YOLOv5s 模型的检测效果。YOLOv5s 模型的初始锚框是根据 COCO 数据集中物体真实框的大小进行聚类后得到的,由于本文实验所用叶片数据集目标尺寸较小,初始锚框大小并不适合,为了提高锚框与对象框的匹配概率,本文利用 K 均值聚类算法(K-means)重新生成锚框。首先随机设置 9 个初始聚类中心,通过 K-means 算法对数据集进行聚类,重新生成小、中、大 3个尺度的预设锚框。初始锚框和重设锚框的大小对比如表 1 所示。14南阳理工学院学报第 15 卷图 2 CBAM-YOLOv5s 模型网络结构图2.2 改进的 YOLOv5s 模型在温室采集图像数据时由于背景的复杂性,叶片图像中的病害目标往往不太显著,为此,本文通过在 YOLOv5s 模型中融入 CBAM 注意力机制模块来提升模型的特征提取能力。CBAM 模块包含通道注意力模块(CAM)和空间注意力模块(SAM)两个子模块,可以在通道和空间两个维度上进行注意力运算,增强这两个维度上的关键特征,其结构如图 3 所示。其中,F 和 FS分别表示原始特征图和经过CBAM 模块增强后的特征图。表 1 实验数据集锚框大小对比 特征图级别/下采样倍数P5/32P4/16P3/8初始锚框大小(116,90)(30,61)(10,13)(156,198)(62,45)(16,30)(373,326)(59,119)(33,23)K-means 聚类锚框大小(110,86)(78,78)(53,62)(270,183)(153,69)(85,97)(473,573)(134,152)(104,83)图 3 CBAM 模块结构图 首先将输入特征图 F 分别送入平均池化层(Average Pooling)和最大池化层(Max Pooling)来聚合 F 的空间信息,得到 F 的平均池化特征和最大池化特征,然后送入一个多层感知机网络(MLP),将输出的特征做逐元素求和并通过 sigmoid 函数激活,生成特征图 F 的通道注意力一维卷积 Mc(F),最后将其和特征图 F 做逐元素相乘,得到经 CAM 模块增强的特征图 Fc。接下来再将特征图 Fc分别送入平均池化层和最大池化层来聚合 Fc的通道信息,得到 Fc的平均池化特征和最大池化特征,然后再通过 77 的卷积和 sigmoid 函数激活,生成特征图 Fc的空间注意力二维卷积 Ms(Fc),最后将其和 Fc做逐元素相乘,得到经 CBAM 模块增强的最终特征图 Fs。CBAM 注意力机制的整体过程可用式(1)表示为Mc(F)=(MLP(AvgPool(F)+MLP(MaxPool(F)Fc=Mc(F)FMs(Fc)=(f77(AvgPool(Fc);MaxPool(Fc)Fs=Ms(Fc)Fc(1)24 第 4 期黄奇瑞等:基于 CBAM-YOLOv5s 模型的温室作物病害检测研究3 实验结果与分析3.1 实验环境本实验所有网络模型均采用相同的实验环境在本地进行训练。在硬件配置方面:CPU 处理器采用Intel(R)Core(TM)i7-9700K 3.60 GHz,GPU 图形处理器使用 NVIDIA GeForce RTX 3070 Ti,显存为 8 G,RAM 为 16 G;在软件配置方面:系统采用Microsoft Windows 10 专业版(64 位),使用深度学习框架 pytorch 1.7,CUDA v10.1,CUDNN v7.6,Numpy=1.19.5,Pandas=1.1.5 完成实验。3.2 数据集制作本实验数据集来源于相机采集的温室大棚下的马铃薯病害叶片图像。其中包含早疫病、晚疫病以及健康叶片,共计 5736 张图像。采用 Labeling 工具对叶片图像进行标注,标注后的图像如图 4 所示。然后通过亮度调整、高斯滤波、旋转、缩放和平移等数据增强方式,进一步提高实验数据集的多样性,进而获得更好的训练效果。再按照 8:1:1 的比例划分为训练集、验证集和测试集。图 4 标注后的数据集图像3.3 评价指标为了评价改进后的 CBAM-YOLOv5s 模型的有效性,采用 P(Precision)、R(Recall)、mAP(mean of Average Precision)指标来进行综合评价。P 是预测为正的样本中,实际为正的样本占比,即查准率;R是实际为正的样本中,预测为正的样本占比,即查全率;mAP 是所有类别的平均准确率。其表达式分别为P=TPTP+FP(2)R=TPTP+FN(3)mAP=nkAPkn(4)式中:TP 是预测为正的正样本;FP 是预测为负的负样本;FN 是预测为正的负样本。3.4 试验结果及分析为了验证本文设计模型对马铃薯叶片病害检测的有效性,选择原始 YOLOv5、SSD 以及 FasterRcnn共 3 个模型进行实验对比。在制作好的数据集上对上述 4 个模型分别进行训练,然后对其中的每一种病害类型分别进行测试,结果如表 2 所示。由表 2可以明显看出,改进后的 CBAM-YOLOv5s 模型在检测马铃薯叶片单一类型病害时,P、R、AP 评价指标均高于原始 YOLOv5、SSD 和 FasterRcnn 模型,说明改进后模型可以用于马铃薯病害叶片的检测。为了进一步验证改进后的 CBAM-YOLOv5s 模型的检测性能,利用训练好的 4 个模型对实验数据集中所有病害类别同时进行检测,4 种模型的识别精度分别如表 3 所示。表 2 不同类型病害识精度对比 模型病害类型PRAPCBAM-YOLOv5s早疫病97.8%89.7%97.1%晚疫病98.2%94%98.9%健康叶片96%96.2%98.3%YOLOv5早疫病97%89.3%95.2%晚疫病97.4%95.7%96.5%健康叶片95.9%96.1%95.7%SSD早疫病77.3%71.81%85.26%晚疫病87.75%75.68%96.55%健康叶片95.18%96.05%86.39%FasterRcnn早疫病60%47.3%93.58%晚疫病86%86.04%88.62%健康叶片95%97.37%52.04%表 3 不同模型的识别精度 模型PRmAPCBAM-YOLOv5s97.38%95.16%98.1%YOLOv594.13%92.74%95.8%SSD81.18%89.40%89.4%FasterRcnn79.08%76.91%79.1%34南阳理工学院学报第 15 卷由表 3 可知,改进后的 CBAM-YOLOv5s 模型和原始 YOLOv5 模型相比,P、R 以及 mAP 指标分别提高了 3.25%、2.42%以及 2.3%,说明 YOLOv5s 模型利用 CBAM 模块的通道注意力使网络自动计算出每个通道的重要程度,然后与权重共享的多层感知机(MLP)进行叠加,使每个通道获得不同的权重进而强化了目标特征,即让检测网络的注意力偏向叶片图像病害区域,在增强叶片图像病害区域的同时弱化无关的背景区域,进而能够更准确地检测出病害目标,较好地解决了漏检问题。相比 SSD 模型和FasterRcnn 模型,评价指标也有较大程度的提高,充分说明了改进后 CBAM-YOLOv5s 模型在马铃薯叶片病害检测方面的优越性。4 结论本文利用改进的 CBAM-YOLOv5s 网络模型,对温室马铃薯常见的叶片病害进行检测和识别。通过数据增强和图像标注技术构建实验数据集,利用 K-means 算法对初始锚框进行调整,在此基础上引入CBAM 注意力机制来提高模型对叶片病害区域的识别精度。实验表明,相较于 YOLOv5、SSD 和 Faster-Rcnn 模型,改进后的 CBAM-YOLOv5s 模型检测精度均得到了一定程度的提高,充分验证了改进后模型对马铃薯叶片病害检测的有效性,为其他农作物的病害检测也提供了有益的借鉴。在接下来的研究中,考虑温室作物种类的多样性和温室环境的复杂性,可以采集不同温室作物叶片扩充实验数据集,同时采用更加高效的网络结构,进一步提高检测模型的鲁棒性和泛化能力。参 考 文 献1 翟肇裕,曹益飞,徐焕良,等.农作物病虫害识别关键技术研究综述J.农业机械学报,2021,52(7):1-18.2 苏令涛,李瑞泽,张功磊,等.基于深度学习的农作物病虫害识别研究J.数学建模及其应用,2022,11(4):1-12.3 MOHANTY S P,HUGHES D P,SALATHE M.Using deep learning for image-based plant disease detectionJ.Frontiers in plant science,2016,7(3):1419.4 SUN J,TAN W,MAO H,et al.Recognition of multiple plant leaf diseases based on improved convolutional neural network J.Transactions of the Chinese Society of Agri-cultural Engineering,2017,33(19):209-215.5 FERENTINOS K P.Deep learning models for plant disease detection and diagnosisJ.Computers and Electronics in Agriculture,2018,145:311-318.6 赵春霞.基于 ResNet18 的图像分类在农作物病虫害诊断中的应用J.农业与技术,2021,41(19):10-13.7 杨英茹,吴华瑞,张燕,等.基于复杂环境的番茄叶部图像病虫害识别J.中国农机化学报,2021,42(9):177-186.8 温钊发,蒲智,程曦,等.基于轻量级 MIE_Net 的田间农作物病害识别J.江苏农业学,2023,51(10):176-184.9 甄然,刘颖,孟凡华,等.基于 YOLOv5 的轻量化目标检测算法J.无线电工程,2023,53(6):1242-1250.10 蒋亚军,曹昭辉,丁椒平,等.基于改进 YOLOv5s 模型纸杯缺陷检测方法J.包装工程,2023,44(11):249-258.(责任编辑:丁 雪)RESEARCH ON GREENHOUSE CROP DISEASE DETECTION BASED ON CBAM-YOLOv5s MODELHUANG Qi-rui,YAN Chao-hua(Nanyang Institute of Technology,Nanyang 473004,China)Abstract:Taking greenhouse potatoes as the research object,this paper designed a YOLOv5s plant disease detection model integrating convolutional block attention mechanism(CBAM).CBAM mechanism was introduced to improve the significance of YOLOv5s model on disease regions in potato leaves,and enhance the feature expression ability of disease targets in the detection network.Then the detection precision of disease target is improved.The test results show that:The improved CBAM-YOLOv5s model mAP reached 98.1%,2.3%higher than the original YOLOv5 model mAP,8.7%higher than SSD and 19%higher than FasterRcnn model mAP,providing a reliable detection method for potato leaf disease detection.Achieve accurate identification and localization of greenhouse crop leaf diseases.Key words:smart agriculture;crop disease detection;CBAM;YOLOv5;deep learning44