改进的基于YOLOv5s苹果树叶病害检测_周绍发.pdf

杨 坚，钱 振，张燕军，等 采用改进 的复杂环境下番茄实时识别 农业工程学报，（）：，：，：袁自然，叶 寅，武 际，等 基于高光谱成像技术的辣椒叶片叶绿素含量估算 江苏农业科学，（）：，：，：金松林，来纯晓，郑 颖，等 基于特征选择和 模型的小麦抗寒性识别方法 江苏农业科学，（）：陕西省统计局，国家统计局陕西调查总队 陕西统计年鉴：北京：中国统计出版社，周绍发，肖小玲，刘忠意，等 改进的基于 苹果树叶病害检测 江苏农业科学，（）：改改进进的的基基于于 苹苹果果树树叶叶病病害害检检测测周绍发，肖小玲，刘忠意，鲁 力（长江大学计算机科学学院，湖北荆州）摘要：针对目前在复杂环境下苹果树叶病害检测准确度低、鲁棒性差、计算量大等问题，提出一种改进的基于 苹果树叶病害的检测方法。首先，该方法在 网络基础上，选择考虑方向性的 边框损失函数替代 边框损失函数，使网络训练和推理过程更快，更准确。其次，在特征图转换成固定大小的特征向量的过程中，使用了简单化的快速金字塔池化（）替换快速金字塔池化（）模块，在不影响效率的情况下丢失的信息更少。最后在主干网络中使用（）注意力机制，使网络准确的学习到每种病害的独有特征，并且使网络收敛更快。结果表明，相比于基准网络，改进后的 网络 精度为 ，计算量为，模型权重大小为 ，相对于基准，平均精度提升了 百分点、计算量降低了.、模型权重压缩了 。并适用于遮挡、阴影、强光、模糊的复杂环境。本研究所提出的方法，在降低了网络大小、权重、计算量的情况下提高了复杂环境下苹果树叶病害的检测精度，且对复杂环境具有一定的鲁棒性。在预防和治理苹果树叶病害上有较高的实际应用价值，在后续研究上，会扩充更多类别的病害数据集，部署到无人机等物联网设备，从而为实现智能果园种植提供技术参考。关键词：苹果树叶病害；目标检测；中图分类号：文献标志码：文章编号：（）收稿日期：基金项目：国家自然科学基金（编号：）。作者简介：周绍发（），男，湖北武汉人，硕士研究生，研究方向为深度学习与目标检测。：。通信作者：肖小玲，博士，教授，研究方向为智能信息处理、网络安全、云计算和无线网络。：。据国家统计局 年全国果园数据，苹果园的占比达到了，在所有种植水果种类中，是仅次于柑橘的第二大果类，其产量已经达到了 万。苹果产量受到气候、土壤地质、灌溉、病害等多种因素的影响。在众多因素中，苹果病害是影响产量的最重要因素之一，而树叶的病害是最常见的。苹果树叶病害的特点是种类多且某些病害表现相似，用肉眼难以区分，导致无法准确定位病害，最终导致产量下降。因此，准确识别出苹果树叶病害的类别，是防治病害与对症下药的重要前提。传统的病害检测方法主要为对含有病害的图片进行分析，一般是基于图片的机器学习方法，其代表方法有基于支持向量机（）和图片 特性分析，以及利用优化算法提高其他机器学习方法组合类方法。但是以上方法表现的好坏太依赖于特征提取的方法以及原本数学方法的局限。深度学习法对于图像的特征提取与整合有着较大的进步，已被用于各种植物病害检测。根据网络结构的不同，等使用改进的 （卷积江苏农业科学 年第 卷第 期神经网络）实现了对稻叶的常见病害检测并具有高精度实现效果；王超学等使用 来检测葡萄的病虫害并实现了实际部署；等使用 实现了低时延的玉米病害检测；等使用 实现了蔬菜病害检测，提高了对小范围病害的检测和定位效果；雷建云等使用改进的残差网络实现了多种类的水稻害虫识别，并实现了 的高准确率和强鲁棒性。上述方法大多数都能对研究目标实现较为准确的检测，但是很少考虑所提出方法在面对不同环境下的苹果树叶病害是否能够实现高准确率、更小计算量的检测。为解决此类问题，本研究提出一种以网 络 为 基 础，加 入 注意力机制，并使用简单化后的快速金字塔池化（）代替原有的快速金字塔池化（）网络，以期实现在复杂环境下高准确率的苹果树叶病害检测。材料与方法 数据集来源本研究的苹果树叶病害数据是自建数据集，一部分来自 ，为收集不同环境下的苹果病害图片，使用网络爬虫、谷歌搜索等技术获取另外一部分，总计 张，图片格式为，像素为 。为防止数据集过少产生过拟合和泛化性差的现象，通过旋转、平移、等比例缩放、垂直和水平翻转等数据增强方法，数据集总量为 张。叶片病害的种类有 类：蛙眼病（）、白粉病（）、锈叶病（）、斑点病（），具体见图。数据预处理及分析收集到的数据是没有标注或者标注不准确的。使用 对全部苹果树叶做病害标注。采用最大矩形框标注明显病害处，标注格式为 的 格式。每张图片至少有 个病害标注。叶片标注示例与标签分布见图。网络 网络是在 的基础上改进的 阶段（）目标检测方法，相较于生成候选区域（），再通过卷积神经网络预测目标的分类与定位的 阶段（）检测方法更加简洁有效。具体的改进是增加了自适应锚框和 算法聚类，并采用遗传算法在训练过程中调整锚框。使得整个训练过程可以找到更好的先验框，提高检测准确率。根据不同 的 使 用 场 景 目 的 有、等版本，为保证算法的实时性和大小可控，本研究选择了 版本，具体结构见图。江苏农业科学 年第 卷第 期 网络结构大致分成 个部分：输入（）、主干网络（）、颈部（）及预测头（）。首先输入部分是对图像进行预处理，如 增强。主干网络通过卷积神经网络提取图片特征信息，颈部负责将信息上采样，不同网络层的特征信息融合并将图像特征传递到预测层。预测头对图像特征进行预测，生成边界框并预测类别。网络的改进 边界框回归损失是评价目标检测算法准确度的重要评判标准之一，而最常用的计算指标是交并比（），即目标检测中预测框与真实框的重叠程度，具体见式。值越高说明 框与 框重合程度越高，代表模型预测越准确。（）式中：代表预测框；代表真实框。但是 对尺度不敏感，如果 个框没有相交，根据定义，不能反映 个框的距离大小，会造成 没有梯度回传，无法进行学习训练。随着目标检测技术的不断改进，随后出现不同的 改进算法：在 的基础上，解决边界框不重合时的问题的；在 和 的基础上，考虑边界框中心点距离信息的；在 的基础上，考 虑 边 界 框 宽 高 比 尺 度 信 息 的。默认使用。（）是 在 年提出的新边界框回归损失函数，重新定义了惩罚指标，极大改进了目标检测算法的训练和推理速度。通过在损失函数代价中引入方向性，与现有方法 损失相比，训练阶段的收敛速度更快，推理性能更好。主要由角度损失（）、距离损失（）、形状损失（）、损失（）个损失函数组成。的目的是如果 就最小化，反之最小化 。具体见图 和式（）。|（）（）（，）（，）|。（）式中：为真实框和预测框中心点的高度差；为真实框和预测框中心点的距离；在训练过程中若大于 取，否则取；、为真实框中心坐标；、为预测框中心坐标。是真实框和预测框的最小外接矩形相关。具体见图 和式（）。江苏农业科学 年第 卷第 期 ，（）|，|，|。（）式中：、为真实框和预测框最小外接矩形的宽和高；指距离损失使用 次幂来赋权重。具体见式（）：，（）（，），（，）|。（）式中：、，、分别为预测框和真实框的宽和高；控制对形状损失的关注程度；是由、共同确定的幂数值。最终的损失函数包含了 ，详见图 和式（）。|。（）（）结构又被称为空间金字塔池化，是 等在 年提出的，它能将任意大小的特征图转换成固定大小的特征向量。这避免了对图像区域裁剪、缩放等操作导致的图像失真等问题，解决了提取到重复特征的问题，极大地提高了产生候选框的速度，且节省了计算成本。而 在 的基础上将原本并行的 替换成串行，并行和串行的效果一样，但 串 行 的 效 率 更 高，称 之 为。而 将 的激活函数 替换为，更加高效，具体改变见图。江苏农业科学 年第 卷第 期 当前，注意力机制在目标检测领域已经得到广泛应用。注意力机制的灵感来自于人类视觉面对不同事物时会选择性地关注重要的信息部分，忽略其他不重要的信息。在注意力机制的帮助下，神经网络可以将有限的计算能力去捕捉更重要的图像特征，最终达到更好的检测精度。为了使网络能够在不加大计算量的前提下获取到更重要的苹果树叶病害特征，引入了（）基于 改进的一种多头自注意力机制（，）。与 相比，是在一个标准的 中将空间 卷积层替换成，差异见图，而 原理见图。不同的注意力层对应不同的树叶病害类别，在自注意力部分采用的是相对位置编码。具体计算见式（）至式（）。（，）|。（）式中：（，）为得到的注意力的值；、分别为查询量（）、键（）和值（）；是 的维度。是由多个不同的单注意力组成，具体见式（）式（）。江苏农业科学 年第 卷第 期（，）；（）（，）（）。（）式（）至式（）中：和 为参数矩阵。综上，改进后的网络结构对不同病害添加了注意力机制，能够学习到每种病害独有的特征，在提取特征时，使用更加高效的，并在预测阶段引入了具有方向性的，提高了推理速度及准确度。整体改进的结构见图。结果与分析 试验环境与参数设置本研究试验的环境：为 ，为 ，操作系统为，编译环境为 、深度学习框架，训练加速为 。试验时间为 年 月，试验地点为长江大学农学院与计算机科学学院。试验初始参数设置见表。表 网络初始参数设置参数名称初始值参数名称初始值图像大小（）训练时的阈值 初始学习率色调 优化函数（）饱和度 学习率动量 亮度 权重衰减系数 概率 表 中图像大小是调整大小之后得来的，学习率下降方式采用余弦退火（），实现动态的学习率。为，训练总的轮次为 次（）。在每个 中，对图片的色调、饱和度、亮度进行变化调整，并使用了 方式将多张图片进行拼接，以实现每个轮次的数据都是不同的，增加网络的泛化性。将原始数据集按照 的比例划分为训练集、验证集和测试集。评价指标本研 究 采 用 目 标 检 测 领 域 常 见 的 精 准 率（，）、召回率（，）、阈值设置为 的平均精度均值（，）和计算量（）作为评价指标。其中 代表 亿次浮点运算量，其他具体计算见式（）式（）。；（）；（）江苏农业科学 年第 卷第 期（）；（）；（）式中：（）是预测正确的正类样本数量；（）是预测错误的正类样本数量；（）是预测错误的负类样本数量；为预测的类别数。对比试验 损失对比 对本研究改进后的 与原 进行对比试验，除本研究改进部分，其他网络参数都参照表 设定，类别训练损失与类别验证损失的过程见图。由图 可知，改进后的网络，在同样的迭代轮次的情况下，损失更小，网络训练更高效。注意力机制对比为验证本研究所提出的 注意力机制的有效性，在基准模型采用，且在超参数和图像输入设置相同的情况下，分别将其与当前比较热门的（）、（）、（）注意力机制进行对比，试验结果见表、图。表 注意力机制对比名称（）精准率（）召回率（）（）权重大小（）由表、图 可知，本研究提出的 注意力机制在更小的计算量和模型权重的情况下，能实现更高的目标检测精度。网络对比及消融试验为体现本研究所提出网络性能的优越性，选取、等几种热门目标检测网络。都使用默认网络参数，且其他条件相同的情况下进行了对比试验。各种网络试验结果见表。表 不同网络性能对比网络名称图片大小（）（）精准率（）召回率（）改进的 由表 可知，在最重要的评价指标 上，改进后的 网络比 网络提升 百分点；比 网络提升 百分点；比 提升 百分点；比 网络提升 百分点；比基准 网络提升 百分点。在精准率和召回率上也都远高于其他网络。为全面地验证本研究所提出每个改进部分的有效性，对每个改进部分进行消融试验（江苏农业科学 年第 卷第 期），即在网络其他条件不变下，每次只增加 个改进部分的试验。试验结果见表。表 消融试验结果对比改进名称精准率（）召回率（）（）权重大小（）改进 改进 改进 通过表 的试验数据可知，每个改进的部分都有效果，在将 损失函数改成 后，上升，同时权重大小有微小的下降，说明 相较于 是更高效的。使用了 和 后，在权重大小和计算量（）下降的情况下，实现了明显的上升。说明在将任意大小的特征图转换成固定大小的特征向量的过程中，丢失的信息更少。而 让整个网络更好地学习到了每种病害的独有特征。实例检测选取测试集的图片，使用上述训练好的各个网络进行实例检测，实例检测结果见图。由图 可知，本研究所提出的方法，在识别病害时平均置信度是最高的，实现了更准确的检测。为验证本研究所提出网络在不同环境下的鲁棒性，选择遮挡、阴影、强光、模糊 种非正常环境的部分测试集图片。环境实例检测见图。由图 可知，本研究所提出的方法在复杂的环境下也能达到较高的准确度。结论针对目前苹果树叶病害检测准确度低的问题，本研究提出了一种基于 的方法，首先将边界框损失函数替换成考虑方向性的，实现了更高效的网络训练，更加准确的推理。在提取图片特征并转换为固定特征的过程中，使用了更优的，丢失的图片特征信息更少。在网络训练过程中加入了 注意力机制，使网络能学习到每种病害的独有特征。试验表明，所改进的网络相比于其他网络，有着更高的，更低的计算量，更小的模型权重。对复杂环境下采集到的叶片病害图片也能准确地检测，具有一定的环境鲁棒性。在江苏农业科学 年第 卷第 期实际的病虫害防护中，具有一定的应用价值。后续，会收集更加复杂环境下的数据，增加数据集，并采用不同数据预处理方法来提取不同环境下的图片特征，来达到更好的模型泛化性能与精确度。参考文献：李会宾，史 云 果园采摘机器人研究综述 中国农业信息，（）：李书琴，陈 聪，朱 彤，等 基于轻量级残差网络的植物叶片病害识别 农业机械学报，（）：，：王超学，祁 昕，马 罡，等 基于 的葡萄病害人工智能识别系统 植物保护，（）：，：，（）：雷建云，陈 楚，郑 禄，等 基于改进残差网络的水稻害虫识别 江苏农业科学，（）：（）：，：，：，（）：（）：，（）：，：，（）：，：，：，（）：江苏农业科学 年第 卷第 期