基于改进SSD的广佛手病虫害检测方法.pdf

南京农业大学学报():/.:./.收稿日期:基金项目:年省级乡村振兴战略专项省级组织实施项目(粤财农 号)广东省现代农业产业技术体系创新团队建设专项资金()华南农业大学新农村发展研究院农业科技合作共建项目()广东省科技专项资金(“大专项任务清单”)项目()作者简介:胡凯硕士研究生通信作者:孙道宗副教授主要从事农业物联网、无线传感器网络在农业上的应用:.胡凯骆润玫刘泽乾等.基于改进 的广佛手病虫害检测方法.南京农业大学学报():.():.基于改进 的广佛手病虫害检测方法胡凯骆润玫刘泽乾曹亚芃廖飞王卫星李强孙道宗(.华南农业大学电子工程学院/人工智能学院广东 广州.广东省农业技术推广中心广东 广州)摘要:目目的的 针对广佛手在田间真实环境下病虫害识别较为困难的问题提出一种基于改进()算法 的广佛手病虫害检测方法 方方法法 算法主干网络部分用 网络替换原有的 网络增加模型在田间真实环境下对广佛手病虫害特征的提取能力在预测特征层之前加入一种轻量高效的特征融合模块提升 算法的多尺度特征融合能力进一步提高 算法在田间真实环境下的抗干扰能力 结结果果 算法平均精度均值达到.相较原始的 算法提升.()达到.相比、和 模型 算法的平均精度均值分别高.、.、.、.和.分别高.、.、.、.和.结结论论 基于改进 算法的广佛手病虫害检测方法能够弱化田间真实环境的干扰信息能准确识别田间真实环境下广佛手病虫害目标可为田间真实环境下广佛手病虫害检测提供一种新思路关键词:广佛手病虫害 算法特征提取多尺度特征融合中图分类号:.文献标志码:文章编号:()(./.):().().:广佛手是“十大广药”之一也是广东省立法保护的岭南药材品种之一具有疏肝理气、和胃止痛、燥湿化痰等功效 作为一种防病保健的中药材广佛手质量往往对疗效起决定性作用影响广佛手质量的主要因素是病虫害的危害 近年来广佛手病虫害发生严重导致经济收益降低、农民种植积极性不南 京 农 业 大 学 学 报第 卷高、种植面积减少等现象 如何快速准确识别广佛手病虫害是解决此问题的前题目前利用深度学习方法对农业病虫害进行检测逐渐成为研究热点 深度学习方法与传统的图像处理和机器学习方法最大不同在于其可以利用卷积神经网络从图像中逐层自动提取出更加抽象的病虫害特征 等基于 模型对 种病害进行分类最终得到较好的识别效果 姚青等提出一种改进 模型的水稻冠层害虫危害状自动检测模型平均精度均值达到.甘雨等提出一种基于改进 模型的作物害虫高性能轻量化检测模型准确率提高.文斌等将改进后的 算法用于三七叶片病害检测相较原始 平均精度均值提升了.李就好等在 算法的基础上融入特征金字塔网络所得模型的平均精度均值为.相较原始 模型提高了.等利用 模型对水稻病虫害进行检测最终精度达到.陆健强等利用 对柑橘黄龙病进行数据增强最终在 模型上准确率达到.徐会杰等在 的基础上通过增加检测头和 聚类算法生成新 最终精度提高了.大量试验表明基于深度学习的作物病虫害检测方法在病虫害检测方面具有更大的优越性对于农作物病虫害检测研究大多是在实验室理想环境下进行在田间真实环境下检测模型的性能通常较低 为了克服这个问题本文结合深度残差网络 和特征融合理论对()算法进行改进以实现在田间真实环境下对广佛手常见病虫害的检测 材料与方法.试验数据采集试验数据集采集地点为广东省肇庆市高要区乐城镇南药省级现代农业产业园 分别于 年 月 日和 年 月 日进行 个阶段采集在自然光下(时间段为:和:)对广佛手病虫害进行多角度拍摄 相比实验室内在田间进行拍摄有利于增强模型的鲁棒性提升模型的泛化能力 为更真实还原田间真实环境论文试验数据采集天气包括晴天、阴天和雨后 图像采集的设备为佳能 相机和智能手机相机传感器尺寸约.像素为 万设置相机分辨率为 和 最终采集病害类别包括褐斑病和溃疡病虫害类别包括潜叶蛾、双构巢粉虱和玉带凤蝶共 张原始病虫害图像 原始数据集中 种病虫害类别示例如图 所示图 广佛手病虫害类别示例 .构建广佛手病虫害数据集使用 工具对原始数据集进行数据增强如图 所示包括调整亮度、旋转、对角翻转等 种方式对每张原始图像均采用以上 种方式进行数据扩增数据集图像扩增为原来的 倍最终得到 张图像的数据集对数据增强后的数据集使用 软件进行标注再将标记好的数据按 的比例划分为训练集、验证集和测试集得到最终的广佛手病虫害数据集 对数据增强后的广佛手数据集的 种病虫害图像数量进行统计如表 所示 第 期胡凯等:基于改进 的广佛手病虫害检测方法图 原图像和数据增强后的图像 表 各类别病虫害图像数量统计 数据集 褐斑病 潜叶蛾 双钩巢粉虱 玉带凤蝶 溃疡病 总计 训练集 验证集 测试集 总计 .构建广佛手病虫害检测模型.模型 是一种非常经典的单阶段目标检测模型 如图 所示以输入图像为 为例 模型包括 个部分:第 部分是一个基于 的特征提取网络再在 的基础上将最后 个全连接层、替换为 个卷积层、第 部分是在特征提取网络后添加一系列额外的特征提取层 最后分别从 个不同尺度的特征图上提取特征进行目标检测这 个不同尺度的特征图是分别来自、的特征层图 模型结构图 图 残差结构图 传统的 模型使用 作为特征提取网络深度只有 层特征提取能力较弱 虽然使用了多尺度信息进行预测但是浅层的特征并没有融合深层的特征导致浅层的特征语义信息不足 因此如何改善模型的特征提取能力、加强模型深浅层特征融合是论文研究的重点.深度残差网络 深度残差网络 是一种非常经典的特征提取网络广泛用于计算机视觉领域 以往的特征提取网络随着网络深度的增加往往会产生网络退化问题而 的强大之处在于提出了残差结构可以解决网络退化问题残差结构如图 所示在残差结构中当输入特征为 时左分支先经过一个 卷积将输入特征进行降维处理再经过一个 卷积进行特征提南 京 农 业 大 学 学 报第 卷取最后经过一个 卷积进行升维处理得到残差映射结果()相比于原始的特征提取网络 网络中通过大量使用 卷积可以大大降低模型的参数量和计算量 右分支经过恒等映射 直接与残差映射()逐元素相加得到残差结构输出结果()所以网络学习到的残差特征可以表示为式():()()()在最极端的情况下残差结构完全失去学习能力即()为 时残差结构仅仅在做恒等映射网络仍然拥有上次迭代后模型的学习能力学习能力不会因为模型深度的增强而下降 事实上残差结构不会永远失效()不可能永远等于 残差结构总会通过残差分支学习到新的特征网络的学习能力会更好所以残差结构可以有效解决由于网络深度增加而产生的网络退化问题 同时因为残差结构每个卷积层后都会接一个批量归一化()和 激活函数可以加快网络的收敛速度在一定程度上还能缓解因梯度消失或梯度爆炸而引起的网络无法正常训练的问题.一种轻量高效的特征融合模块 特征融合是提高目标检测性能的一种重要手段 低层的特征分辨率更高包含更多的位置、细节信息但是由于经过的卷积层数更少语义信息更低噪声更多 而高层的特征分辨率更低具有更强的语义信息但是对细节的感知能力更差 因此如何有效将两者融合是提高目标检测性能的关键通过融合不同尺度的特征可以提升检测模型的性能 如图 所示灰色的结构为特征图绿色的结构为预测模块 图 为原始的 预测层结构这种方式虽然可以在多个不同尺度的特征层上直接进行预测但是各个层之间完全没有联系浅层的高分辨率特征由于语义信息不足导致对小目标的检测效果很差 等提出一种特征金字塔网络()如图 所示 通过建立一条自顶向下的路径从最高层特征开始逐层进行上采样并与特征提取网络中的特征图进行逐像素相加()融合这样就实现了将浅层的高细节特征和深层的高语义特征进行融合使算法的精度明显提升 但这种特征融合方式需要在每一次上采样之后都进行逐像素相加操作算法精度提升的同时也会造成大量的冗余计算 本研究是 种常见的广佛手病虫害相比庞大的 数据集和 数据集研究的数据量和类别都相对较少使用 结构会造成大量的特征冗余图 种经典的特征融合结构 引用一种高效轻量的特征融合模块如图 所示将特征提取网络的最后 个模块的输出特征、和 进行 特征融合再类比 连接一系列的额外特征提取层、和 最终在不同尺度不同大小的特征上进行预测 与传统的 结构相比该结构加入了特征融合模块可以增强浅层特征的语义信息和小目标的检测能力 与 结构相比该结构的特征融合模块仅仅在特征提取网络末尾作一次 特征融合不仅降低了模型的参数量和计算量还可以有效防止特征冗余造成的模型性能下降.改进后的 广佛手病虫害检测模型 改进后的 模型 如图 所示 输入图像大小为 为了让 网络适合作为 算法的特征提取网络 对 网络做出部分调整删除 最后的平均池化层、全连接层及 层等结构为了增加底层高分率特征图的语义信息在 最后 个模块、的输出 第 期胡凯等:基于改进 的广佛手病虫害检测方法特征图之后连接了一个高效轻量的特征融合模块:)将 模块输出的 特征图通过一个 卷积降维到)将 模块输出的 特征图先通过一个 卷积降维到 大小再通过一个 倍的双线性插值()上采样将特征图宽高扩大 倍得到 的特征图)将 模块输出的 特征图先通过一个 卷积降维到再通过一个 倍的双线性插值上采样将特征图宽、高扩大 倍得到 的特征图)将这 个大小相同、维度相同的特征图进行逐通道相加得到融合后的 特征图 该特征图融合了 个尺度的语义信息可以有效缓解浅层特征的低语义问题图 改进后的 模型 结构 在传统 算法中在特征提取网络 之后会连接一系列的额外特征提取层最终产生 个不同尺度、不同维度的预测特征图 类似地在特征融合层后先使用一个 卷积和一个 层对融合后的特征图进行降维得到一个大小为 的特征图再依次连接 个额外特征提取层如图 右下角所示每个额外特征层都是相同的结构 为了与特征提取网络 相对应抛弃了传统 模型中的 卷积和 卷积相互堆叠的额外特征提取层结构采用了一种类似瓶颈结构的残差模块 通过先降维然后提取特征再升维最后进行残差连接的方式既可以有效降低参数又能更好提取特征 最终生成了、等不同大小、不同长宽比的预测特征图再送入检测器中进行病虫害检测.试验参数设置与评价指标.试验平台及模型参数设置使用(位)操作系统硬件配置:()().处理器 内存 显卡 其他软件环境为.、.、.、.、.训练过程中对输入图像进行归一化处理后统一缩放到 的 图像 使用带动量的随机梯度下降法 对参数进行优化动量因子为.学习率设置为.最大迭代次数设为 每个批次大小设为 直到达到最大迭代次数后停止训练 训练结束后可以使用测试集对模型进行性能测试测试的 阈值设为.也可以使用训练后的模型对图像进行预测预测时需要对预测结果进行非极大值抑制非极大值抑制阈值设为.置信度阈值设为.评价指标 采用平均精度()和每秒可处理的图像数量()评估模型在广佛手病虫害数据集上各类别的性能 可以表示为积分形式:()式中:和 表示准确率()和召回率()绘制的曲线在坐标轴上的范围对每个类别当设置不同的阈值时可以得到多组准确率和召回率进而画出一条 曲线该曲线的面积即为该类别平均精度()进一步南 京 农 业 大 学 学 报第 卷可以得到各类别 的平均值()准确率和召回率公式见式()和式():()()式中:()表示预测为正例的正样本()表示预测为负例的正样本()表示预测为负例的负样本另外 可以反映算法的真实检测速度 数值越大代表实际检测速度越快 当 大于等于 时可满足实时检测需求 结果与分析.改进前后 模型检测结果对比为了初步评估改进后 模型的性能分别使用改进前的 模型和改进后的 模型对测试集中晴天、阴天和雨天的病虫害图像等田间真实场景图像进行检测检测结果如图 所示 对比晴天的病虫害图像 模型对叶片的强光区域会出现误检的情况而 模型可以准确辨别病害区域和非病虫害区域 对比阴天病虫害图像 模型对会出现漏检的情况而 模型可以正确识别图像中所有病虫害 对比晴天、阴天和雨天病虫害图像 模型识别目标的置信度更高 从上述分析改进后的 模型具有更优秀的抗干扰能力能更准确识别田间真实环境下的广佛手病虫害目标图 改进前后 模型的检测效果对比 图中数字为置信度 .消融试验为了进一步评估改进 模型的性能使用.节的评价指标对该算法的精度和速度进行评估图像输入尺寸全部设为 在测试集中分别验证所提出的改进模块对网络模型性能的影响以及多个模块共同作用对网络模型性能的改进效果对比结果如表 所示 特征提取网络替换为 后的网络模型相比于原始 网络模型平均精度均值提高了.再对特征融合模块的性能进行验证先后对特征提取网络的最后 个模块的输出特征图进行 拼接()或逐像素相加()对最后 个模块的输出特征图进行 拼接()或逐像素相加()对最后 个模块的输出特征图进行 拼接()或逐像素相加()以 第 期胡凯等:基于改进 的广佛手病虫害检测方法此展开消融试验表 改进前后 模型性能结果对比 模型病害平均精度/褐斑病 溃疡病 虫害平均精度/潜叶蛾 双钩巢粉虱 玉带凤蝶 /.注:平均精度均值 .:帧每秒 .下同 .表 结果表明由于融合的特征信息不足 和 的平均精度均值相比于未进行特征融合的网络模型 分别降低了.和.相反由于融合的特征过多产生较多的冗余信息 和 的平均精度均值相比于未进行特征融合的网络模型 分别提高了.和.提升较小 而 和 相比于未进行特征融合的网络模型 分别提高了.和.其中 提升效果最佳平均精度均值达到.且每个类别的精度和精度均值均优于 模型 对比病害的检测精度褐斑病和溃疡病上分别提高了.和.对比虫害的检测精度潜叶蛾、双钩巢粉虱和玉带凤蝶分别提高了.、.和.从检测速度上看 模型较 和 略下降.与其他检测模型性能对比为了进一步验证改进的 模型 的性能将其与另外 个主流的目标检测算法、和 进行比较并将图像输入尺寸全部设置为 像素最终得到 种不同检测模型对 种广佛手病虫害的检测对比结果如表 所示表 不同模型性能结果的对比 模型 准确率/召回率/模型大小/.由表 可见算法 获得了最高的准确率、召回率、平均精度均值和 其平均精度均值比 、和 分别高了.、.、.、.和.网络模型大小仅为二阶段目标检测算法 的.其 相比 、和 分别提高了.、.、.、.和.这表明改进后的 算法 在检测精度和速度上有明显的优势适用于在田间真实环境下对广佛手病虫害进行检测 小结为实现田间真实环境下对广佛手病虫害目标的精准检测本文提出一种基于改进 算法的广佛手病虫害检测方法)对比改进前和改进后的 算法在晴天、阴天和雨天数据上的表现改进后的 算法具有更优秀的鲁棒性能更准确识别田间真实环境下的广佛手病虫害目标)对比改进前、后的 模型的性能指标改进后的 模型在 种病害和 种虫害上的精度均高于改进前的 模型 改进后的 模型的平均精度均值可达.提高了.改进后的 模南 京 农 业 大 学 学 报第 卷型与 、和 相比在准确率、召回率、平均精度均值和 等指标上均最高改进后的 模型更适合用于在田间真实环境下的广佛手病虫害检测本文提出的改进 算法适合用于田间真实环境广佛手病虫害的检测未来将继续进行模型的优化研究进一步降低模型的大小并提升模型的检测速度参考文献:曹瑞郝二伟杜正彩等.广佛手化学成分、药理作用的研究进展及质量标志物的预测分析.中华中医药学刊():.().():().许茹钟凤林王树彬.中药佛手的本草考证.中药材():.():().张桂芳林小桦贺红.广佛手主要病害及综合防治.现代中药研究与实践():.(.).():().岳玲程轩轩杨全.广佛手的资源调查研究.广东化工():.():().陈自宏邓干然崔振德等.基于深度学习的农作物检测识别研究现状及展望.现代农业装备():.():().翟肇裕曹益飞徐焕良等.农作物病虫害识别关键技术研究综述.农业机械学报():.():().邵明月张建华冯全等.深度学习在植物叶部病害检测与识别的研究进展.智慧农业():.():().周惠汝吴波明.深度学习在作物病害图像识别方面应用的研究进展.中国农业科技导报():.():().:.权龙哲夏福霖姜伟等.基于 卷积神经网络的农田苗草识别研究.东北农业大学学报():.():()./().:./().:.:.():.姚青谷嘉乐吕军等.改进 的水稻冠层害虫为害状自动检测模型.农业工程学报():.():().甘雨郭庆文王春桃等.基于改进 模型的作物害虫识别.农业工程学报():.():().文斌曹仁轩杨启良等.改进 算法检测三七叶片病害.农业工程学报():.():().:/.:.:/./.第 期胡凯等:基于改进 的广佛手病虫害检测方法 李就好林乐坚田凯等.改进 的田间苦瓜叶部病害检测.农业工程学报():.():().:.():.:.陆健强林佳翰黄仲强等.基于 算法和卷积神经网络的柑橘黄龙病果实识别研究.华南农业大学学报():.():().徐会杰黄仪龙刘曼.基于改进 模型的玉米叶片病虫害检测与识别研究.南京农业大学学报():.:./.():().:.:.:.黄丽明王懿祥徐琪等.采用 算法和无人机影像的松材线虫病异常变色木识别.农业工程学报():.():()./().:.:/.:.:/./.:/.:./().:.:/.:.:/./.责任编辑:沈 波