融合Focal Loss与典型卷积神经网络结构的水稻病害图像分类.pdf

快速高效地识别水稻病害的种类并及时采取有效的防治措施对避免水稻减产具有重要意义，为解决人工识别水稻病害效率低、识别精度不高、深度学习样本不平衡导致识别准确率不高等问题，融合 与种典型卷积神经网络结构对 种水稻病害进行分类识别。利用 的 深度学习框架搭建卷积神经网络的图像识别分类系统，使用 损失函数解决数据集不平衡导致识别准确率低的问题，采用 、作为特征提取骨干，对 种水稻病害进行识别。通过 库增强数据，将 张水稻病害图像按照 的比例划分为训练集和验证集并参与训练模型，将 张水稻病害图像作为测试集来验证模型的准确性。结果表明，所搭建的数据集中 、的识别准确率分别为 、。可见，在融合 损失函数的情况下，作为特征提取骨干训练出的模型在水稻病害图像分类中拥有最高的准确率，该成果可在实际生产中实现水稻病害的自动分类识别，有助于水稻病害的防治工作。关键词：水稻病害识别；卷积神经网络；中图分类号：文献标志码：文章编号：（）收稿日期：基金项目：华南农业大学 碧桂园校地校企合作项目；广东省引进领军人才项目（编号：）；广东省重点领域研发计划（编号：）；高 等 学 校 学 科 创 新 引 智 计 划（编 号：）；岭南现代农业实验室科研项目（编号：）。作者简介：杨非凡（），女，陕西咸阳人，硕士研究生，主要从事计算机视觉与无人机遥感研究。：。通信作者：兰玉彬，博士，教授，博士生导师，主要从事精准农业航空与遥感技术研究。：。水稻作为我国南方的主要粮食作物，占全国粮食种植面积的 。在水稻生长期内伴生的多种病害常导致水稻减产，因此水稻病害的诊断与防治具有重要意义。传统水稻病害识别方法主要为专家目视观察水稻患病部位，根据患病部位的特征判断患病种类。该方法具有效率低、工成本高、专业技能要求高等缺点，不利于及时对水稻病害进行精准防控 。基于深度学习技术在图像识别领域具有无损、高效的特点，已有部分研究人员将其应用到植物病害识别领域中。等将神经网络用于识别茶树的 种疾病 。等使用深度学习识别番茄病害种类，准确率为 。徐振南等将 用于识别马铃薯叶部病害，准确率为 。邓小玲等采用基于无人机遥感的 神经网络结合 算法对柑橘病害进行分类，准确率达 。等提出一种基于高光谱反射率的机器学习算法，对田间柑橘黄龙病进行无损检测 。等基于卷积神经网络对小麦叶锈病进行分类，总体准确率和标准误差分别为 和 。谢军等将 模型经过二次迁移后对稀疏样本的茶树病害进行识别，验证样本识别率为 。王利伟等利用数字图像处理和支持向量机技术对葡萄的白粉病、黑腐病、霜霉病进行分类，识别正确率为 。还有学者针对深度学习在水稻病害识别领域开展研究，姜敏等将 应用于水稻病虫害检测中，准确率在 以上 。杨颖等提出基于方向梯度直方图与局部二值模式混合特征结合支持向量机的水稻病虫害识别方法，检出率可达 。等提出一种两阶段小型卷积神经网络结构，收集 张图片用于识别水稻病虫害，精确度达 。等采用基于 变换的水稻病害识别方法，准确率达 。等提出一种 神经网络来预测水稻叶片疾病，准确率为 。另外，在深度学习领域，非江苏农业科学 年第 卷第 期平衡数据集对模型结果影响巨大，针对非平衡数据集识别准确率低的问题，等于 年提出 损失函数，用来解决一阶段（）目标检测任务中因正负样本比例不平衡导致检测准确率低的问题，该损失函数通过减少大量简单负样本在训练中所占的权重来改善目标检测效果 。上述学者针对植物病害识别的研究虽然取得了不错的效果，但是针对水稻病害识别的研究仍然存在准确率不够高，研究的水稻病害种类少，且未对主流神经网络在水稻病害识别上的效果进行对比。本研究融合 损失函数与 种优秀的卷积神经网络 、，在非平衡数据集上对 种常见水稻病害进行分类，对训练出的 种水稻病害识别模型的收敛速度，识别效果进行对比 ，以探究一种可自动、准确识别水稻病害的方式，并为智慧农业和精准农业实践提供参考。材料与方法 材料本研究数据集来源为自采集结合网络图片，网络图片来源为中国科学院合肥智能机械研究所智能研究组公开的水稻数据集。自采集部分通过数码相机与手机在不同时间、不同拍摄角度的自然光照下拍摄，以保证样本多样性，拍摄地点位于华南农业大学增城教学科研基地和广东省佛山市三水区三水农场，根据不同病害产生的时间，拍摄时间分布于 年 月，拍摄后的图片经过筛选裁剪后得到原始图片集，收集的图片通过缩放、镜像、翻转、旋转、平移、改变色度、高斯模糊等方式随机组合对图像进行增强，增强效果见图 。图像增强主要用于图片库的扩增，防止因样本量少而导致模型产生过拟合现象，增强模型的鲁棒性，最终得到用于水稻病害识别的数据集，包括 种病害共 张图片。其中，训练集 张，测试集 张，种水稻病害类型对应图片见图 ，每种病害所包含的图片数量见表 。方法 迁移学习大规模的数据集是训练出优秀模型的重要条件。迁移学习是指运用已有（源领域）知识求解不同但相关领域（目标领域）问题的一种新的机器学习方法。运用迁移学习可以在少量水稻病害数据的条件下训练出精准的水稻病害识别模型。迁移学习可分为 类：基于权重的迁移学习、基于特征选择的迁移学习、基于特征映射的迁移学习 。损失函数优化深度学习领域的传统损失函数为交叉熵损失函数，交叉熵损失函数计算公式为其中 （）其他。（）模型经过 个 训练并激活后，结果通过 归一化为概率值输出，代表图像预测为每个江苏农业科学 年第 卷第 期表 水稻病害种类及对应图片数量病害类型训练集图片数量（张）测试集图片数量（张）白叶枯病 稻曲病 胡麻斑病 穗颈瘟 纹枯病 细菌性条斑病 叶瘟 类别的概率，在公式（）中用 表示，在 之间，取最大概率类别为预测类别。表示该图片的真实类别，由公式（）可得出交叉熵损失函数对于正样本（）而言，越大，表示正样本越容易分类，其损失值越小；对于负样本而言（其他），越小表示负样本越容易分类，其损失值越小，此时的损失函数在大量简单样本（易分类）的迭代过程中缓慢变化，难以达到最优；另外，在深度学习领域，样本均匀性对模型结果影响巨大，当样本分布失衡时，损失函数也会随之倾斜，由于损失函数的倾斜，模型在训练过程中会侧重于样本量多的类别，导致模型对样本量少的类别识别效果变差。损失函数可解决上述 个问题，计算公式分别为 （）（）；（）其中 其他。（）相较于交叉熵损失函数多了 组（），其中 。验证一：能够有效降低易分类样本的 值；仅考虑 不考虑，对于易分类正例样本，假设为 ，。（）（）；交叉熵损失函数 。可以验证 能够有效降低易分类样本的 值，易分类样本的概率越大效果越好。验证二：能增加稀疏样本的损失权重。假设负样本数为 ，；正样本数为 ，结合交叉熵损失函数。负样本：样本数 ；正样本：样本数 （保留整数）；总和 ；正样本占比 。结合 损失函数。负样本：（）（）样本数 （）；正样本：（）（）样本数 （）；正负样本损失总和 ；正样本占比 （相比 增加明显）。可以验证 能够增加数量较少样本的损失权重。对于传统的深度神经网络，模型准确率会随着网络层数的持续加深，先不断上升、达到饱再下降，这是因为传统的卷积层和全连接层在信息传递时时常存在信息丢失的问题，可以解决该问题。网络由大小不同的残差块构成（图 ）。将原始输入信息经过旁路支线连接到后续层，即 结构，使得后续层可以直接学习残差，通过特征映射的方法缓解梯度消失的问题，其中第 层的 卷积对特征矩阵进行降维操作，将特征矩阵的深度由 降为 ，第层的 的卷积对特征矩阵进行升维操作，将特征矩阵的深度由 升维到 ，使得输入和输出特征矩阵形状相同以便相加。系列网络结构名称后缀的数字表示 卷 积 层 和 全 连 接 层 层 数，残 差 网 络 （）和残差网络 （）的完整网络层次见表 。是一种轻量级深度神经网络，其主要特点是采用深度可分离卷积替换普通卷积，引入线性瓶颈和倒残差来提高网络的表征能力，倒残差模块（）见图 。先通过 的卷积将特征图的通道扩张（升维），经过 的深度卷积提取特征，再经过 的卷积将特征图压缩（降维），由于非线性激活函数 在负半轴为 （图 ），输入特征若为负数，该通道的特征会被清零，在降维阶段特征已经经过压缩，如果使用 激活函数，则会进一步损失特征信息，故在降维阶段引入线性激活函数（）代替 激活函数。由于从输入到输出会损失部分特征图信息，故将输入与输出特征图相加，整体形成“两头小，中间大”的结构，与 残差模块“两头江苏农业科学 年第 卷第 期表 残差网络 （）和残差网络 （）网络结构对比层名残差网络 残差网络 卷积层 ，步长 ，步长 池化 最大池化，步长 最大池化，步长 卷积层 ，()，()卷积层 ，()，()卷积层 ，()，()卷积层 ，()，()池化平均池化，全连接，激活函数大，中间小”的结构相反，呈倒置结构，故称其为倒残差。的完整网络结构见表 ，其中：表示倒残差结构中 卷积相比输入通道升维的倍率；表示输出特征矩阵的通道数 ；表示倒残差模块的重复次数；表示第 个倒残差模块中 卷积的步长；后续重复的倒残差模块步长均为 。由图 可知，该网络的构建方法为重复堆叠 的小型卷积核和 的最大池化层，该方法比单独使用 个卷积层拥有更多的非线表 完整网络结构输入操作 卷积 倒残差 倒残差 倒残差 倒残差 倒残差 倒残差 倒残差 卷积 平均池化 卷积 性变换，同时比单独使用 个大的卷积核参数量更少。卷积层实现特征提取，池化层将特征图长度和宽度压缩为原来的 ，全连接层将分布式特征映射到样本标记空间，以减少特征位置对分类的影响，层将分类结果归一化为概率值。本研究采用的方法本研究采用基于权重的迁移学习方法，分别采用 、作为特征提取骨干，将其在 数据集上训练出的权重作为水稻病害识别江苏农业科学 年第 卷第 期的预训练权重，进行迁移学习，采用的 种卷积神经网络结构均融合 作为损失函数，对比 种网络结构在水稻病害识别效果上的差异。结果与分析 试验环境本试验基于 和 的 框架搭建 模 型，采 用 操 作 系 统，为 ，显存 ，型号为 ，内存 。设置模型迭代次数（）为 ，监测测试集损失值（），如果连续迭代 次，测试集损失值仍不下降，说明模型已经收敛，则设置早停；批次 大 小 设 置 为 ；、和 初始学习率设为 ，初始学习率为 ，并对学习率设置动态调整，通过监测测试集损失值的变化自动调整学习率，具体规则设置为如果连续迭代 个世代，测试集损失值仍未下降，则自动将学习率以 倍的系数下降；使用 监测训练集精确度（）、损失值（）、学习率（）、验证集精确度（）、验证集损失值（）的变化情况。试验设计为了对比 种模型训练速度及识别效果的差异，种模型的数据集均保持一致，输入模型的数据尺寸统一为 像素 像素，通道数为 ，损失函数保持一致，在相同硬件条件下对不同模型进行对比试验。将 张水稻病害图片按照分层抽样的规则以 的比例划分为训练集和验证集，训练集和验证集参与模型的训练过程，张水稻病害图片作为测试集，测试集仅用于评价模型精度。试验结果与分析 模型在训练过程中指标对比及分析试验使用 监测模型训练过程中训练集精确度、训练集损失值、测试集精确度、测试集损失值的变化情况（图 ）。在模型训练的开始阶段，损失值和精确度波动幅度较大，随着训练的逐步进行，模型精确度和损失值渐趋稳定，损失值随着训练的进行逐步下降，精确度随着训练的进行逐步上升，验证集损失值和精确度波动大于训练集，这是由于验证集样本数量少于训练集样本导致的。种模型收敛速度对比显示，迭代 个 达到收敛状态，迭代 个 达到收敛状态，迭代 个 达到收敛状态，迭代 个 达到收敛状态，收敛速度最快。模型测试结果对比采用精确率（）、召回率（）、得分、准确率 个指标来评价 种水稻病害识别模型在测试集的识别效果，其中 准确率是指识别出的概率最大的分类结果为正确结果的图片数与该类别图片总数的比率。精确率（）、召回率（）、得分计算公式分别为精确率（）：；（）召回率（）：；（）得分：。（）式中：是指模型将正样本正确预测为正例的样本数量；是指模型将负样本正确预测为负例的样本数量；是指模型将负样本错误预测为正例的样本数量；是指模型将正样本错误预测为负例的样本数量。由表 可知，和 的精确率、召回率和 得分整体高于 和 ，江苏农业科学 年第 卷第 期表 种水稻病害识别模型的精确率、召回率及 系数水稻病害精确率召回率得分 白叶枯病 稻曲病 胡麻斑病 穗颈瘟 纹枯病 细菌性条斑病 叶瘟 江苏农业科学 年第 卷第 期在 种水稻病害的识别任务中，纹枯病的识别精确率、召回率、得分整体高于其他 种病害，识别效果最好。测得各模型的 准确率见表 ，其中 的 准确率最高。表 种水稻病害识别模型的 准确率模型 准确率（）讨论与结论在 本 研 究 搭 建 的 数 据 集 中，、和 作为特征提取骨干训练出的模型 的准确率分别为 、，模型达到收敛所需训练世代数分别为 、。综合精确率、召回率、得分与收敛速度，模型性能整体优于 、和 。本研究可以解决现有针对水稻病害研究种类少、准确率不高、传统水稻病害分类方法效率低、人工成本高等问题，使用本研究训练出的模型，无需水稻病害专业知识即可实现田间水稻病害的自动识别，不仅可以提高智慧农业水平，且在实际生产中有助于农业人员及时采取针对性的防治措施避免水稻减产，实现精准农业。未来的研究方向为水稻虫害分类任务，以丰富水稻病虫害分类数据集，解决因虫害防治不及时导致的水稻减产问题。参考文献：吕明，李鹰航，冉小琴，等推进南方水稻机械化种植工作思考和建议 农业机械，（）：，袁媛，陈雷，吴娜，等水稻纹枯病图像识别处理方法研究 农机化研究，（）：，（）：，：徐振南，王建坤，胡益嘉，等基于 的马铃薯病害识别 江苏农业科学，（）：邓小玲，曾国亮，朱梓豪，等基于无人机高光谱遥感的柑橘患病植株分类与特征波段提取 华南农业大学学报，（）：，：，（）：谢军，江朝晖，李博，等基于二次迁移模型的小样本茶树病害识别 江苏农业科学，（）：王利伟，徐晓辉，苏彦莽，等基于计算机视觉的葡萄叶部病害识别研究 江苏农业科学，（）：姜敏，沈一鸣，张敬尧，等基于深度学习的水稻病虫害诊断方法研究 洛阳理工学院学报（自然科学版），（）：杨颖，文小玲，章秀华基于方向梯度直方图和局部二值模式混合特征的水稻病虫害识别方法研究 河南农业大学学报，（）：，：，：，：，（）：，：，：，：，（）（）：，（）：庄福振，罗平，何清，等迁移学习研究进展 软件学报，（）：江苏农业科学 年第 卷第 期