基于迁移学习的玉米病害图像识别.pdf

中国农业科技导报，2023，25（10）：119-125Journal of Agricultural Science and Technology基于迁移学习的玉米病害图像识别张彦通，苏前敏*（上海工程技术大学电子电气工程学院，上海 201600）摘要：传统的农作物病害检测多依靠人力和经验，信息化水平低。近年来，基于迁移学习的图像识别发展迅速，并在诸多领域取得了很好的应用效果。利用迁移学习的方法将MoblieNetV2模型对玉米病害图像数据集进行重新训练和微调，将优化后的玉米病害识别模型应用到移动端设备进行应用程序开发。结果表明，通过对预训练模型多次训练和微调，最终测试精度达到96.83%；最后利用优化后的模型开发了玉米病害识别应用APP，通过移动端APP对玉米进行拍照，进而获得诊断结果。该程序简单易操作，可以方便快速地识别玉米病害，在未来农业领域具有重要的应用价值。关键词：迁移学习；MobileNetV2；图像识别；TensorFlow框架；玉米病害doi：10.13304/j.nykjdb.2022.0218 中图分类号：S126文献标志码：A文章编号：10080864（2023）10011907Image Recognition of Corn Disease Based on Transfer LearningZHANG Yantong，SU Qianmin*（Institute of Electrical and Electronic Engineering，Shanghai University of Engineering Science，Shanghai 201600，China）Abstract：The traditional detection of crop disease mainly relies on manpower and experience，and the informatization level is low.In recent years，image recognition based on transfer learning has developed rapidly and achieved good application effect in many fields.MoblieNetV2 model was used to re-train and fine-tune corn disease image data set by transfer learning method.Then，the optimized corn disease recognition model was applied to the mobile terminal device for application development.The results showed that the final test accuracy reached to 96.83%after repeated training and fine-tuning of the pre-training model.Finally，the optimized model was used to develop a corn disease recognition APP，and the corn was photographed through the mobile APP to obtain the diagnosis results.The application was simple and easy to operate，which could facilitate and quickly identify maize diseases and have important application value in the future agricultural field.Key words：transfer learning；MobileNetV2；image recognition；tensorflow framework；corn disease玉米营养价值丰富，具有耐寒、耐旱、耐贫瘠等特性，在全国各地均有种植1。玉米在生长发育过程中常常由于各种因素而发生病害，主要有褐斑病、枯萎病、茎腐病等。有效防治病害成为农作物稳产、高产的关键，而及时准确的病害诊断又是防治病害的必要前提。传统的病害诊断方式主要通过人工经验和观察，存在主观上的不确定性和效率较低等问题，亟需开发快速精准的诊断方式，以提高作物病害的诊断和防治效率，减少农作物的生产管理压力2。随着人工智能技术的快速发展，越来越多的研究人员利用图像处理技术对农作物病害进行自动化智能识别研究，能够实现对农作物病害的高效诊断，为农业领域现代化开创新局面。深度学习技术在图像识别分析领域取得了长足的进步3，但是必需以较为充足的训练数据作为支撑，才能理解数据的潜在模式。当前缺乏大型公开的单一作物病害图像数据集，除了 PlantVillage4和AI Challenge5等几个比较流行的植物病害图像共享数据库外，研究人员大多和农业种植园进行合收稿日期：20220323；接受日期：20230602基金项目：国家科技重大专项（2018ZX09711001-009-011）；国家自然科学基金项目（61603242）。联系方式：张彦通 E-mail：；*通信作者 苏前敏 E-mail：中 国 农 业 科 技 导 报25 卷作自行拍照收集，或者通过网络收集相关植物病害图像，由于解决问题的复杂性，模型的扩展性不强，难以实际应用。迁移学习6作为一种深度学习方法，其基本原理是将模型自身在相关任务中学习的知识(权重和参数)迁移到新场景下，因为原网络已经通过大型数据集的训练学习到了图像的丰富特征，具有良好的泛化能力，可以通过网络微调以实现特定领域的学习，具有良好的扩展性。相比于全新学习7，迁移学习除了可以加速模型的训练外，同时也解决了训练数据不足的问题。史红栩等8利用迁移学习将GoogleNet深度卷积神经网络进行训练，最终获取诊断模型,并将该模型实际应用,实现了香蕉病害远程诊断系统，平均测试精度达到了98%，可以快速准确地在线诊断香蕉常见病害。李静等9利用 TensorFlow 框架将Inception-v4预训练模型的网络结构知识迁移到玉米螟虫害识别的任务上，在训练的过程中，通过优化神经网络算法最终实现对玉米螟虫害的识别，平均准确率达到了 96.44%。龙满生等10将AlexNet模型在ImageNet图像数据集上学习的分类共性知识迁移到油茶病害识别任务，通过对比实验优选出模型的超参数，并通过数据增强技术对数据集进行预处理和扩充，提升了模型的鲁棒性，为植物叶片病害的识别诊断提供了参考。本文利用轻量化网络结构并结合深度迁移学习技术对玉米病害图像数据集进行训练，通过对比实验分析挑选出模型的优化器，以及使用学习率动态衰减策略完成训练过程中的模型微调，最后结合TensorFlow Lite框架将优化后的模型部署在移动端，完成玉米病害识别应用的开发，为农业现代化领域提供参考。1材料与方法1.1数据集图像数据来自公共数据集Kaggle机器学习数据平台，共搜集了灰叶斑病、枯萎病、锈蚀病3种常见的玉米病害及健康图像，共1 527张。图1是数据集中各类玉米病害(包括健康)的图像基本特征，表1为数据扩充前后各病害及健康图像的数量，与健康及锈蚀病不同，枯萎病和灰叶斑病的叶片图像相似度较高，为了提升模型对病害的识别精度，这2种病害扩充后的的图像数量也更多。1.2模型与方法1.2.1MobileNetV2模型深度神经网络模型被广泛应用在图像分类、物体检测和目标跟踪等计算机视觉任务中，但是不同模型大小不同，往往无法在移动端等计算能力和存储能力有限的终端上得到充分发挥和应用。经与 VGG16、ResNet50、InceptionV3、Xception模型对比分析，本研究选择MobileNetV211模型作为玉米病害识别模型的基础架构模型，如图2所示。基模型MobileNetV2作为整个识别模型的核心组件，其详细结构见表2，第1层是卷积核大小为 33的标准二维卷积。接下来是 17个线性瓶颈的倒置残差结构(Bottleneck)，该模块由 3 层网络结构组成：扩展层，使用 11 的卷积神经网络12，目的是将低维空间映射到高维空间进行升维,升高的维度倍数即膨胀系数与表中的系数等图1健康及染病的玉米叶片图像Fig.1Images of healthy and diseased corn leaf表1扩充前后的图像数量Table 1Number of images before and after data augmentation病害类别Disease category枯萎病 Blight锈蚀病 Common rust灰叶斑病 Gray leaf spot健康 Healthy原图像数量Number of original images538286429274扩充后数量Number after expansion1 0938181 31696112010 期张彦通等：基于迁移学习的玉米病害图像识别价，激活函数使用的是ReLU6；深度可分离卷积(depthwise convolution)13，使用33的卷积核作为标准卷积核的大小，主要功能为完成卷积提取特征功能、降低计算量和参数量，同样使用 ReLU6非线性激活函数是由于其在低精度计算中更具有鲁棒性，并在训练期间加入了dropout和BN，加速模型的训练并降低过拟合现象的发生；使用11的卷积网络，目的是将高维特征映射到低维空间进行降维，让网络重新缩小，使用Linear线性激活函数，如使用非线性激活函数可能会造成信息丢失或破坏。后面是由卷积核为11的二维卷积网络、77的平均池化层和11的二维卷积网络构成。1.2.2实验环境及模型参数模型的训练以及优化均在Google Colab上使用TensorFlow框架完成。硬件环境:Tesla P100-PCIE GPU，16 G 显存,12 G内存，Intel(R)Xeon(R)2.30 GHz CPU，软件环境TensorFlow 2.8.0,Python 3.8.0。模型训练时，图像的输入尺寸为 1601603像素，在输入到模型之前将图像像素值缩放至0,1，池化层类型为最大平均池化，其卷积核大小为33像素，滑动步长为2，输出单元数为1 280，Dropout 层的丢弃率为 0.2，输出单元数为 1 280，输出层为全连接层，输出单元数为4，对应分类数量。训练批次(Batch_Size)大小设置为32，模型的损失函数选择SparseCategoricalCrossentropy，并在训练的过程中将数据集打散，目的是在使用自适应学习率算法的时候，可以避免发生某些数据集中出现而导致模型学习出现过拟合现象。1.2.3模型优化为了提高模型的准确率，首先将整个数据集按7 2 1的比例划分为训练集、验证集和测试数据集，然后分别选择SGD、Adam和Nadam优化器作为模型的超参数，将初始学习率设置为0.001 0、0.000 5和0.000 1，迭代次数设置为50、100和2 003个，对比不同优化器对模型识别性能的影响。确定识别模型的优化器后重新进行训练，整个模型的训练次数设置为 250，在前 200 次的训练过程中，“冻结”模型的后 50 层并通过设置动态阶梯式的学习率衰减，同时通过参考TensorFlow API 中的默认值并结合实际经验，将衰减系数设置为 0.96，衰减步长设置为 20，即在训练的过程中每20次迭代学习率就会降低。在后50次的迭代训练过程中通过自定义设置学习率并将识别模型的后 50 层“解冻”并重新训练，图2基于MobileNetV2模型的玉米病害识别模型架构Fig.2Architecture of corn disease recognition model based on MobileNetV2表2MobileNetV2结构Table 2Structure of MobileNetV2输入Input22423112232112216562242823214264142967216072320721 280121 280模块OperatorConv2dBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckBottleneckConv2dAvgpoolConv2d系数Coefficient1666666输出通道Output channel3216243264961603201 280k次数Times1123433111步长Step212221211121中 国 农 业 科 技 导 报25 卷目的是让识别模型更具特殊性，以提升模型的识别精度。1.3玉米病害识别模型部署1.3.1模型转化在确定了最终的玉米病害识别模型后，导出后的模型并不能直接用于应用程序的开发。TensorFlow 框架提供了相应的解决方案，即将Saved-Model格式的文件通过转化器转化为TensorFlow Lite model(一种由.tflite文件扩展名标识且被优化后的Flatbuffer二进制格式，该格式可以被 Android Studio 软件直接加载)。Saved-Model包含1个完整的TensorFlow程序模型，其中包括模型训练后得到的参数和权重等信息。1.3.2应用架构由于模型的输入大小固定，在将图像输入到模型之前需要进行图像尺寸的判断，如果图像尺寸不符合模型的输入大小，需要对图像进行预处理，最后模型将计算后的结果通过应用程序界面展示出来，玉米病害识别应用的总体架构流程如图3所示。2结果与分析2.1数据增强效果分析考虑到实际的应用场景，如用户的拍摄角度、光线等都会对模型的识别结果产生影响，因此为了提升模型的稳定性、鲁棒性和识别精度，对原数据集进行数据增强，增加图像的多样性，以提升模型的识别准确率和应用场景。利用TensorFlow框架中的 ImageDataGenerator 以及预处理模块对图像进行平移、旋转、改变饱和度和增强对比度操作，增加了数据集的复杂性，使其更符合实际情况，图 4 为玉米病害图像数据增强前后的效果变化。2.2不同模型训练能力分析轻量化网络旨在保持模型精度的基础上近一步减少模型参数量和复杂度，既包含了对网络结图3识别应用总体架构流程Fig.3Overall architecture flow for recognition applications图4数据增强效果Fig.4Effect of data augmentation12210 期张彦通等：基于迁移学习的玉米病害图像识别构的探索，同时也推动了深度学习技术在移动端及嵌入式端应用的落地。通过表3的对比结果可知，MobileNetV2模型体积以及执行耗时上都要比其余4个网络结构小很多，虽然MobileNetV2的识别准确率低于其他的网络，但是其模型本身的识别准确率也达到了较好的水平。考虑到移动端设备的计算能力，最终选择 MobileNetV2 作为玉米病害识别模型的基础架构模型。2.3不同优化器对模型识别精度的影响根据表4的结果分析，SGD优化器在模型识别精度上明显小于Adam和Nadam，经过200次的迭代后在训练集上的平均识别精度也只能达到87.69%，从识别精度和损失上比较，采用 Nadam作为模型的优化器效果更好一些，原因是Nadam算法将Adam和Nesterov加速的自适应矩估计结合，这样 Nadam 对学习率有了更强的约束，同时对梯度的更新也有更为直接的影响。2.4模型优化分析模型训练及优化曲线如图5所示，在迭代训练区间0至200内，随着迭代次数的增加，模型在训练集和验证集上的准确率和损失率的变化情况逐渐趋于平稳并且曲线的波动较小，在150至200区间内，模型逐渐趋于收敛状态，识别准确率最高达到91.58%，损失率最低为0.23。为了进一步提升模型的识别准确率，在迭代次数为200的时候，通过自定义设置将模型的学习率修改为初始学习率0.000 1的1/10，模型准确率和损失率的变化趋势比较明显，训练集和验证集的准确率逐渐提升，损失率也逐渐降低。同时也表明在训练的过程中学习率的变化会对模型的性能产生较大的影响。最终模型在训练集上的识别准确率最高在98.64%，训练集的损失率最低大约在 0.11，验证集识别准确率最高为 95.61%，验证集的损失率最低为0.19。2.5模型评估效果分析混淆矩阵可以用来比较实际类别与预测结果的关系，是表达分类准确性的有效方式。使用测试集416张图像对获得的模型进行测试,最终模型对测试集的识别准确率为96.83%，将模型的分类结果和实际测得值比较，最后利用混淆矩阵将测试结果的精度进行展示，结果如表5所示。经过测试，模型的分类性能从高到低分别为健康、锈蚀病、灰叶斑病以及枯萎病。识别准确率较低的主要为枯萎病和灰叶斑病，分别为85.6%和 87.5%，原因是这 2 种病害图像的相似特征较多，另外在某些情况下，同一植物叶片中会出现不图5模型的训练曲线Fig.5Training curve of the model表3预训练模型参数对比Table 3Comparison of pre-trained model parameters模型ModelVGG16ResNet50InceptionV3XceptionMobileNetV2模型大小Size/Mb52898928814准确率Accuracy/%90.892.193.794.590.1耗时Time consumption/ms4.24.66.98.13.8表4模型的识别精度Table 4Average accuracy and loss of the model优化器OptimizerSGDAdamNadam学习率Learning rate0.001 00.000 50.000 10.001 00.000 50.000 10.001 00.000 50.000 1迭代次数Epoch501002005010020050100200准确率Accuracy/%74.7279.8683.8287.6989.5890.6688.8690.2291.58123中 国 农 业 科 技 导 报25 卷同病害的症状或者同一病害在不同的阶段会出现不同的发病症状，从而影响分类结果。另外在将图像输入到模型之前也会改变图像的分辨率，也会导致模型的识别存在一定误差。2.6玉米病害识别程序应用最后应用所呈现的主要功能是使用相机进行拍照或者选择相册中的图像进行识别。如图6所示，当用户上传图像成功后，模型就会在后台进行计算，最终将计算后的各类别的玉米病害概率显示在界面上。经过测试，该应用的识别准确率以及处理速度都达到了较好的水平。3讨论目前，利用深度学习技术在处理图像任务领域已经取得了巨大成功，其基本的方法包括分割、滤波和特征提取，当数据集达到一定规模，同时数据集标注质量较高时，就能达到很好的准确率和鲁棒性。但是其在农业病害识别领域中会受到数据集质量、规模及硬件条件的制约。如模型体积大，采用客户端-服务器模式将其部署在服务器上，存在网络因素的限制，本文选择轻量级预训练模型MobileNetV2，并利用模型迁移技术将模型嵌入到移动端设备中，利用数据增强和预处理技术对数据进行处理，以提高模型的应用场景，并充分利用手机的计算资源，不需要服务器等额外资源的开销，与人为识别和传统的深度网络模型对比，该模式在识别精度、速度和应用场景上均高于传统识别方式，最终该模型的识别精度达到96.83%。SGD优化算法由于每步接受的信息有限，对梯度的估计准确性低，造成目标函数的收敛状态不稳定甚至出现不收敛状况、随机性较大以及不能保证全局最优解。另外Adam算法现存一些问题，Wilson等14通过实验总结出，在同一问题下，不同的优化算法可能会找到不同的答案，但Adam往往会错过全局最优解；Sashank等15通过反例验证了Adam算法在某些情况下可能出现不收敛状况。因此，本文选择结合Adam和Nesterov算法，在训练的过程中，Nadam算法的应用效果更有效。和传统的深度学习模型VGG16、InceptionV3和ResNet50相比，基于轻量化网络的模型迁移不仅在模型识别准确率以及模型的实际应用上都取得了很好的效果。本研究一方面提高了模型的识别准确率、速度以及充分利用手机设备的计算资源，同时也为其他农作物病害识别应用的研究提供了可行性的参考，但仍需要进一步扩充数据集的数量、质量和种类，进一步提升模型的准确率和增加模型的识别种类。表5测试集的混淆矩阵Table 5Confusion matrix of the model病害类别Category枯萎病Blight锈蚀病Common rust灰叶斑病Gray leaf spot健康Healthy预测类别Prediction Classes枯萎病Blight83240锈蚀病Common rust416510灰叶斑病Gray leaf spot100350健康Healthy000112分类性能Classification performance准确率Accuracy/%85.698.887.5100.0总量Total9716740112图6玉米病害识别应用程序Fig.6Application of corn disease diagnostic12410 期张彦通等：基于迁移学习的玉米病害图像识别参 考 文 献1 龚瑞昆,刘佳.图像处理的玉米病害识别研究J.现代电子技术,2021,44(24):149-152.GONG R K,LIU J.Research on recognition of corn diseases by image processing J.Mod.Electron.Technol.,2021,44(24):149-152.2 刁智华,袁万宾,刁春迎,等.病害特征在作物病害识别中的应用研究综述J.江苏农业科学,2019,47(5):71-74.DIAO Z H,YUAN W B,DIAO C Y,et al.Application of disease characteristics in crop disease identification:a review J.Jiangsu Agric.Sci.,2019,47(5):71-74.3 陈雷,袁媛.基于深度迁移学习的农业病害图像识别J.数据与计算发展前沿,2020,2(2):111-119.CHEN L,YUAN Y.Image recognition of agricultural diseases based on deep transfer learning J.Front Data Computing,2020,2(2):111-119.4 周惠汝,吴波明.深度学习在作物病害图像识别方面应用的研究进展J.中国农业科技导报,2021,23(5):61-68.ZHOU H R,WU B M.Research progress of deep learning application in crop disease image recognition J.J.Agric.Sci.Technol.,2021,23(5):61-68.5 王佳盛,陈燕,曾泽钦,等.基于全卷积神经网络的荔枝表皮缺陷提取J.华南农业大学学报,2018,39(6):104-110.WANG J S,CHEN Y,ZHENG Z Q,et al.Extraction of lichee epidermal defects based on full convolutional neural network J.J.South China Agric.Univ.,2018,39(6):104-110.6 KARL R W,TAGHI K,DINGDING W.A survey of transfer learning J.J.Big Data,2016,3(1):37-43.7 杨玉敏,廖育荣,林存宝,等.轻量化卷积神经网络目标检测算法综述J.舰船电子工程,2021,41(4):31-36.YANG Y M,LIAO Y R,LIN C B,et al.A review of target detection algorithms for lightweight convolutional neural networks J.Ship Electron.Eng.,2021,41(4):31-36.8 史红栩,李修华,李民赞,等.基于深度学习的香蕉病害远程诊断系统J.华南农业大学学报,2020,41(6):92-99.SHI H X,LI X H,LI M Z,et al.Remote diagnosis system of banana disease based on deep learning J.J.South China Agric.Univ.,2020,41(6):92-99.9 李静,陈桂芬,安宇.基于优化卷积神经网络的玉米螟虫害图像识别J.华南农业大学学报,2020,41(3):110-116.LI J,CHEN G F,AN Y.Image recognition of corn borer pests based on optimized convolutional neural network J.J.South China Agric.Univ.,2020,41(3):110-116.10 龙满生,欧阳春娟,刘欢,等.基于卷积神经网络与迁移学习的 油 茶 病 害 图 像 识 别 J.农 业 工 程 学 报,2018,34(18):194-201.LONG M S,OUYANG C J,LIU H,et al.Image recognition of camellia oil disease based on convolutional neural network and transfer learning J.Trans.Chin.Soc.Agric.Eng.,2018,34(18):194-201.11 HOWARD A G,ZHU M,CHEN B,et al.MobileNets:efficient convolutional neural networks for mobile vision applications J.2017.10(6):187-191.12 ALEX K,ILYA S,GEOFFREY E.H.ImageNet classification with deep convolutional neural networks J.Commun.ACM,2017,60(6):84-90.13 CHOLLET F.Xception:deep learning with depthwise separable convolutions J.CoRR,2017:1800-1807.14 WILSON A C,ROELOFS R,STERN M,et al.The marginal value of sdaptive gradient methods in machine learning C/OL/Proceedings of 31st Conference on Neural Information Processing Systems(NIPS 2017)2023-06-15.https:/doi.org/10.48550/arXiv.1705.08292.15 SASHANK J.R,SATYEN K,SANJIV K.On the convergence of adam and beyond C/OL/Proceedings of ICLR 2018 2023-06-15.https:/doi.org/10.48550/arXiv.1904.09237.（责任编辑：温小杰）125