基于深度卷积生成对抗网络和卷积神经网络的叶片病虫害问题研究.pdf

WOODWORKING MACHINERY设计与研究Design and Research基于深度卷积生成对抗网络和卷积神经网络的基于深度卷积生成对抗网络和卷积神经网络的叶片病虫害问题研究叶片病虫害问题研究*Research on leaf disease and pest problem based on Deep Convolutional Generative AdversarialNetwork and Convolutional Neural Network魏财根林炜鑫赵 晨（福建农林大学机电工程学院，福建 福州 350100）摘要：传统的机器学习和深度学习方法耗时费力、泛化性能较低且需要大量样本数据，因此需要一种能在小样本情况下准确识别植物病虫害的方法。文章利用深度卷积生成对抗网络生成大量包含叶片病虫害的合成图像数据集，结合卷积神经网络进行叶片病虫害的自动检测和识别，探讨深度卷积生成对抗网络和卷积神经网络应用于叶片病虫害问题的可行性和有效性。实验证明，该方法在小样本情况下能够准确识别叶片病虫害，具有较高的准确性和鲁棒性，为解决植物病虫害问题提供了一种新的方法。关键词：叶片病虫害；卷积神经网络；深度卷积生成对抗网络中图分类号：S432；TP391.41；TP183文献标识码：A文章编号：1005-1937（2023）02-016-06Abstract：Traditional machine learning and deep learning methods are time-consuming and laborious，have low generalizationperformance，and require a large number of sample data.Therefore，a method that can accurately identify plant diseases and pests inthe case of small samples is needed.This paper explores the feasibility and effectiveness of using Deep Convolutional Generative Adversarial Networks（DCGAN）and Convolutional Neural Networks（CNN）to address the problem of leaf disease and insect pest detection.By using DCGAN to generate a large number of synthetic images containing leaf diseases and insect pests，combined withCNN for automatic detection and recognition of leaf diseases and insect pests.The results show that this method can accurately identify leaf diseases and insect pests in small sample situations，with high accuracy and robustness，providing a new method for solving theproblem of plant diseases and insect pests.Key words：leaf disease and pest damage；Convolutional Neural Network；Deep Convolutional Generative Adversarial Networks植物病虫害严重威胁农业作物产量和质量，对于农业经济和粮食安全具有重要影响。传统的病虫害识别方法通常依赖于人工视觉评定，费时费力1。随着机器学习的发展，机器学习方法已经被广泛用在植物叶片病虫害识别。Sun等提出一种将简单线性迭代聚类与支持向量机（Support VectorMachine，SVM）相结合的算法，该方法能够有效地将茶叶病虫害图谱从复杂的背景中提取出来2。朱瑞金等运用双边滤波去噪算法对青稞叶病害图像进行平滑处理，随后使用病斑颜色差异及边界跟踪算法对青稞叶的病害部位进行分割，提取分割后青稞病斑的颜色特征和纹理特征作为识别依据，并将其输入 SVM 进行训练和识别3。张帅堂等提出了基于高光谱成像技术和图像处理技术融合的茶叶病斑识别方法，病斑识别率达94.17%4。近年来，随着深度学习技术的快速发展，卷积神经网络（Convolutional Neural Networks，CNN）作为一种强大的图像处理工具，在图像识别领域取得了显著的成果。Agarwal等提出用3个卷积层并用M-ReLU代替原ReLU激活函数组成的神经网络模型，对黄瓜叶片病害进行分类，识别准确率达到93.75%5。温长吉等提出一种大规模多类别精细病虫害识别网络模型，在病害和虫害集识别准确率分别达到88.617%和74.668%6。李子茂等提出一种*校级大学生创新创业训练计划项目（X202210389314）作者简介：魏财根（2002），男，本科在读，电气工程及其自动化专业。通讯作者：赵晨（1982），男，博士，副教授，研究方向：电能质量分析、现代信号处理和机器学习。16木工机床2023No.2Design and Research设计与研究基于迁移学习的SE-DenseNet-FL茶叶病害识别方法，将 SENet（Squeeze-and-Excitation Networks）模块融入DenseNet网络结构中，引入Focal Loss函数替换原DenseNet中的损失函数，在小样本情景下识别准确率达到 92.66%7。卷积神经网络需要大量的原始样本集支持，由于叶片病虫害的种类繁多、形态复杂，同时病虫害样本获取困难且标注样本有限，急需扩大样本集容量，因此生成对抗网络（Generative Adversarial Networks，GAN）是一个很好的手段8。本文提出了一种基于深度卷积生成对抗网络（DeepConvolutionalGenerativeAdversarialNetworks，DCGAN）和卷积神经网络的叶片病虫害识别方法，先利用深度卷积对抗网络对已有的数据集进行数据扩增，然后用卷积神经网络LeNet-5对所有的数据集进行全分类训练。1基于DCGAN-CNN的叶片病虫害识别1.1卷积神经网络人 工 神 经 网 络（Artificial Neural Network，ANN），又常被称作神经网络，是类似生物神经系统（如大脑）运行机制的逻辑计算处理方法。ANN主要由大量相互连接的计算节点组成，而各个计算节点以分布式的方式连结在一起，就如同人脑中神经元之间的突触那样在各个神经元之间交换信息。ANN中各个计算节点共同从输入中学习，以优化其最终输出。CNN是一种人工神经网络的变体，将传统的全连接层替换为卷积层，以适应图像处理等应用场景。相比于传统的神经网络，CNN 可以有效地处理图像中的空间关系，通过局部连接和参数共享等方式，大大减少了需要训练的参数数量9，提高了模型的效率和泛化能力。不同的卷积神经网络网络层种类大体相同，但网络层数、网络形状、网络参数略有不同，其主体有卷积层、激活函数、池化层、全连接层和Softmax层。一般来说，卷积神经网络中的卷积层提取图像的局部特征，池化层进行特征压缩，而全连接层则通过各种激活函数实现非线性分类。相比于传统的人工神经网络，这种结构更加适合处理大规模图像数据，且能够提高训练速度和泛化性能。CNN的发展历程至今已经逐渐成熟，根据不同的用途选择合适的网络模型，经过对样本数据集、研究环境等因素综 合 考 虑，本 文 采 用 基 础 的 稍 加 改 进 过 后 的LeNet-5。1.2深度卷积生成对抗网络GAN是一种由Ian Goodfellow等人于2014年提出的深度学习模型10，用于生成逼真的图像、音频、视频等复杂数据。GAN本质上也是基于人工神经网络的技术之一，与传统的人工神经网络相比，其需要训练两个神经网络进行对抗，分别是生成器（Generator）和判别器（Discriminator），在训练过程中不断调整网络参数和损失函数，而生成式对抗网络的目标函数如下：minGmaxDV(D,G)=Ex-Pdata(x)logD(x)+Ez-Pz(z)log(1-D(G(z)（1）当训练生成网络时，损失函数V（D，G）越小越好，当训练判别网络时，损失函数 V（D，G）越大越好11。GAN的计算流程与结构，如图1所示。图图1 1GANGAN的计算流程与结构的计算流程与结构传统 GAN有可靠的理论保证，但在不断的研究和实验中，传统GAN暴露出训练不稳定和不能生成制定类别的样本以及处理的数据形式有限等问题。为了解决以上问题，本文采用DCGAN是在GAN的基础上将卷积引入网络结构得来的，相对于传统GAN，具有以下特点：1）全卷积网络在生成网络中采用反卷积替代池化层；2）全连接层（Fullyconnected layer）替换为全卷积层（Fully convolutional layer）12；3）使用 Batch Normalization 技术防止生成器G发生模式坍塌；4）激活函数使用Leaky ReLU函数而非ReLU函数13。DCGAN中判别网络与生成网络都使用了卷积神经网络代替了传统GAN的多层感知，提高了生成网络生成图像的质量与多样性。DCGAN网络模型如图2所示。17WOODWORKING MACHINERY设计与研究Design and Research图图2 2DCGANDCGAN网络模型网络模型1.3构建DCGAN-CNN病虫害识别模型本文利用DCGN可以生成高清晰度图像的特点，并且结合在图像识别和分类任务上表现出色的CNN，构建DCGAN-CNN的组合模型来实现更好的叶片病虫害识别效果。如图 3所示，构建 DCGAN和CNN的组合模型可以分为以下步骤：首先，将图片传入DCGAN并且训练生成器，使其能够生成与训练数据集相似的高清晰度图像。DCGAN的生成器模型其结构如图4所示。该网络由四层转置卷积组成。输入数据的维度是100维，且该数据由服从-1，1均匀分布的数据中随机采样得到的。该输入经过四层转置卷积后输出维度为6464的彩色图片14。其次，从生成器中提取特征向量，并作为输入传递给分类器 CNN并且训练分类器 CNN模型，使其能够将来自不同类别的叶片病虫害样本正确地分类。并且在测试过程中，使用训练好的DCGAN生成器生成一些假的高清晰度图像，与真实数据一起输入到 CNN分类器中进行分类判断。通过以上步骤的组合，可以有效提高图像分类任务的准确率和鲁棒性。其中，DCGAN生成器的作用是提供更多样化、高质量的训练数据；而CNN分类器则可以学习到更加鲁棒的特征抽取和类别判断能力，从而提高分类效果。同时，在测试过程中，使用生成器生成假数据可以增强模型的泛化能力。图图3 3叶片病虫害识别流程叶片病虫害识别流程图图4 4DCGANDCGAN的生成器模型的生成器模型2实验与方法2.1数据集及预处理在飞浆公共数据集中收集到苹果数据集里含有斑点落叶病、锈病、褐斑病、灰斑病、花叶病5个病虫害种类，每个种类分别含有大约500张图片，一共包含2500张原始图片。先利用代码划分数据集，按训练集：验证集：测试集=8：1：1的比例划分。数据集是512512的RGB图像，卷积神经网络的输入口大小需要3232或6464，深度卷积对抗网络输入口大小是6464的图像。所以要对数据集进行图像切割的预处理。2.2损失函数损失函数是用来衡量模型输出概率分布和真实标签的概率分布之间的差异，用以给更新迭代提供依据。模型的目标函数一般由损失函数加一个约束条件组成，约束条件也就是正则化，用以约束模型（如稀疏约束等），防止过拟合现象出现。本设计中CNN采用的是较为基础但实用性强的交叉熵损失函数，其数学表达式如下：loss()x,class=weightclass()-xclass+log()jex j（2）DCGAN采用二分类交叉熵函数，其数学表达式如下：lossn=-wnynlogxn+()1-ynlog()1-xn（3）2.3优化器在神经网络的训练过程中，我们需要通过反向传播算法计算出损失函数对于网络参数（如权重和偏置）的梯度，然后使用优化器（如梯度下降算法）对这些参数进行更新，从而使得网络的预测结果逐渐接近真实标签。2.4学习率调整策略18木工机床2023No.2Design and Research设计与研究学习率是神经网络优化过程中的一个重要参数，它控制着每次参数更新的步长。过大的学习率可能导致参数更新过快而错过最优点，而过小的学习率则会导致网络训练缓慢或陷入局部最优点。因此，为了让神经网络更好地学习，我们通常需要采用学习率调整策略动态地调整学习率。本设计采用在CNN中用等间隔调整（StepLR），在DCGAN中采用自编码针对固定epoch调整学习率，比如在图像在前十轮loss值改变较大，后续开始震荡，但loss值仍在减小，则可以在第五十轮左右加一个学习率衰减，衰减幅度一般定为原来的0.1倍。StepLR学习率计算公式为：I_r=I_r gamma（一般设置gamma=0.1），其中参数step_size=60代表每六十轮调整一次学习率，直至训练结束。3实验结果3.1DCGAN训练结果正常网络训练时，对生成器和判别器的特征值一般设置为128（其中特征值代表卷积核的数量），但在本设计实验中发现叶片数据集输入设置为128特征值的网络无法生成正常的图片，只有随机噪声。改变特征值后发现，特征值小于128的效果更好，其中在64时出现较为满意的结果。此外，在实际训练中发现，当输入数据集为室内背景和野外背景混合的数据图时，若特征值小，则室内数据类型结果较为清晰，而野外背景的生产样本结果不尽人意；若特征值大，则室内和野外背景的生成样本结果清晰度差不多，野外背景的效果略模糊一些，具体训练结果如图5所示。（a）特征值为256时的训练结果（b）特征值为32时的训练结果图图5 5不同特征值时的训练结果不同特征值时的训练结果发现这一规律后，对收集来的样本数据集进行重新分类，将室内背景和野外背景分开，只含有室内背景的图片单独输入网络，训练结果如图6、图7所示。图图6 6D_LOSSD_LOSS和和G_LOSSG_LOSS图图（a）第1轮（b）第100轮（c）第196轮图图7 7不同轮次不同轮次G G网络生成的效果图网络生成的效果图3.2CNN的训练结果在训练 CNN 时发现直接输入原始尺寸的图片，网络需要一张张对照图像进行裁剪，训练速度十分缓慢。因此在样本数据集输入网络前，先对样本图像进行简单的筛选，图像背景过于杂乱、目标叶子不明显的图像先行剔除，保留所有室内图像和19WOODWORKING MACHINERY设计与研究Design and Research一些目标叶子较为清晰且占总尺寸比例较大的野外图像，然后用裁剪代码把图像裁剪到可以直接输入Lenet-5的大小后输入CNN进行训练，所得结果如图8所示。图图8 8经过经过100100轮训练轮训练CNNCNN的的lossloss图图经过多次训练尝试的loss图和精度（数据见表1）可以看出，训练的精度可以达到96%以上，没有达到100%原因可能是网络输入像素值不够大，训练轮数偏少或者训练过程网络没有很好的特征判别条件等。表表1 1DCGAN+CNNDCGAN+CNN叶片病虫害识别精度叶片病虫害识别精度斑点落叶病97.66%锈病97.27%褐斑病96.09%灰斑病96.09%花叶病96.22%4结语本文采用深度卷积对抗网络和卷积神经网络技术，针对叶片病虫害识别的问题，建立识别模型，将其应用在植物病虫害的图像识别中，取得了较好的图像识别效果。下一步研究将尝试更平滑的标签：一般默认真样本标签为1，虚假样本标签为0，可以尝试设置真为 0.9，假为 0.1，使得标签在一个范围内波动，从而减少梯度的突然变化，使得训练更加平滑和稳定。参考文献：1 安强强,张峰,李赵兴,等.基于深度学习的植物病虫害图像识别J.农业工程,2018,8(7):38-40.2 Sun Y Y,J Z H,Z L P,et al.SLIC_SVM based leaf diseases saliency map extraction of tea plantJ.Computers and Electronics inAgriculture,2019(157):102-109.3 朱瑞金.基于支持向量机的青稞病害识别研究J.黑龙江科学,2019,10(18):1-3.4 张帅堂,王紫烟,邹修国,等.基于高光谱图像和遗传优化神经网络的茶叶病斑识别J.农业工程学报,2017,33(22):200-207.5 Agarwal Mohit,Gupta Suneet,Biswas K.K.A new Conv2D model with modified ReLU activation function for identification of disease type and severity in cucumber plantJ.Sustainable Computing:Informatics and Systems,2020(30):100473.6 温长吉,王启锐,陈洪锐,等.面向大规模多类别的病虫害识别模型J.农业工程学报,2022,38(8):169-177.7 李子茂,徐杰,郑禄,等.基于改进DenseNet的茶叶病害小样本识别方法J.农业工程学报,2022,38(10):182-190.8 曾明昭.基于GAN的农作物病害图像数据增强方法研究D/OL.合肥:中国科学技术大学,2021(8)2023-04-25.https:/ 吕锦涛.基于深度学习的图像描述自动生成的研究D/OL.深圳:深圳大学,2021(1)2023-04-25.https:/ L.J R,S.A B,S.S S.Characterization and computation of local Nash equilibria in continuous games:2013 51st Annual AllertonConference on Communication,Control,and Computing(Allerton)C,2013.11 唐贤伦,杜一铭,刘雨微,等.基于条件深度卷积生成对抗网络的图像识别方法J.自动化学报,2018,44(5):855-864.12 张澎,崔梦天,谢琪,等.基于深度卷积生成对抗网络的植物图像识别方法的研究J.西南民族大学学报(自然科学版),2019,45(2):185-191.13 毛晓龙.基于Triple-Gan的改进半监督图像分类方法D/OL.济南:山东大学,2021(12)2023-04-25.https:/ MACHINERY管理科学Management Science3.5工匠精神培育平台依托工会组织建立常态化工匠精神培育平台，开展职工技能竞赛和技术创新活动，宣传和培养大国工匠，开展“劳模、工匠进校园”活动，弘扬劳模精神，营造崇尚劳动精神和工匠精神的浓厚氛围。工匠精神培育平台不仅面向“二元制”职工学生，也辐射校内其他学生，为社会培养具有劳动精神和工匠精神的高素质技术技能人才。3.6辐射职工培训工作“二元制”试点工作中工会、职业院校和企业三方共建的教学平台、实践平台和教学资源等可辐射非学历教育的行业和企业职工培训，发挥资源共享作用，充实工匠学堂内容，服务区域经济和产业发展。4结语工匠学院“二元制”人才培养模式改革是对福建版“二元制”的进一步探索和实践，在原有“二元制”试点工作基础上工会组织给予大力支持，促进和完善了“二元制”试点工作，对于高职院校的专业人才培养工作具有一定的促进和借鉴作用。工匠学院要继续加强体制机制建设，发挥工会的职能作用，拓展工会组织的其他支持功能，完善政工行校企一体育人模式，进一步深化工匠学院人才培养模式改革。参考文献：1 国务院.关于加快发展现代职业教育的决定EB/OL.（2014-05-02）2022-08-25.http：/ 教育部.关于开展现代学徒制试点工作的意见EB/OL.（2014-08-27）2022-08-25.http：/ 福建省教育厅.福建省教育厅等五部门关于实施“二元制”技术技能人才培养模式改革试点的通知EB/OL.（2016-02-04）2022-08-25.http：/ 福建日报.展望教育十三五 打造福建版“二元制”现代职业教育EB/OL.（2016-08-08）2022-08-25.http：/ 福建省福州市总工会办公室.福建成立省内首个工匠学院J.工会信息，2020（15）：50.（收稿日期：2022.12.09）14 于泽婷.基于生成对抗与自注意力的半监督图像分类D/OL.哈尔滨:哈尔滨工程大学,2020(5)2023-04-25.https:/