改进ACGAN数据增强的番茄叶片病害识别.pdf

第5 4卷 第5期2 0 2 3年9月 太原理工大学学报J OUR NA L O F T A I YUAN UN I V E R S I T Y O F T E CHNO L OG Y V o l.5 4 N o.5 S e p.2 0 2 3 引文格式:罗东升,周子敬,王志伟,等.改进A C G AN数据增强的番茄叶片病害识别J.太原理工大学学报,2 0 2 3,5 4(5):8 6 1-8 6 8.L UO D o n g s h e n g,Z HOU Z i j i n g,WANG Z h i w e i,e t a l.T o m a t o l e a f d i s e a s e r e c o g n i t i o n b a s e d o n i m p r o v e d A C-G AN d a t a e n h a n c e m e n tJ.J o u r n a l o f T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,2 0 2 3,5 4(5):8 6 1-8 6 8.收稿日期:2 0 2 2-0 1-2 1;修回日期:2 0 2 2-0 3-2 1 基金项目:中央引导地方科技发展资金资助项目(Y D Z J S X 2 0 2 1 C 0 0 5)第一作者:罗东升(1 9 9 8-),硕士生,主要从事图像处理、生成对抗网络的研究,(E-m a i l)2 8 2 6 5 9 8 8 8 6q q.c o m 通信作者:李海芳(1 9 6 3-),博士,教授,C C F高级会员(0 9 4 9 7 S),主要从事模式识别、计算机视觉的研究,(E-m a i l)l i h a i f a n gt y u t.e d u.c n改进A C G A N数据增强的番茄叶片病害识别罗东升1,周子敬2,王志伟3,李海芳1(1.太原理工大学 信息与计算机学院,山西 晋中 0 3 0 6 0 0;2.太原理工大学 软件学院,山西 晋中 0 3 0 6 0 0;3.山西省气象科学研究所,太原 0 3 0 0 0 2)摘 要:【目的】为了获得足够的番茄叶片病害图像,提高番茄病害的识别准确率,提出了一种新的基于生成对抗网络的数据增强方法(H i d d e n p a r a m e t e r l a b e l a n d A t t e n t i o n a t t a c h e d M u l t i s c a l e A C G AN,HAM_A C G AN).【方法】在生成对抗网络的基础上,为了补充类内信息,将隐参数标签连接到输入噪声上,以控制不同类别病害的叶片生成;同时设计一个带有残差注意力块的生成器捕获叶片中的病害信息,生成病害特征明显的番茄叶片;最后利用多尺度判别器丰富生成图片的细节纹理。【结论】实验表明,提出的数据增强方法能够生成病害特征明显的番茄叶片,能够满足神经网络训练所需的大量数据,进而提高病害识别网络的识别精度。关键词:数据增强;生成对抗网络;病害识别;番茄叶片;隐参数标签;多尺度中图分类号:T P 3 9 1 文献标识码:AD O I:1 0.1 6 3 5 5/j.t y u t.1 0 0 7-9 4 3 2.2 0 2 3.0 5.0 1 4 文章编号:1 0 0 7-9 4 3 2(2 0 2 3)0 5-0 8 6 1-0 8T o m a t o L e a f D i s e a s e R e c o g n i t i o n B a s e d o n I m p r o v e d A C G A N D a t a E n h a n c e m e n tL U O D o n g s h e n g1,Z H O U Z i j i n g2,WA N G Z h i w e i3,L I H a i f a n g1(1.C o l l e g e o f I n f o r m a t i o n a n d C o mp u t e r,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,J i n z h o n g 0 3 0 6 0 0,C h i n a;2.C o l l e g e o f S o f t w a r e,T a i y u a n U n i v e r s i t y o f T e c h n o l o g y,J i n z h o n g 0 3 0 6 0 0,C h i n a;3.S h a n x i I n s t i t u t e o f M e t e o r o l o g i c a l S c i e n c e s,T a i y u a n 0 3 0 0 0 2,C h i n a)A b s t r a c t:【P u r p o s e s】A t p r e s e n t,t o m a t o d i s e a s e r e c o g n i t i o n b a s e d o n c o n v o l u t i o n a l n e u r a l n e t w o r k r e l i e s o n a l a r g e a m o u n t o f l a b e l e d d a t a,a n d t h e l a c k o f d a t a s a m p l e s i s a n i m p o r t a n t p r o b l e m a f f e c t i n g t h e a c c u r a c y o f t o m a t o d i s e a s e r e c o g n i t i o n.【M e t h o d s】T h e r e f o r e,i n o r d e r t o o b t a i n e n o u g h t o m a t o l e a f d i s e a s e i m a g e s a n d i m p r o v e t h e a c c u r a c y o f t o m a t o d i s e a s e r e c o g n i t i o n,a n e w d a t a a u g m e n t a t i o n m e t h o d HAM_A C GAN(H i d d e n p a r a m e t e r l a b e l a n d A t t e n t i o n a t t a c h e d M u l t i s c a l e A C GAN)b a s e d o n G e n e r a t i v e A d v e r s a r i a l N e t w o r k(GAN)i s p r o p o s e d.O n t h e b a s i s o f w i t h a u x i l i a r y c l a s s i f i e r s,i n o r d e r t o s u p p l e m e n t t h e i n t r a-c l a s s i n f o r m a t i o n,t h e h i d d e n v a r i a-b l e i s c o n n e c t e d t o t h e i n p u t n o i s e t o c o n t r o l t h e g e n e r a t i o n o f d i f f e r e n t c l a s s e s o f d i s e a s e s o n t h e l e a v e s;a t t h e s a m e t i m e,a g e n e r a t o r w i t h r e s i d u a l a t t e n t i o n b l o c k i s d e s i g n e d t o c a p t u r e t h e d i s-e a s e i n f o r m a t i o n i n t h e l e a v e s t o g e n e r a t e t o m a t o l e a v e s w i t h o b v i o u s d i s e a s e f e a t u r e s;f i n a l l y,a m u l t i-s c a l e d i s c r i m i n a t o r i s u s e d t o e n r i c h t h e d e t a i l t e x t u r e o f t h e g e n e r a t e d i m a g e s.【C o n c l u-s i o n s】T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d d a t a e n h a n c e m e n t m e t h o d c a n g e n e r a t e t o m a t o l e a v e s w i t h o b v i o u s d i s e a s e f e a t u r e s,w h i c h c a n m e e t t h e l a r g e d a t a a m o u n t r e q u i r e m e n t f o r n e u r a l n e t w o r k t r a i n i n g,t h e r e b y i t c a n i m p r o v e s t h e r e c o g n i t i o n a c c u r a c y o f t h e d i s e a s e r e c o g-n i t i o n n e t w o r k.K e y w o r d s:d a t a e n h a n c e m e n t;g e n e r a t i v e a d v e r s a r i a l n e t w o r k s;d i s e a s e r e c o g n i t i o n;t o m a t o l e a v e s;h i d d e n p a r a m e t e r l a b e l;m u l t i-s c a l e 植物病害识别是智慧农业和图像处理领域共同关注的重要课题。番茄具有重要的营养及经济价值1,而番茄在生长过程中,会面临不同种类的病害,影响果实的产量和质量。因此,准确对番茄病害进行识别对于早期预防和控制具有重大作用。随着深度学习的发展,卷积神经网络(C NN)在病害识别领域2取得了重大突破。然而,较成功的神经网络需要大量带标签的数据进行训练,而人为的标注病害信息耗时耗力且容易出错,因此,训练样本不足是影响番茄病害识别精度进一步提升的主要原因。在植物科学领域,由于数据样本采集困难,已经有图像生成方法被提出以解决训练样本不充足问题2。孙晓等3为了解决苹果病害图片不足问题,使用常规的图像旋转扩增图像,但是对图片进行几何变换获得的信息量较少且具有临时性。WU e t a l4融合多尺度和密集连接,设计A d v e r s a r i a l-VA E模型来生成番茄叶病图像。J A I N e t a l5针对番茄病害的数据量不足问题,使用条件生成对抗生成网络进行图像生成,丰富训练数据的多样性。Z HU e t a l6使用基于条件生成对抗网络的改进模型进行图像生成,利用条件信息控制生成图像的类别。L I U e t a l7在判别器中加入密集连接,对损失函数进行改进,生成葡萄叶片。然而,生成对抗网络的目标是生成尽可能真实的图片,其学习的是图片的整体信息,而忽略了关键的局部病害信息,不能生成具有清晰病斑的图像,同时由于缺少细节纹理,生成的大多数图像质量较差。针对以上问题,本文提出了一种改进的A C-GAN方法进行数据增强,称作HAM_A C GAN,以提升分类器在番茄病害识别上的性能。本文的主要贡献总结如下:1)在输入处添加一组隐参数标签,指导生成器学习叶片内的潜在信息,拟改善同种病害的生成叶片中的类内差异,提高生成图像的多样性。同时缓解模式崩塌问题。2)添加残差网络和注意力机制进行叶片生成。使得生成器更加准确关注叶片中的病害特征,增加病害区域的关注度,生成病害特征明显的叶片。3)采用多尺度判别器对真假图片进行预测,捕获叶片中不同层次的信息,拟改善生成图像的细节纹理,恢复图像丢失的高频信息。使用原始数据和HAM_A C GAN生成数据建立扩充数据集,并作为训练集,使用迁移学习在多种识别网络上进行番茄病害识别,并在4种识别网络上评估,HAM_A C GAN模型作为扩充数据生成病害特征明显的番茄病害叶片的识别精度。1 相关工作1.1 A C GAN生成对抗网络的工作原理是生成器生成图像,判别器输出输入图像是真实图像的概率,通过互相博弈以达到平衡。生成对抗网络的输入是随机噪声,无法生成指定类别的图像。而要准确地生成不同类别的图像,需要为每个类训练一个生成模型,这种方法繁琐且工作量大。为此,带有辅助分类器的生成对抗网络(A C GAN)被提出,它将随机噪声z和类别标签c进行连接,并在判别器中添加一个分类器指导训练,以控制生成器生成指定类别的图像,实现一个生成模型生成多类图像,克服生成对抗网络应用在多类别数据上的限制。1.2 C o n v o l u t i o n a l B l o c k A t t e n t i o n M o d u l eC B AM(C o n v o l u t i o n a l B l o c k A t t e n t i o n M o d-u l e)8是一个轻量级的注意力模块,包含通道注意力和空间注意力模块。对于输入的特征图,C B AM依次沿着通道维度和空间维度生成注意力图,然后将注意力图与输入特征图进行点乘操作,使网络关注对于任务更有效的部分,从而提升模型的性能。2 HAM_A C GAN模型受到O D E NA9的启发,本文对A C GAN的网络架构进行探索,提出了一种生成对抗网络HAM_A C GAN,用来生成完整的、病害特征明显的植物叶片样本。利用隐参数标签,以连续地控制病害区域的生成;通过带有残差注意力块的生成器,提取更明268太 原 理 工 大 学 学 报 第5 4卷 显的叶片特征,生成病害突出的番茄叶片;使用多尺度判别器,捕捉图像中丢失的高频信息,丰富图片的细节纹理。HAM_A C GAN的整体网络结构如图1所示。Elementwise?sumBatchNormCBAMConvRehBatchNomConvConv?transposeTanhk4n3s1残差注意力块16k3n64s1ReluBatchNormConvTransposek4n64s1k4n28s1（b）k4n256s1ReluBatchNormConvTransposeReluBatchNormConvTransposeReluBatchNormConvTransposeReluBatchNormConvTransposek4n512s1k4n1024s0（a）ch（-I，I）zN（0，I）生成图像（128128）真实图像（128128）（c）判别器 D1下采样下采样判别器 D2生成图像（6464）真实图像（6464）Fake/RealConvLeakyReLUDropoutk3n16s1k3n32s0k3n64s1k3n128s0k3n256s1k3n512s0ConvLeakyReLUDropoutBatchNormConvLeakyReLUDropoutBatchNormConvLeakyReLUDropoutBatchNormConvLeakyReLUDropoutBatchNormConvLeakyReLUDropoutBatchNorm真/假类别隐变量fcTanhfcsoftmaxfcsigmoid（d）(a)输入;(b)生成器网络架构;(c)多尺度判别器;(d)判别器网络架构图1 HAM_A C GAN网络架构F i g.1 N e t w o r k a r c h i t e c t u r e o f HAM_A C GAN2.1 生成器网络架构生成器由多个反卷积层构成,输入为类别标签,隐参数标签和随机噪声串联组成的随机向量(图1(a).输入的向量经过6层的反卷积运算得到输出张量,最后通过t a n h激活层生成1 2 81 2 83的图像。为了控制生成叶片的病害类别,增强病害区域的关注度,提取图片的高级特征,指导生成更有利于识别任务的图像,本文将生成器的网络结构修改为如图1(b)所示。原始A C GAN通过一组离散的类别标签来控制生成图片的类别。受这一点的启发,本文在输入处加入一组连续的变量。由于类别标签是离散的0,1值,所以本文定义一个116的隐参数标签h i d e-1,1,与类别标签类似,隐参数标签的6个维度分别代表6类数据。由于本文研究的是单张叶片图片的单个病害类别,不考虑一张图像上存在多种病害,因此对于指定的一类病害,设置其所在的维度为-1到1的随机值,并将其他维度置0,使生成器能够捕捉更多的类内信息,以此来控制同种病害叶片之间的潜在差异,使生成的图像具有不同大小区域和严重程度的病害,增加生成图像的多样性。虽然已有的生成器的网络深度已被证明能够生成图片数据,但是网络的加深往往能够提升模型的性能,因此本文在生成器的最后一个反卷积层前加1 6个残差块1 0,一方面加深网络深度,使生成器能够获得图片的高级特征,另一方面避免网络过深导致的退化问题。番茄病害的准确识别需要准确的病害特征,部分叶片的病害前期特征较为微小,现有的生成对抗网络生成图片时往往会忽略掉微小的病害特征,为了使生成器关注图片的微小病害区域,在每个残差块的累加层前加入一个C B AM块,其中,通道注意力使网络关注病害区域,空间注意力使网络知道应该注意哪些部分,让生成器更加关注病害区域并对无关信息进行降噪,生成病斑明显的病害图片。2.2 判别器网络架构判别器由顺序堆叠的卷积层构成,输入为真实或者生成的图片。输入的图像经过6层的卷积运算得到特征向量,将得到的特征向量分别经过s i g-m o i d函数、s o f t m a x函数和t a n h函数进行f l a t t e n操作,转化成一维向量,用于表示输入的图像为真实图像的概率、被分类的概率和还原的隐参数标签。判别器的总体架构如图1(d)所示。传统的生成对抗网络生成的图像往往存在纹理结构模糊、高频信息缺失的问题。而在番茄病害叶片中,病害区域的纹理信息有益于病害的生成和识别网络进行识别,因此为了捕捉不同尺度下的图像分布,恢复图像中丢失的高频信息,提出一种多尺度并联学习的判别器架构(图1(c),采用2个相同的判别器,以 不同的判别尺 度作为输入,即原始的1 2 81 2 8图像尺度下采样一次得到的6 46 4图像尺度,将它们分别输入到对应的判别器中进行判别,并采用特征融合的方式对输出结果进行整合。其中输入尺寸较小的判别器引导生成器关注全局信息,生成整体连续的植物叶片;输入尺寸较大的判别器引导生成器关注较细微的区域,生成病斑的边界处。不同分辨率的图像包含不同级别的视觉特征,因此368 第5期 罗东升,等:改进A C G AN数据增强的番茄叶片病害识别提出的多尺度判别器可以增加判别器的感受域,使生成的图片整体更完整,细节更丰富,纹理更清晰。2.3 损失函数对抗损失:为了使生成器“欺骗”过判别器,生成不可区分的图像,使用原始GAN的对抗损失函数,如公式(1)所示。Ls=Expd a t a(x)l o gD(x)+Ezpz(z)l o g(1-D(G(z).(1)其中x表示由真实数据pd a t a(x)采样得到的真实数据,z表 示从高斯分 布pz采 样得到的d维 噪 声向量。类别损失:本文的目标是输入给定的类别标签c,生成器生成对应类别的图片Xf a k e,真实的图片Xr e a l由训练数据给出,分类损失如公式(2)所示。Lc=El o gP(C=c|Xr e a l)+El o gP(C=c|Xf a k e).(2)隐参数损失:由于生成对抗网络训练的不稳定性,往往会出现模式崩溃问题。为此,我们在原始生成对抗网络中加入隐参数损失,增强生成图像的多样性,减少模式崩溃的发生。定义隐参数损失如公式(3)所示。Lh=ni=0(h i-hi)2.(3)其中,h=(h0,hn)表示输入的隐参数标签,h=(h 0,h n)表示经过HAM_A C GAN后输出的隐参数。具体来说,模式崩溃是指不同的输入向量经过生成器后生成相同的图像。对于不同的隐参数标签h1、h2,将其与标签向量和随机噪声连接作为生成器的输入z1、z2,通过生成器生成图像;然后,判别器对生成的图像进行特征提取,并经过全连接层尝试还原隐参数标签。如果生成对抗网络存在模式崩溃现象,则不同的输入z1、z2经过生成器后生成图像G(z1)=G(z2),由 于 输 入 到 判 别 器 的 图 像G(z1)=G(z2),则判别器提取到的特征相同,经过全连接层还原得到的隐参数h 1=h 2,而输入的h1h2,此时通过公式(3)计算得到的隐参数损失就会非常大,为了降低损失,生成对抗网络就会不断地优化生成的图像,对于不同的输入生成不同的输出,以此提高生成图像的多样性,减少模式崩溃的发生。总体损失:最终生成器和鉴别器的总体损失被定义为公式(4)、(5).LG=Ls+Lc+Lh.(4)LD=-Ls+Lc.(5)其中为超参数,在所有实验中都使用=1.3 实验与分析3.1 数据集本文使用P l a n t V i l l a g e数据集中的番茄数据进行实验。从番茄病害中选择6种数据,5类病害(a:健康;b:斑点病;c:斑枯病;d:疮痂病;e:晚疫病;f:黄化曲叶病毒病)进行实验。并且为了保持数据平衡,为每类病害选择1 2 5 0张图片,其中1 0 0 0张作为训练集,2 5 0张作为测试集。图2展示了这6类数据。（a）（b）（c）（d）（e）（f）图2 6种番茄数据F i g.2 S i x k i n d s o f t o m a t o d a t a3.2 实验设置实验所有的模型均在U b u n t u 1 8.0 4.2 L T S下基于p y t o r c h框架运行,p y t h o n版本为3.6.9.由于本文主要探索的是一种对于番茄病害叶片识别任务最有益的数据增强算法,所以不比较各个识别网络之间的性能,只比较不同数据增强方法在识别网络上识别性能的改善,以证明本数据增强方法的泛用性。同时为了探索该方法在不同识别模型上的表现,在4种经典识别网络A l e x N e t1 1、VG G-N e t1 2、G o o g L e N e t1 3、R e s N e t1 0上进行实验。对于HAM_A C GAN,使用A d a m作为优化器,学习率设为0.0 0 0 2,输出图像大小为1 2 81 2 8,训练所使用的图像为1 0 0 0张原始图片,迭代5 0 0个e p o c h后停止训练。在所有的实验中,识别网络都是从0开始训练的,并随机初始化网络权值,修改识别网络输出为6维向量,对应番茄的6种数据。迭代5 0个e p o c h后停止训练。使用识别准确率作为评价分类效果的指标。原468太 原 理 工 大 学 学 报 第5 4卷 始数据集包含1 0 0 0张原始图片,扩充数据集包含2 0 0 0张图片(1 0 0 0张原始图像,1 0 0 0张生成图片)。在整个评价过程中,保持测试集不变,仅对训练集进行数据量上的扩充。3.3 网络参数设置3.3.1 不同扩充数量对识别准确率的影响实验表明(3.5节),通过使用HAM_A C GAN生成的图片对训练集进行扩充,分类器的识别准确率得以提升。因此需要探索是否可以添加更多的数据来进一步提高分类器的性能。本文通过HAM_A C GAN来生成图像,评估了4种情况下(原始训练集的0.5倍、1倍、2倍、3倍扩充数据)分类器的性能,实验结果如表1所示。实验结果表明除了3倍扩充数据在R e s N e t上的识别精度有所下降,其它设置下的扩充数据都能够提高分类器的性能,而且1倍数量的扩充数据提升的精度最优。同时可以观察到随着扩充数量从1倍增加到2倍再到3倍,分类器的性能不但没有提升反而整体呈下降趋势,同时扩充3倍数据的训练集在R e s N e t上的性能低于基准(无扩充数据)性能,表明数据量的扩充并不是越多越好,较大的扩充数据可能会“污染”数据集,对精度产生负面影响。因此,本文选择在原始数据集的基础上扩充1倍的数据作为扩充数据集以进行进一步的实验。表1 扩充数量对识别准确率的影响T a b l e 1 I d e n t i f i c a t i o n p e r f o r m a n c e o n d i f f e r e n t e x p a n d e d n u m b e r s%扩充数量A l e x N e tV G GN e tG o o g L e N e tR e s N e t09 4.19 3.19 3.89 7.75 0 09 4.59 4.59 4.49 7.71 0 0 09 5.99 5.39 6.59 8.12 0 0 09 5.29 4.89 5.69 7.83 0 0 09 4.99 4.59 5.69 7.33.3.2 隐参数损失超参数的选择为了探索新加入的隐变量损失相对于总体损失的重要性,对超参数进行不同的取值来训练模型,以0.2为步长,从0到1进行取值,并根据J I N e t a l1 4的研究,额外设置参数=6,等同于类别数量。使用不同的超参数训练HAM_A C GAN,将生成的数据扩充到训练集中,使用4种识别网络进行训练,通过测试集的识别准确率来评判不同参数取值下的生成结果。识别结果对比如图3所示,横轴坐标表示不同的取值,纵轴坐标表示识别准确率;从图3中可以看出,当=1时,各个网络的识别准确率都达到了最高,表明当隐变量损失与类别损失所占比例相同时,网络的病害生成能力达到最优。1009998979695949392919089Acc?/?%0.20.40.60.81.06.0LambdaAlexNetVGGNetGoogLeNetResNet图3 不同取值的识别结果对比F i g.3 C o m p a r i s o n o f r e c o g n i t i o n r e s u l t s w i t h d i f f e r e n t v a l u e s3.4 定性实验3.4.1 生成图像概览图4展示了不同的生成方法生成的6种叶片数据图像,第一行为真实图片,接下来每一行分别表示A C GAN、D C GAN、S AGAN1 5、M S GAN1 6和HAM_A C GAN方法生成的图像;从左开始每一列分别表示健康、斑点病、斑枯病、疮痂病、晚疫病、黄化曲叶病毒病。可以看出,D C GAN、M S GAN生成的图像较为模糊,质量较差,S AGAN生成的图像较为清晰,但是病害特征不明显;在相同的训练设置下,A C GAN由于生成器学习病害特征的能力不足,难以生成明显的斑点病害,而HAM_A C GAN生成的图像符合高分辨率,且具有明显的病害特征。realACGANDCGANSAGANNSGANHAM_ACGAN图4 不同方法生成的病害叶片F i g.4 D i s e a s e d l e a v e s g e n e r a t e d b y d i f f e r e n t m e t h o d s为了更直观地表示HAM_A C GAN生成的图像具有明显的病害特征,使用真实数据作为训练集,生成的图片作为测试集,实验结果如图5所示。从图5可以看出,HAM_A C GAN在R e s N e t分类器上的表现低于S AGAN,是因为S AGAN生成的图片较为清晰,同时R e s N e t的网络较深。此外,我们568 第5期 罗东升,等:改进A C G AN数据增强的番茄叶片病害识别还在R e s N e t上使用了预训练模型,因此清晰度对于R e s N e t的识别精度影响较大。所以S AGAN能够更准确地被分类。而D C GAN、M S GAN由于生成的图片较为模糊,因此不能够被正确地分类。而在A l e x N e t,VG GN e t,G o o g L e N e t和HAM_A C-GAN上的测试准确率均高于S AGAN,同时在R e s-N e t上,HAM_A C GAN上的测试准确率仅仅低于S AGAN,达到了次优。因此,在这些模型中,HAM_A C GAN能够更准确地被识别,证明其生成病害特征的有效性。ACGANMSGAN1009080706050403020100Acc?/?%AlexNetLambdaVGGNetGoogLeNetResNetSAGANDCGANHAM_ACGAN图5 不同生成方法生成图片的测试准确率F i g.5 T e s t a c c u r a c y o n d i f f e r e n t g e n e r a t i o n m e t h o d s3.4.2 隐参数的作用为了说明隐参数标签对病害生成的控制作用,通过固定随机噪声z和类别c,改变隐参数的大小来观察其对生成图像的影响。隐参数h i d e(h0,h5)的每一维控制着一种病害,因此本文从-1到1以0.2 5递增的数值改变某一维度的大小,同时固定其他维度的值为0,来观察隐参数标签的作用。实验结果如图6所示,行表示5种病害,从上至下为斑点病、斑枯病、疮痂病、晚疫病、黄化曲叶病毒病;列从左至右表示隐参数标签h i d e依次取值-1,-0.7 5,-0.5,-0.2 5,0,0.2 5,0.5,0.7 5,1.图6 隐参数标签不同取值下生成的病害图像F i g.6 D i s e a s e i m a g e s g e n e r a t e d u n d e r d i f f e r e n t v a l u e s o f h i d d e n p a r a m e t e r l a b e l实验结果表明,随着隐参数的数值的依次增大,斑枯病的病斑越来越深,斑点病、疮痂病、晚疫病的病害区域逐渐增大,黄化曲叶病毒病叶片颜色差异越来越大。这表明区别于类别标签c,隐参数能够学习到同种病害中的潜在差异,控制病害区域的大小及所遭受病害的程度,改善病害图片的生成细节,同时提高生成图片的多样性。3.5 定量实验3.5.1 对比实验为了表现HAM_A C GAN在生成病害图像上的能力,将其与常规增强、随机擦除、A C GAN、D C-GAN、S AGAN、M S GAN生成方法进行对比,将不同增强方法生成的图像扩充到原始训练集中作为扩充数据集,在4种主流的识别网络上进行训练和测试,实验结果如表2所示。基准表示不使用任何增强方法扩充数据,仅使用原始训练集训练模型。表2 不同生成模型在识别网络上的识别准确率T a b l e 2 I d e n t i f i c a t i o n p e r f o r m a n c e o n d i f f e r e n t g e n e r a t i o n m o d e l s%生成模型A l e x N e tV G GN e tG o o g L e N e tR e s N e t基准9 4.19 3.19 3.89 7.7常规增强9 4.59 3.09 5.79 7.7随机擦除9 4.69 3.09 4.89 7.6A C GAN9 4.79 2.49 4.99 6.8D C GAN9 4.99 5.19 4.79 6.6S A GAN9 3.69 2.19 5.29 7.3M S GAN9 5.09 3.59 5.89 7.5HAM_A C GAN9 5.99 5.39 6.59 8.1 由于常规增强只是改变了病害的位置和方向,对于识别准确率的提升有限;随机擦除可能擦除了图片中的病害特征,仅仅依靠叶片的轮廓进行识别,其准确率甚至会低于常规增强;使用A C GAN、D C-GAN和M S GAN作为生成网络扩充数据集时,会提升部分识别网络的性能,而且生成图像较为模糊的M S GAN在番茄叶片病害识别上取得了较好的效果,是因为M S GAN无法很好地平衡图像生成和类别分类。但是使用S AGAN生成的图像扩充数据集时,反而会降低模型的性能,一个可能的原因是其生成的病害特征不明显或者是病害之间有重叠,表明部分生成网络不适用于进行数据的扩充。另外,多种生成方法在R e s N e t识别网络上的效果都呈下降状态,可能是因为我们使用了预训练模型,提升起来较困难。相比之下,HAM_A C GAN额外添加了残差注意力块,使生成的有图片病害信息更明显,以辅助判别器进行正确的分类。同时引入了多668太 原 理 工 大 学 学 报 第5 4卷 尺度判别器以丰富生成图片的细节纹理,使得生成的图片清晰且具有明显的病害特征。因此由其生成的扩充数据集能够提升4种识别网络的准确率,比基准有更好的结果。3.5.2 消融实验HAM_A C GAN主要采用了3种改进策略来改进初始A C GAN模型,即隐参数标签,残差注意力块和多尺度判别器策略。为了验证策略的有效性,使用不同的配置训练生成对抗网络,生成对应的图片扩充训练集,在多个识别网络上进行训练和测试,表3展示了不同策略组合的识别结果。其中,H代表隐参数标签,R代表1 6层残差块,A代表C B AM注意力机制,M代表多尺度判别器;从表3中可以看出,在 基 准 中 加 入 残 差 注 意 力 块 后,A l e x N e t、VG GN e t、G o o g L e N e t和R s N e t的识别准确率均有所提高,表明残差注意力块能够提高网络的病害生成能力;在此基础上增加隐参数标签和隐参数损失函数,4个识别网络的性能都有较大的提升,是因为隐参数标签对病害的生成具有控制作用,改变了病害的区域大小,使识别网络能够学习到更多的病害特征;此外,多尺度判 别器策略被 应用在HAM_A C GAN上,同样在4个识别网络中得到了性能提升,是因为多尺度判别器丰富了生成图片的细节纹理,能够生成完整的局部病害信息。由此可见,所提出的3种改进策略都有益于病害图片的生成,进而能够提升分类器的识别性能。表3 消融实验T a b l e 3 A b l a t i o n e x p e r i m e n t s%策略A l e x N e tV G GN e tG o o g L e N e tR e s N e t基准9 4.79 2.49 4.99 6.8+R+A9 4.59 3.69 5.59 7.5+H+R+A9 5.79 4.79 6.19 7.7HAM_A C GAN9 5.99 5.39 6.59 8.14 结束语针对生成对抗网络生成的病害叶片中病害信息较少,病害区域模糊问题,提出了一种用于番茄病害叶片生成的生成对抗网络模型HAM_A C GAN.该模型利用隐参数标签和隐参数损失来控制生成叶片的病害区域,并融合残差网络、注意力机制和多尺度判别器生成病害特征明显的叶片数据。使用生成的叶片图像扩充原始训练集并在多个识别网