基于生成对抗网络的田间杂草图像超分辨率重建.pdf

1 5 4 中国农机化学报2 0 2 3年D O I:1 0.1 3 7 3 3/j.j c a m.i s s n.2 0 9 55 5 5 3.2 0 2 3.0 9.0 2 2何朝霞,朱嵘涛,徐俊英.基于生成对抗网络的田间杂草图像超分辨率重建J.中国农机化学报,2 0 2 3,4 4(9):1 5 4-1 6 0H e Z h a o x i a,Z h u R o n g t a o,X u J u n y i n g.S u p e r-r e s o l u t i o n r e c o n s t r u c t i o n o f i m a g e s o f w e e d s i n t h e f i e l d b a s e d o n g e n e r a t i v e a d v e r s a r i a l n e t w o r k J.J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o n,2 0 2 3,4 4(9):1 5 4-1 6 0基于生成对抗网络的田间杂草图像超分辨率重建*何朝霞1,朱嵘涛1,徐俊英2(1.长江大学文理学院,湖北荆州,4 3 4 0 2 3;2.长江大学农学院,湖北荆州,4 3 4 0 2 3)摘要:针 对 目 前 图 像 超 分 辨 率 方 法 生 成 精 度 以 及 性 能 方 面 的 不 足,以S R G A N(S u p e r-R e s o l u t i o n U s i n g a G e n e r a t i v e A d v e r s a r i a l N e t w o r k)模型为基础,探讨和构建一种生成对抗网络模型,在该模型的损失函数中引入卷积神经网络边缘检测损失,生成的高分辨率图像中保持图像更多的细节。以作物/杂草田地图像数据集作为测试集,开展一系列试验,本方法超分辨率生成图像较双三次插值、S R G A N、E S R G A N和深度残差的G A N模型,峰值信噪比P S N R分别高8.2 4 2d B、5.5 2 1d B、3.0 7 9d B、2.3 3 9d B;结构相似性S S I M分别高0.1 4 3、0.0 8 9、0.0 5 1、0.0 1 8;在A I识图中的识别准确率分别高1 0.6%、3.5%、3.9%、2.7%。该方法为田间杂草图像的相关研究提供思路,同时为田间杂草分类等应用研究做好前期数据准备。关键词:超分辨率;S R GAN;生成对抗网络;损失函数;边缘检测损失;田间管理中图分类号:S 4 5 1 文献标识码:A 文章编号:2 0 9 5 5 5 5 3(2 0 2 3)0 90 1 5 4 0 7收稿日期:2 0 2 2年7月1 0日 修回日期:2 0 2 2年8月1 7日*基金项目:国家青年科学基金项目(6 2 1 0 1 1 1 4);湖北省教育厅科学研究计划指导性项目(B 2 0 2 2 4 7 4)第一作者:何朝霞,女,1 9 8 4年生,湖北黄冈人,硕士,副教授;研究方向为信号与信息处理。E-m a i l:1 3 6 1 7 2 5 7 4 2 71 6 3.c o m通讯作者:徐俊英,女,1 9 7 9年生,山西大同人,博士,副教授;研究方向为作物遗传育种与信息技术。E-m a i l:j y x uy a n g t z e u.e d u.c nS u p e r-r e s o l u t i o n r e c o n s t r u c t i o n o f i m a g e s o f w e e d s i n t h e f i e l db a s e d o n g e n e r a t i v e a d v e r s a r i a l n e t w o r k sH e Z h a o x i a1,Z h u R o n g t a o1,X u J u n y i n g2(1.C o l l e g e o f A r t s a n d S c i e n c e,Y a n g t z e U n i v e r s i t y,J i n g z h o u,4 3 4 0 2 3,C h i n a;2.C o l l e g e o f A g r i c u l t u r e,Y a n g t z e U n i v e r s i t y,J i n g z h o u,4 3 4 0 2 3,C h i n a)A b s t r a c t:S u p e r-r e s o l u t i o n r e c o n s t r u c t i o n p l a y s a n i m p o r t a n t r o l e i n t h e f i e l d o f i n t e l l i g e n t a g r i c u l t u r e.I n v i e w o f t h e s h o r t c o m i n g s i n t h e g e n e r a t i o n a c c u r a c y a n d p e r f o r m a n c e o f t h e i m a g e s u p e r-r e s o l u t i o n r e c e n t l y,a g e n e r a t i o n a d v e r s a r i a l n e t w o r k b a s e d o n t h e m o d e l o f S R G AN w a s d i s c u s s e d a n d c o n s t r u c t e d.I n t h i s m o d e l,t h e c o n v o l u t i o n n e t w o r k e d g e d e t e c t i o n l o s s w a s i n t r o d u c e d i n t o t h e l o s s f u n c t i o n,a n d m o r e d e t a i l s o f t h e i m a g e w e r e m a i n t a i n e d i n t h e g e n e r a t e d h i g h-r e s o l u t i o n i m a g e.A s e r i e s o f e x p e r i m e n t s w e r e c a r r i e d o u t u s i n g s e t s o f c r o p/w e e d f i e l d i m a g e d a t a a s t e s t s e t s,c o m p a r e d w i t h b i c u b i c i n t e r p o l a t i o n,S R G AN,E S R G AN a n d G AN m o d e l w i t h d e p t h r e s i d u a l s,t h e P S NR w a s 8.2 4 2d B,5.5 2 1d B,3.0 7 9d B a n d 2.3 3 9d B h i g h e r,t h e S S I M w a s 0.1 4 3,0.0 8 9,0.0 5 1 a n d 0.0 1 8 h i g h e r,a n d t h e r e c o g n i t i o n a c c u r a c y i n A I w a s 1 0.6%,3.5%,3.9%a n d 2.7%h i g h e r,r e s p e c t i v e l y.I t p r o v i d e d i d e a s a n d m e t h o d s f o r t h e r e l a t e d r e s e a r c h o f o t h e r i m a g e s o f w e e d s i n t h e f i e l d,a n d p r e p a r e d t h e p r e l i m i n a r y d a t a f o r a p p l i c a t i o n r e s e a r c h o f i m a g e c l a s s i f i c a t i o n o f f i e l d w e e d s.K e y w o r d s:s u p e r-r e s o l u t i o n;S R GAN;g e n e r a t i v e a d v e r s a r i a l n e t w o r k;l o s s f u n c t i o n;l o s s o f e d g e d e t e c t i o n;f i e l d m a n a g e m e n t0 引言随着科学技术的发展和进步,智慧农业与精准农业已成为现代农业的发展方向。杂草一直是影响农作物产量的主要因素之一,目前防治杂草的主要方式包括人工、化学、生物、机械除草等。随着国家对“三农”问题的重视,在当前信息时代下,农业生产中开始利用一些边缘设备(例如微型计算机、无人机主机等)和信第4 4卷 第9期2 0 2 3年9月中国农机化学报J o u r n a l o f C h i n e s e A g r i c u l t u r a l M e c h a n i z a t i o nV o l.4 4 N o.9S e p.2 0 2 3第9期何朝霞 等:基于生成对抗网络的田间杂草图像超分辨率重建1 5 5 息技术(物联网、数字图像处理技术等)。例如:通过摄像头实时采集田间图像数据,利用图像识别技术识别并定位杂草,再通过控制系统实行精准的除草剂喷洒1。这不仅降低了杂草对农业生产的危害和保障了农业生产的安全,同时可以提升农业生产的产量和质量,也能有效提升除草剂的利用率,保障粮食安全和减少环境污染。所以利用图像识别技术除草,在我国智慧农业发展过程中具有重要的意义。当前通过摄像头采集田间图像往往无法获得理想的高清视频及图像,要保证杂草识别的准确性,对采集的杂草图像进行超分辨率生成是必不可少的。图像超分辨生成是指低分辨率图像在经过转化后,形成高分辨图像的过程。超分辨率生成算法的研究始于2 0世纪6 0年代,最原始的图像超分辨率生成算法利用图像像素与邻近像素点间的关系和连续性进行的,典型代表就是插值法。例如最近邻插值法、双线性插值法和双三次插值法等,它们的共同问题都是忽略了整张图像的语义含义,且生成的图像比较模糊,造成部分图像细节损失,图像的锐化效果差2。深度学习相关的论文在近年来呈井喷式出现,成为了人工智能研究方向的热点。D o n g等3第一次将深度学习运用到图像超分辨率生成的应用领域中,使用了三次插值算法将低分辨率图像扩大到目标图像尺寸,然后将图像送到一种三层结构的卷积神经网络中。S h i等4在C V P R大会上提出的利用亚像素卷积来加快图像生成。K i m等5提出了残差学习思想的神经网络,同时也提出了深度递归卷积神经网络等。L u o等6提出了F S R C N N(F a s t S u p e r-R e s o l u t i o n C N N)方法,采用了反卷积层、修改特征系数以及通过共享的参数映射来加速和优化模型。上述方法都是利用了深度神经网络在特征提取方式上的优势,更好地学习高分辨率图像和低分辨率图像之间的特征映射关系7。生成对抗网络G A N由G o o d f e l l o w等8最早提出,标志着无监督学习的又一项重大进展。它颠覆了过去深度学习仅仅用于判别器的传统,将深度学习理论同时应用到了生成器和判决器中。生成对抗网络由两个神经网络组成,其中一个神经网络用作判别器,另一个神经网络用作生成器,生成器用来模拟样本数据信息的分布,而判别器用来确定真伪,在对抗的生成和训练过程中实现二者的均衡9。生成对抗网络近几年提出了一些模型,2 0 1 4年M i r z a等1 0提出的条件生成对抗网络系统,2 0 1 5年R a d f o r d等1 1提出的深度卷积生成对抗网络系统;随 着 研 究 的 深 入,2 0 1 7年L e d i g等1 2提 出 了S R G A N模型,并首次将对抗生成网络应用到了图像超分辨率重建任务中,同时展示了很好的性能。近几年,基于S R GAN模型,学者们提出了许多改进模型1 31 4。针对目前模型超分辨率方法生成精度等性能方面的不足以及应用范围的限制等,本文以作物/杂草田地图像数据集为基础,探讨和构建了一种基于S R GAN的生成对抗网络模型,该模型的损失函数中引入卷积神经网络的边缘检测损失,以期能够保持图像更多的细节。1 数据集简介本文以作物/杂草田地图像数据集为基础训练数据,该数据集包括田野、植被分割和作物/杂草植物类型,图像尺寸均为2 0 0像素1 1 3像素。生成对抗网络中需要高分辨率数据和低分辨率数据。传统方法是将原清晰图像进行降采样得到低分辨率图像,这个过程中,图像会损失掉许多有用信息,从而使得图像超分辨率重建的效果并不理想。本文的方法是将数据集的原始图像作为低分辨率图像,将原始图像利用A I系统无损放大四倍,同时进行清晰度增强,作为训练中使用的高分辨率图像,最终构成5 0对高分辨率与低分辨率所对应的训练数据集。同时,为增强训练网络的泛化能力,完成对训练数据的随机翻转和旋转的增强操作。如图1所示,一对模糊清晰图像中,模糊图像(低分辨率图像)的大小为2 0 0像素1 1 3像素,清晰图像(高分辨率图像)的大小为8 0 0像素4 5 2像素,而数据集中清晰低分辨率图像对的P S NR值 为2 3.1 5 6,S S I M值为0.7 4 6,最后以文中所设计的数据集以及作物/杂草田地图像数据集作为测试集来证明本文所提出方案的有效性。(a)低分辨率图像(b)高分辨率图像图1 模糊清晰图像对F i g.1 A p a i r o f f u z z y-c l e a r i m a g e2 网络结构和损失函数2.1 网络结构生成对抗网络的图像超分辨率重建,是输入一张模糊图像到网络中,通过训练好的网络得到相对应的清晰图像,生成对抗网络示意图如图2所示。本文的生成对抗模型主要从S R GAN模型出发,S R GAN模型主要由生成网络(图3)和判别网络(图4)所构成,其中生成网络将模糊图像作为输入,输出清晰图像,判别网络将输出的清晰图像和原始清晰图像作为输入,输1 5 6 中国农机化学报2 0 2 3年出判断结果真或假,整个过程中生成网络和判别网络彼此对抗,当判别网络无法区分输出清晰图像和原清晰图像时,S R GAN 完成重建超分辨率图像的工作任务1 5。本文所提出的方法是在该模型的基础上,在损失函数设计上,通过边缘检测形成物体的轮廓形状界限和自然纹理特征,在训练中指导图像的正确生成,并控制非自然纹理细节的产生。网络模型如图5所示,其中L R表示输入的低分辨率图像,S R为生成的高分辨率图像,E L R为低分辨率图像的边缘检 测图像,E S R为输出的高分辨率图像边缘检测图像。图2 生成对抗网络示意图F i g.2 G e n e r a t i v e a d v e r s a r i a l n e t w o r k图3 S R G A N网络模型的生成器F i g.3 G e n e r a t o r o f S R GAN n e t w o r k m o d e l图4 S R G A N网络模型的判决器F i g.4 D e t e r m i n a t o r o f S R G AN n e t w o r k m o d e l图5 本文的生成对抗模型F i g.5 G e n e r a t i v e a d v e r s a r i a l n e t w o r k i n t h i s p a p e r图5的网络模型结构中,生成器和判决器仍采用S R G A N的结构。这里,生成器模型的主体是一连串大小相同的残差块相连,并使用两个卷积层,一共可以生成6 4个通道的特征映射,卷积层后的批量标准化层(B N)和P R e L U作为激活函数。判决器模型的设计以V G G网络为核心,包含8个卷积层,特征通道数从6 4开始,后面每层都进行了加倍,最多到5 1 2个通道,随着通道数 的 增 加,使 得 特 征 数 量 也 进 行 了 加 倍。根 据R a d f o r d等总结的架构指南,利用了L e a k y R e L U(=0.1)激活同时防止整个网络模型的最大池化。为了保持图像更多的细节,利用边缘检测损失进行评估得出,利用卷积神经网络方法进行边缘检测时损失最小,所以本文边缘检测用到的是卷积神经网络方法进行边缘检测。该模型中,输入通道数是3,输出通道数是1,卷积核大小为33。为了评价判决器的训练是否能够最大化正确判决实际数据和生成器的生成数据的真假,以及生成器是否能够增加判别器得出正确答案的概率。因此,本文方法的V(D,G)函数1 6m i nGm a xDV(D,G)=Ex-Pd a t a(x)(l o gD(x)+Ez-Pz(z)(l o g(1-D(G(z)+1Ex-PE d a t a(x)(l o gD(x)+2Ez-PE z(z)(l o g(1-DG(z)(1)式中:D 判决器;G 生成器;x 输入的高分辨率图像HR;z 输入的低分辨率图像L R;E 数学期望;Pd a t a 输入HR图像数据分布;Pz(z)生成器生成数据分布;PE d a t a 输入HR边缘数据分布;PE z(z)生成器生成HR边缘数据分布;1、2 调节系数。2.2 损失函数为了使提出的超分辨率重建网络训练效果达到最佳,本文在传统的损失函数的基础上,增加了一种新的损失函数 边缘损失函数来优化网络参数。最终的损失函数包括对抗损失、内容损失和边缘损失三部分。1)对抗损失函数。对抗损失函数1 7是基于所有训练样本上判决器DD(GD(IL R)的概率。LG AN=-l o gDD(GD(IL R)(2)式中:GD(IL R)重建图像的特征;IL R 输入的低分辨率图像;LGAN 对抗损失函数。2)内容损失函数。内容损失函数1 8是计算生成图像和实际图像之间的差异,它衡量的是生成特征图和实际特征图之间的欧式距离。LX=1WHWx=1Hy=1i,j(IH R)x,y-i,j(GD(IL R)x,y2(3)式中:LX 内容损失函数;W、H 描述VG G网 络 中 各 个 特 征 图 的维度;i,j 在VG G网络中的第i个最大池化层之前通过第j个卷积(激活之后)获取第9期何朝霞 等:基于生成对抗网络的田间杂草图像超分辨率重建1 5 7 的特征映射;IHR 输入的高分辨率图像。3)边缘损失函数计算如式(4)所示。L边缘=1k2WHk Wx=1k Hy=1S(IHR)x,y-S(GD(IL R)x,y2(4)式中:L边缘 边缘损失函数;k 放大倍数;S 边缘数据提取函数;S(IHR)输入高清图像的边缘数据提取值。4)最终损失计算如式(5)所示。L=LX+1LGAN+2L边缘(5)式中:1、2 01的常数。本网 络 中1取 值 为0.0 0 0 1,2的 取 值 为0.0 0 0 3。图6为损失函数随迭代次数变化的曲线,其中原损失函数中仅包含对对抗损失和内容损失,优化后损失函数是指在原函数的基础上引入边缘损失。从图6可以看出,随着迭代次数的增加,损失函数越来越小,当迭代次数超过1 0 0 0 0次,优化后的损失函数明显优于原损失函数,当迭代次数达到5 0 0 0 0时,优化后的损失函数已基本接近0,并且性能比较稳定。图6 损失函数曲线F i g.6 C u r v e s o f L o s s f u n c t i o n3 试验结果3.1 试验过程及参数本文试验的硬件平台为I n t e l(R)C o r e(TM)i 5-1 0 2 1 0 U C P U、N V I D I A 1 0 5 0 T i G P U,软 件 平 台 为P y C h a r m 2 0 2 1。训练集为制作的5 0对清晰模糊图像,测试集为作物/杂草田地图像数据集。本文首先利用O P E N C V,实现了低分辨率图像的四倍放大以及双三次插值,然后再去训练S R G A N,通过试验表明训练时S R G A N的迭代次数为5 0 0 0 0,学习率为0.0 0 0 1时效果较好。最后再来训练本文所提出的方法及和S R G A N模型相关的当下比较热门的网络框架。3.2 试验测试结果分析首先,对比双三次插值和经典S R GAN模型下超分辨率重建的实验结果,如图7所示。对比图7不同测试图像的超分辨图像生成结果,前两组图像的植物种类单一但是细节比较丰富,从视觉效果上看,本文方法的清晰度,尤其是在植物的茎、叶片的轮廓和谷穗等等区域明显优于其余两种方法;后两组图像选取的植物种类单一且细节较简单的图像,在植物的轮廓部分本文方法的细节更加清晰;当输入一张随机低分辨率田间图像,本文方法的结果明显优于其它方法,很好地还原了图片的细节,得到了更加清晰的图片。分析其原因,本文的数据集制作方法中增强了对训练数据的随机翻转和旋转的操作,同时在损失函数中增加了图像边缘检测的损失,从而保留了训练图像中更多的细节部分,同时也降低了特征匹配错误而造成的不良后果,因此本文方法效果显著高于其它方法,同时显示出了较强的网络泛化能力。(a)双三次插值(b)S R G AN(c)本文方法图7 三种超分辨率重建的图像对比F i g.7 I m a g e c o m p a r i s o n o f t h r e e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n s m o d e l(a)原图(b)S R G AN(c)本文方法图8 超分辨率重建的图像边缘检测结果F i g.8 I m a g e e d g e d e t e c t i o n r e s u l t s o f s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n s由于图7前两组图像的细节过于丰富,检测出来的边缘信息就也相对丰富,不便于观察。选取图7后两组田间杂草图像,分别利用传统S R GAN模型和本文模型训练出高清图,然后利用卷积神经网络方法进行边缘检测,其结果如图8所示。图8的第一组图像原图比较模糊,在S R GAN模型下生成的图像仍几乎没有检测出植物图像的边缘信息,本文方法则检测出1 5 8 中国农机化学报2 0 2 3年来了植物的部分边缘信息;图8的第二组图像本文模型所训练出来的图像细节也明显优于S R GAN模型,尤其是在细节比较丰富的地方,能够提取的边缘要素更加的多。可以得出,本文方法在边缘检测后保留了图像中更多的细节信息,这为田间杂草图像的识别分类等提供了一个很好的研究基础。将前面用到的4张测试图分别命名为测试图1、测试图2、测试图3和测试图4。将上述4组测试图像分别利用A I识图进行田间杂草识别分类,其识别分类的结果如表1所示。其中的s c o r e越高说明识别为该植物的概率越高。从表1可以看出:本文方法所获得的高清图的杂草识别s c o r e最高;当植物图像清晰度越高识别s c o r e越高,当植物种类单一且细节丰富时识别的分数更高;本文方法更加有利于提高识别的准确性,为智能化除草提供了有力的基础和保障。表1 杂草识别结果对比T a b.1 C o m p a r i s o n o f w e e d i d e n t i f i c a t i o n r e s u l t s测试图原图S R G AN本文模型s c o r en a m es c o r en a m es c o r en a m e10.2 5 8 9 5 8 4 6黑麦草0.3 4 3 2 3 1 8 2黑麦草0.5 8 9 7 3 0 2 6 黑麦草0.2 3 0 8 9 5 5柳枝稷0.2 3 1 7 6 6 9 1白茅0.2 0 2 5 9 5 1蒜0.1 1 6 4 6 0 1 4 5象草0.1 0 0 2 1 6 0 4芒0.1 8 0 9 1 4 3黄花菜20.4 7 8 3 4 7 5 4稻0.5 3 8 6 1 0 9稻0.6 2 8 7 1 7 7 4稻0.1 8 0 3 4 8 5结缕草0.0 6 7 3 7 8 6 6地毯草0.1 1 7 8 0 0 6 7佛甲草0.0 7 3 9 8 7 8 6黑麦草0.0 5 1 3 9 5 4 0 5佛甲草0.1 0 9 5 0 5 4地毯草30.1 3 7 4 5 7 8 3 5杠板归0.2 7 6 4 0 6 铃兰0.4 2 0 4 1 4 9凹头苋0.0 3 7 2 2 6 5 4 3酢浆草0.0 7 1 3 6 5 3 3燕子掌0.1 7 7 2 4 4 8 9附地菜0.0 2 7 7 8 4 5 4 9犁头尖0.0 7 1 1 6 1 1 8酢浆草0.1 0 9 3 6 7 5 9 4萝卜40.5 7 2 3 7 6 5 3水蕨0.6 4 1 9 8 1 8水蕨0.7 2 9 6 7 9 6水蕨0.2 4 7 6 4 3 2 2鹿角蕨0.2 6 6 8 3 6 3 7鹿角蕨0.2 2 7 8 4 1 2 9鹿角蕨0.0 5 4 5 8 7 4 3芫荽0.0 7 3 2 4 8 6 8 4花菱草0.1 5 2 7 3 6 0 8碎米荠3.3 定量评价指标分析本文采用了峰值信 噪比(P S NR)、结构相 似性(S S I M)、超分辨率图像生成的平均时间三个指标,进一步来衡量本文提出的超分辨率方案的有效性。P S NR1 9的计算如式(6)所示。P S NR=1 0 l o g(2n-1)2MS E2(6)MS E=13MNMj=1Ni=1I(i,j)-J(i,j)2(7)式中:n 2 5 5;MS E 图像I和图像J的均方误差;MN 图像尺寸;I(i,j)图像I;J(i,j)图像J。客观来说,P S NR值越高,图像重建质量越高。S S I M2 0的计算如式(8)所示。S S I M(I,J)=2IJ+c1I2+J2+c12I J+c2I2+J2+c2(8)其中,c1=(k12 5 5)2,c2=(k22 5 5)2,k1=0.0 1,k2=0.0 3。式中:均值;方差;I 图像I的均值;J 图像J的均值;I J 图像I和图像J的协方差;I 图像I的方差;J 图像J的方差。式(8)通过向量间余弦距离的计算来表征两张图片I、J的相似度。S S I M值的范围为01,当两张图像相似度越高,S S I M值越大。选取当下比较热门的网络框架进行练,训练集的低分辨率图像为作物/杂草田地图像数据集。在同一训练 数 据 集 上,分 别 利 用 双 三 次 插 值、S R GAN、E S R GAN1 3、深度残差的GAN模型1 4和本文方法进行超分辨率重建,计算其P S N R和S S I M指标以及超分辨率图像生成的平均时间,结果如表2所示。对比表2测试结果,对于P S NR评价指标而言,本 文 方 法 的P S NR较 双 三 次 插 值、S R G AN、E S R G AN、深度残差的G AN模型分别高8.2 4 2d B、5.5 2 1d B、3.0 7 9d B、2.3 3 9d B,说明本文方法不仅能满足人 眼 的 视 觉 高 质 量 要 求,也 能 生 成 符 合 模 型且MS E要求最小化的图像;对于S S I M指标而言,本文方法数值较双三次插值、S R G AN、E S R G AN、深第9期何朝霞 等:基于生成对抗网络的田间杂草图像超分辨率重建1 5 9 度残 差 的G AN模 型 分 别 高0.1 4 3、0.0 8 9、0.0 5 1、0.0 1 8,这说明本文方法较好地考虑了图像在整体结构上的相似性;对于生成超分辨率图像平均时间而言,虽然时间上比双三次插值耗时长,但是生成的效果佳,另外几种生成对抗网络模型超分辨率图像生成的平均时间上相差不是很大,说明在运算规模上总体比较接近。综上所述,进一步证明了本文所提出方法的有效性和优越性。表2 在作物/杂草田地图像数据集上测试结果对比T a b.2 C o m p a r i s o n o f t e s t r e s u l t s o n c r o p/w e e d f i e l di m a g e d a t a s e t模型P S NR/d BS S I M平均时间/s双三次插值2 6.4 3 30.6 0 36 3.4 3S R G AN2 9.4 2 30.6 5 79 0.3 5E S R G AN1 33 1.5 9 50.6 9 59 6.9 2深度残差的G AN模型1 43 2.3 3 50.7 2 89 4.6 5本文方法3 4.6 7 40.7 4 69 3.7 5 最后,将作物/杂草田地图像数据集中的5 0组图像的原图、各种方法的超分辨生成图像在A I识图中进行作物、杂草识别,识别的准确率如表3所示。表3 作物、杂草识别准确率对比T a b.3 C o m p a r i s o n o f i d e n t i f i c a t i o n a c c u r a c y o f c r o p s a n d w e e d s模型识别准确率/%原图7 3.4双三次插值8 1.6S R G AN8 8.7E S R G AN1 38 8.3深度残差的G AN模型1 48 9.5本文方法9 2.2 本文方法产生的超分辨率图像的在A I识图中的识别准确率较原图、双三次插值、S R GAN、E S R GAN、深度残差的GAN模型分别高1 8.8%、1 0.6%、3.5%、3.9%、2.7%。可以看出,本文方法所生成的超分辨率图像,大大改善了原图的识别准确率,也优于其他几种方法。4 结论1)根据S R GAN模型,提出一种新的生成对抗网络模型,该模型为了更好更多地获取田间杂草图像的细节部分,同时提高超分辨率图像生成效果,在损失函数中,增加基于卷积神经网络的边缘检测损失,有效地克服传统方法中细节损失的问题,同时增强图像超分辨率的重建效果。2)首先,选取五组田间杂草图像进行对比实验,通过生 成 超 分 辨 率 图 像 的 视 觉 效 果 以 及 将 原 图、S R GAN模型和本文模型生成的超分辨率图像利用A I识图进行田间杂草识别分类,本文方法在边缘检测后保留了图像中更多的细节信息,本文方法获得的高清图杂草识别s c o r e最高,当植物种类单一且细节丰富时识别的s c o r e更高。3)进一步,将作物/杂草田地图像数据集作为测试集,开展一系列试验,本文方法的超分辨率生成图像较 双 三 次 插 值、S R GAN、E S R GAN和 深 度 残 差 的GAN模 型 的P S NR分 别 高8.2 4 2d B、5.5 2 1d B、3.0 7 9d B、2.3 3 9d B,S S I M分 别 高0.1 4 3、0.0 8 9、0.0 5 1、0.0 1 8,在A I识 图 中 的 识 别 准 确 率 分 别 高1 0.6%、3.5%、3.9%、2.7%。4)后续还有很多地方需要研究完善,在本文研究的基础上,还可从以下几方面进一步展开研究工作。进一步扩充作物/杂草田地图像数据集;模型训练优化。本文在模型训练时,由于硬件G P U内存偏小,为了避免内存爆满而终止训练,将输入图片的尺寸设置得较小,重建图像为原图的4倍,虽然提升了模型的训练速度,但影响了模型的产生精准率,后续可以尝试改进模型的结构,使其可以更高效。虽然本文设计了轻量化的田间杂草超分辨率重建模型,但并未在田地进行实操识并应用到识别系统中,同时更高精度的识别系统还有待进一步研究。参 考 文 献1 疏雅丽,张国伟,王博,等.基于深层连接注意力机制的田间杂草识别方法J.计算机工程与应用,2 0 2 2,5 8(6):2 7 1-2 7 7.S h u Y a l i,Z h a n g G u o w e i,W a n g B o,e t a l.F i e l d w e e d i d e n t i f i c a t i o n m e t h o d b a s e d o n d e e p c o n n e c t i o n a t t e n t i o n m e c h a n i s mJ.C o m p u t e r E n g i n e e r i n g a n d A p p l i c a t i o n s,2 0 2 2,5 8(6):2 7 1-2 7 7.2 B r u n a J,S p r e c h m a n n P,L e c u n Y.S u p e r-r e s o l u t i o n w i t h d e e p c o n v o l u t i o n a l s u f f i c i e n t s t a t i s t i c sE B/O L.I n t e r n a t i o n a l C o n f e r e n c e o n L e a r n i n g R e p r e s e n t a t i o n s,h t t p s:/a r X i v.o r g./a b s/1 5 1 1.0 5 6 6 6,2 0 1 9-0 7-1 2.3 D o n g C,L o y C C,H e K,e t a l.L e a r n i n g a d e e p c o n v o l u t i o n a l n e t w o r k f o r i m a g e s u p e r-r e s o l u t i o n C.C o m p u t e r V i s i o n-E C C V 2 0 1 4:1 3 t h E u r o p e a n C o n f e r e n c e,Z u r i c h,S w i t z e r l a n d,S e p t e m b e r 6-1 2,2 0 1 4,P r o c e e d i n g s,P a r t I V 1 3.S p r i n g e r I n t e r n a t i o n a l P u b l i s h i n g,2 0 1 4:1 8 4-1 9 9.4 S h i W,C a b a l l e r o J,H u s z r F,e t a l.R e a l-t i m e s i n g l e i m a g e a n d v i d e o s u p e r-r e s o l u t i o n u s i n g a n e f f i c i e n t s u b-p i x e l c o n v o l u t i o n a l n e u r a l n e t w o r k C.P r o c e e d i n g s o f t h e I E E E c o n f e r e n c e o n c o m p u t e r v i s i o n a n d p a t