基于模糊核估计的图像盲超分辨率神经网络.pdf

基于模糊核估计的图像盲超分辨率神经网络李公平1陆耀1王子建1吴紫薇1汪顺舟1摘 要模糊图像的超分辨率重建具有挑战性并且有重要的实用价值.为此,提出一种基于模糊核估计的图像盲超分辨率神经网络(Blurredimageblindsuper-resolutionnetworkviakernelestimation,BESRNet).该网络主要包括两个部分:模糊核估计网络(Blurkernelestimationnetwork,BKENet)和模糊核自适应的图像重建网络(Kerneladaptivesuper-resolutionnetwork,SRNet).给定任意低分辨率图像(Low-resolutionimage,LR),首先利用模糊核估计子网络从输入图像估计出实际的模糊核,然后根据估计到的模糊核,利用模糊核自适应的图像重建子网络完成输入图像的超分辨率重建.与其他图像盲超分辨率方法不同,所提出的模糊核估计网络能够显式地从输入低分辨率图像中估计出完整的模糊核,然后模糊核自适应的图像重建网络根据估计到的模糊核,动态地调整网络各层的图像特征,从而适应不同输入图像的模糊.在多个基准数据集上进行了有效性实验,定性和定量的结果都表明该网络优于同类的图像盲超分辨率神经网络.关键词模糊图像,模糊核估计,卷积神经网络,盲超分辨率引用格式李公平,陆耀,王子建,吴紫薇,汪顺舟.基于模糊核估计的图像盲超分辨率神经网络.自动化学报,2023,49(10):21092121DOI10.16383/j.aas.c200987Blurred Image Blind Super-resolution Network via Kernel EstimationLIGong-Ping1LUYao1WANGZi-Jian1WUZi-Wei1WANGShun-Zhou1AbstractBlindblurredimagesuper-resolutionischallengingandhasimportantapplicationvalues.Thispaperpro-posesablurredimageblindsuper-resolutionnetworkviakernelestimation(BESRNet),whichmainlyincludestwoparts:Blurkernelestimationnetwork(BKENet)andkerneladaptivesuper-resolutionnetwork(SRNet).Givenalow-resolutionimage(LR),thenetworkusestheblurkernelestimationsubnetworktoestimatetheblurkernelfromtheinputimage,andthenitusesthekerneladaptivesuper-resolutionsubnetworktosuper-resolvetheinputlow-resolutionimage.Differentfromotherblindsuper-resolutionmethods,theproposedblurkernelestimationsubnet-workgivesthewholeblurkernel,thenthekerneladaptivesuper-resolutionsubnetworkdynamicallyadjuststheim-agefeaturesofdifferentnetworklayersaccordingtotheestimatedblurkerneltoadapttodifferentimagedegrada-tions.Inthispaper,extensiveexperimentsarecarriedoutonmultiplebenchmarkdatasets.Thequalitativeandquantitativeresultsshowthatproposedmethodissuperiortootherblindsuper-resolutionmethods.Key wordsBlurredimage,blurkernelestimation,convolutionalneuralnetwork,blindsuper-resolutionCitationLiGong-Ping,LuYao,WangZi-Jian,WuZi-Wei,WangShun-Zhou.Blurredimageblindsuper-resolu-tionnetworkviakernelestimation.ActaAutomaticaSinica,2023,49(10):21092121图像超分辨率任务的主要目标是将输入的低分辨率图像(Low-resolutionimage,LR)重建成具有更多细节的高分辨率图像(High-resolutionimage,HR).图像超分辨率技术已经具有广泛的应用,如遥感图像分析1、医学图像处理2、视频监控图像处理3等.近年来,随着深度学习技术的发展,基于深度学习的方法在图像超分辨率任务上取得了显著进展.其中大部分方法419只学习由双三次插值(Bicu-bic)算法退化生成的低分辨率图像与高分辨率图像之间的映射关系.然而,现实生活中的低分辨率图像的退化模式是复杂且未知的,包含了多种因素(如模糊、噪声、压缩、几何失真等),其中模糊的影响最为重要.由于生成网络训练数据时未考虑模糊,将上述这些模型应用到现实生活的真实场景中其重建效果不理想,甚至会出现明显的模糊和伪影等现象20.为了解决真实场景图像超分辨率问题,研究者们提出了许多盲图像超分辨率方法.一种代表性的方法是从输入的低分辨率图像中估计出所对应的模收稿日期2020-11-26录用日期2021-04-16ManuscriptreceivedNovember26,2020;acceptedApril16,2021国家自然科学基金(61273273),国家重点研究发展计划(2017YFC0112001),中央电视台基金(JG2018-0247)资助SupportedbyNationalNaturalScienceFoundationofChina(61273273),NationalKeyResearchandDevelopmentProgramofChina(2017YFC0112001),andFundsbyChinaCentralTelevi-sion(JG2018-0247)本文责任编委张向荣RecommendedbyAssociateEditorZHANGXiang-Rong1.北京理工大学计算机学院北京1000811.SchoolofComputerScienceandTechnology,BeijingInsti-tuteofTechnology,Beijing100081第49卷第10期自动化学报Vol.49,No.102023年10月ACTAAUTOMATICASINICAOctober,2023糊核并用来针对性地指导图像超分辨率重建.例如,Zhang等21使用网格搜索的方式来确定模糊核的参数,并且提出了维度拉伸策略来利用模糊核信息.Gu等22提出一种迭代模糊核修正的方法(Iterat-ivekernelcorrection,IKC)来估计输入图像的模糊核,并结合维度拉伸策略21和空间特征变换(Spa-tialfeaturetransform,SFT)23来利用模糊核信息重建高分辨率图像.Luo等24沿用了 Gu等22的方法来利用模糊核信息,并且提出迭代地进行模糊核估计和图像超分辨率重建.但是上述方法没有显式地从输入图像中估计出完整的模糊核,无法给出模糊核估计的质量评价,也无法评价估计到的模糊核对最终超分辨率结果的影响.此外,上述几种方法都使用主成分分析(Principalcomponentanalysis,PCA)将模糊核拉成的向量进行降维,然后将降维后的模糊核向量拉伸成和输入图像一样大小的退化图,再将退化图和输入图像21或图像特征22,24在通道维度上拼接来利用模糊核信息帮助超分辨率重建.这种做法具有一定的局限性,首先这样做会丢失一部分模糊核中的信息,不能充分地利用模糊核信息去指导输入图像中结构化信息的重建.其次,这种做法只是简单地将图像或图像特征和模糊核特征在通道维度上拼接来利用模糊核信息.其中图像特征是与输入图像的像素值高度相关的,而由模糊核得到的退化图只是一组抽象的数字,将这二者简单拼接无法高效地利用模糊核信息去指导超分辨率重建过程.为了克服上述局限,本文提出了一种基于模糊核估计的图像盲超分辨率神经网络(Blurredim-ageblindsuper-resolutionnetworkbasedonker-nelestimation,BESRNet).BESRNet主要包括两部分:模糊核估计网络(Blurkernelestimationnetwork,BKENet)和模糊核自适应的图像重建网络(Kerneladaptivesuper-resolutionnetwork,SR-Net).此外,为了充分利用模糊核信息帮助超分辨率重建,本文还提出模糊核特征提取器(Blurkernelfeatureextractor,BKFE),用于从估计出的模糊核中提取关键信息.给定任意低分辨率图像,BKEN-et从中显式地估计出完整的模糊核.紧接着,BKFE从估计出的模糊核中提取模糊核特征.最后,SR-Net利用提取到的模糊核特征对图像特征进行调整并完成输入图像的超分辨率重建.特别地,在 SR-Net 中本文利用提出的模糊核自适应特征选择模块(Kerneladaptivefeatureselection,KAFS),根据模糊核特征对提取到的图像特征进行动态选择,从而更高效地利用模糊核信息.本文在多个图像超分辨率数据集上进行了大量实验,定性和定量的结果证明了提出方法的有效性.本文的主要贡献总结如下:1)设计了一个模糊核估计网络 BKENet来估计输入低分辨率图像对应的模糊核.与其他盲超分辨率方法中只估计出经由 PCA 降维后的模糊核向量不同,BKENet能够显式地从输入图像中估计出完整的模糊核,从而能够直观地评价估计的模糊核的质量.2)设计了一个模糊核自适应的特征选择模块KAFS,从而利用提取到的模糊核特征指导输入图像的超分辨率重建.与之前的方法不同,本文使用在所估计的模糊核上提取到的特征来指导输入图像的超分辨率重建.给定模糊核特征和低分辨率图像特征作为输入,KAFS模块能够根据模糊核特征动态地为当前层级网络选择合适的特征,从而更有效地利用模糊核信息来指导图像超分辨率重建.1相关工作1.1模糊核估计模糊核估计是图像处理领域内的一个热点问题并得到了广泛的研究.常振春等25将图像的稀疏先验和结构自相似性先验作为正则约束来求解模糊核和清晰图像.Pan 等26提出了一个新的非线性模型用于处理图像中过饱和的像素点,并且设计了更加鲁棒的能量函数来估计模糊核.Yan 等27首先使用一个分类网络来确定输入图像中包含的模糊的种类,然后使用一个回归网络来估计对应的模糊核.上述方法都是在模糊图像上估计模糊核,而本文需要从输入的低分辨率图像中估计出对应的模糊核,其中低分辨率图像是模糊图像进行下采样得到的.所以之前提到的方法并不适用于盲超分辨率问题中的模糊核估计.Zhang等21使用网格搜索的方式来确定模糊核的参数.Gu等22提出迭代修正的框架来不断修正估计到的模糊核向量.Luo等24提出迭代地进行模糊核估计和超分辨率重建.然而这些方法都只是估计出模糊核经由 PCA降维后的模糊核向量,并没有显式地从低分辨率图像中估计出完整的模糊核,导致难以对估计出的模糊核进行直观的质量评价.为了解决这个问题,本文设计了一个新的模糊核估计网络 BKENet,用于从低分辨率图像中估计完整的模糊核.1.2图像超分辨率基于深度学习的图像超分辨率方法通过设计深度神经网络来学习低分辨率图像与高分辨率图像之间的非线性映射.代表性的图像超分辨率方法可分为以下 4 类:1)基于残差学习的方法58.这类方法2110自动化学报49卷专门设计网络来学习高分辨率与低分辨率图像之间的高频残差,重建图像的低频部分由输入的低分辨率图像来进行补充.2)基于递归神经网络(Recurs-iveneuralnetwork,RNN)的方法912.基于 RNN的图像超分辨率方法通过共享参数的方式能够在不引入额外参数的情况下增加网络的深度和感受野并提升最终的效果.3)基于密集残差连接的方法1316.这类方法通过向网络中引入密集残差连接来打通网络不同层之间的数据和梯度流动,获得更加高效的特征表达从而带来性能上的提升.4)基于注意力机制的方法1719.通过向网络中引入注意力机制,这类方法可以让网络更加注重于重建高分辨率图像中的高频信息,例如纹理边缘等,最终提升重建结果的精度.然而,上述方式仅针对双三次插值一种退化方式进行研究,未考虑其他退化方式.因此,直接将上述方法应用于多种退化模式生成的低分辨图像时模型性能会下降.为了解决这个问题,研究者们提出了许多盲图像超分辨率方法.主要包括以下 3 类:1)基于图像域转换的方法2829.这类方法将低分辨率图像和高分辨率图像分别看作是两个图像域,然后借鉴图像域转换的思想对输入的低分辨率图像进行超分辨率重建.2)基于内部学习的方法3031.这类方法通过挖掘输入低分辨率图像内部的重复信息,如色彩纹理等,来进行自学习并完成超分辨率重建.3)基于建模退化过程的方法2122,24.这类方法使用多种模糊核来模拟真实的退化过程,生成更加贴近真实世界低分辨率图像的训练数据,并且针对该模型设计网络完成超分辨率重建.本文方法属于上述最后一类盲超分辨率方法.与之前的工作不同,本文提出了一种新的基于模糊核估计的图像盲超分辨率网络 BESRNet.首先从输入的低分辨率图像中显式地估计出完整的模糊核,然后根据所估计的模糊核,动态地调整不同层级网络的图像特征,完成输入图像的超分辨率重建.2BESRNetxkksr.本文提出的 BESRNet结构如图 1所示,其包含两部分:模糊核估计网络(BKENet)和模糊核自适应的图像重建网络(SRNet).BKENet从输入的低分辨率图像中估计出模糊核,SRNet根据估计到的模糊核动态地调整各层网络的特征,实现图像超分辨率重建.具体来说,给定任意的低分辨率图像,BKENet从中估计出对应的模糊核,然后模糊核特征提取器(BKFE)从估计到的模糊核 中提取特征,SRNet利用模糊核特征对从输入图像中提取到的图像特征进行适应性的调整,最终输出高分辨率图像 整个过程可形式化表示为k=(x)(1)Fk=(k)(2)sr=(x,Fk)(3)()()Fk()其中,代表 BKENet,代表模糊核特征提取器,代表提取到的模糊核特征,代表 SRNet.BKENet 的介绍见第 2.1 节,SRNet中起特征调整作用的 KAFS模块介绍见第 2.2 节,模糊核特征提取器用一个简单的卷积网络实现,其结构如图 1中标注所示.2.1模糊核估计网络当使用与真实模糊核不相符的模糊核作为先验时,图像超分辨率网络的性能会有明显的下降32,ConvConvReLUKAFS残差块残差块残差块残差块Pixel shuffleConvBKENetConvBNReLU模糊核特征提取器数据流全局池化SRNet图1BESRNet结构示意图Fig.1OverviewoftheBESRNet10期李公平等:基于模糊核估计的图像盲超分辨率神经网络2111并且会产生过于平滑或锐化的结果22.因此,准确地从输入的低分辨率图像中估计出模糊核十分必要.1)当前模糊核估计方法当前主流模糊核估计方法26,33将模糊图像和清晰图像之间关系建模为b=l k+n(4)b,l,k,n其中,分别代表模糊图像、清晰图像、模糊核和加性白高斯噪声,代表卷积操作.它们通过优化式(5)所示问题来获取清晰图像和模糊核minl,kb l k22+1Rl+2Rk(5)1Rl2Rk其中,和 分别代表清晰图像和模糊核的正则项.具体来说,给定一个初始化模糊核,清晰图像和准确的模糊核可由式(6)和式(7)迭代优化获得li+1=argminlb l ki22+1Rl(6)ki+1=argminkb li k22+2Rk(7)然而,上述方法并不适用于本文的问题,因为这些方法都是针对高分辨率的模糊图像进行设计,没有考虑下采样操作.而本文需要从输入的低分辨率图像中估计出对应的模糊核,其中低分辨率图像是模糊图像下采样获得的,与原始的模糊图像的数据分布有差异.同样,一些图像盲超分辨率方法22,24也会估计低分辨率图像中包含的模糊,但是它们只估计出经由 PCA 降维后的模糊核向量,导致无法直观地对估计到的模糊核进行质量评价.为了解决这个问题,本文设计了 BKENet用于从输入的低分辨率图像中估计出完整的模糊核.2)BKENet本文参考 ResNet1834设计了一个新的模糊核估计网络 BKENet,用于从输入的任意尺寸的低分辨率图像中估计出模糊核,其结构如图 2所示.本文在 ResNet1834中的全连接层之前插入了一个全局池化层,将从输入图像中提取到的特征在特征维dd d度上进行统一.本文也对全连接层进行了改变,根据模糊核大小 将输出层的神经元个数改为 个,网络的输出是模糊核拉成的向量,经过变形得到对应的模糊核.BKENet 的优化目标为B=argminB(x;B)k22+(x;B)(8)x()Bk()其中,代表输入低分辨率图像,代表BKENet,代表BKENet的参数,代表待估计模糊核的真值,代表正则项.对于正则项,本文考虑两个方面问题:1)估计得到的模糊核中的权值总和应该等于 1,否则会导致模糊核的能量溢出;2)估计得到的模糊核的质心应该在整个模糊核的中心位置,因为本文生成数据所用高斯模糊核的质心在其正中心.故本文定义正则项为(x;kp)=Rsum+Rmass_center(9)RsumRmass_center其中,和 分别代表模糊核的能量约束和质心约束,和 分别代表这两项的权重.具体为Rsum=i,j|ki,j|1(10)Rmass_center=?i,jki,j(i,j)i,jki,ji,jki,j(i,j)i,jki,j?2=?i,jki,j(i,j)i,jki,j(0,0)?2=?i,jki,j(i,j)i,jki,j?2(11)kk其中,和 分别代表估计得到的模糊核和真值模)3,2,7,46,3(BNReLUMaxPool(3,2,1)Conv(64,128,3,2,1)Conv(128,128,3,1,1)Conv(128,256,3,2,1)Conv(256,256,3,1,1)Conv(64,64,3,1,1)Conv(256,512,3,2,1)Conv(512,512,3,1,1)GlobalPoolFCFCResizeData flowResidual connectionResidual connection with 11 convConv图2BKENet结构示意图Fig.2ArchitectureoftheBKENet2112自动化学报49卷(i,j)102104糊核,代表以模糊核中心为原点,模糊核上每个位置的坐标.在实验中分别将 与 设置为 1 和 1.估计到的模糊核准确与否直接影响到输入低分辨率图像的超分辨率重建,通过向模糊核估计网络的损失函数中添加上述正则项能够使得估计到的模糊核的精度更高,从而提升最终的超分重建效果.2.2模糊核自适应特征选择模块1)当前模糊核利用方法d dd2tt当前大多数模糊核均采用 Zhang等21提出的维度拉伸策略.具体来说,假定模糊核大小为,首先将模糊核拉成一个 维的向量,接着使用 PCA技术对该向量进行降维,得到 维的模糊核向量,再将降维后的模糊核向量每个维度都拉成与输入图像分辨率相同的退化图,即 个通道,并且每个通道都是同一个值,最终将退化图和输入图像叠加在一起作为网络的输入.但是这种方式并不是最优的,退化图只是一组抽象的数字,与输入图像像素值并没有直接的关联,将其与输入图像叠加在一起是不合适的.Gu等22对该方法进行了改进,将退化图与图像特征叠加,然后使用 SFTlayer23来利用模糊核信息.但是图像特征也是与输入图像的像素值高度相关的,直接将退化图和输入图像或者图像特征拼接并没有本质的区别.此外,这种方式破坏了模糊核的空间结构,可能无法高效地利用模糊核去指导重建输入图像中的结构化信息.为了更高效地利用模糊核信息,本文设计了 KAFS模块.KAFS模块在估计得到的模糊核上使用卷积提取模糊核特征,一定程度上保留了模糊核的空间结构,然后根据提取到的模糊核特征动态地对图像特征进行调整和修正.2)KAFS模块为了高效地利用模糊核信息指导超分辨率重建过程,本文借鉴动态卷积35中根据不同输入进行自适应调整的思想设计了模糊核自适应的特征选择模块(Kerneladaptivefeatureselectionmodule,KAFSmodule),并将其嵌入到 SRNet 中的残差块中.当前标准卷积和动态卷积的操作过程具体为F=Conv(F;)(F;)(12)FFConv()()Conv()()1Conv()其中,是输入特征,是卷积后的特征,代表卷积操作,一般称为显著性生成器.和 分别为 和 的参数.对于标准卷积来说,直接执行卷积操作;对于动态卷积Conv来说,的输出作用于 的输出,作为动态卷积层的输出结果.本文设计的 KAFS模块结构如图 3所示,其接受图像特征和模糊核特征为输入,并且根据模糊核特征对图像特征进行调整和修正.其中,图像特征调整和修正的过程由多个并行的动态特征选择器(Dynamicfeatureselector,DFS)完成.本文将多个 DFS的输出进行融合得到调整后的图像特征.KAFS模块可形式化表达为Foutimg=HKAFS(Finimg,Fk)=Conv(F1,Fi,FD;Conv)(13)其中Fi=HiDFS(Finimg,Fk)(14)HKAFSHiDFSiFoutimgFinimgFkConv(),ConvConv()Fii其中,代表 KAFS 模块,代表第 个DFS,代表调整后的图像特征,代表输入图像特征,代表输入的模糊核特征,代表 KAFS模块最后的卷积操作,代表通道维度上的拼接操作,代表 的参数,代表第 个 DFS的输出.DFSDFSconcatConvImage featureKernel featureRefined image featureKernel adaptive feature selection module图3模糊核自适应的特征选择模块示意图Fig.3ArchitectureoftheproposedKAFSmodule神经网络中不同层级卷积提取到的特征包含不同层次的语义信息36.因此,使用相同的模糊核特征去调整不同层级网络提取到的图像特征是不合理的.为了更高效地利用模糊核信息,本文设计了动态特征选择器(DFS),其中包含一个显著性生成器,能够针对不同层级图像特征的需要,自适应地生成模糊核显著性向量,对图像特征进行动态选择和加权,从而更好地利用模糊核信息指导超分辨率重建过程.DFS 的结构如图 4所示.FCsGlobal pooling Data flowAdaptive cliping图4动态特征选择器结构示意图Fig.4ArchitectureoftheproposedDFS10期李公平等:基于模糊核估计的图像盲超分辨率神经网络2113gDFS 生成的显著性向量 的具体计算为g=(Finimg,Fk;)=f(p(Finimg Fk)+(15)fp()()+其中,代表 的参数,代表全连接层,代表全局平均池化操作,代表通道维度的乘法,代表 ReLU激活函数.gjC Cgji然后,DFS根据得到的显著性向量来动态地选择当前层级网络最需要的图像特征.具体的做法是设定一个失活通道比例,将特征图的所有通道按其显著性向量的值 进行排序,记输入通道数为,最小的 个通道被移除,剩下的每个通道特征增强 倍.因此第 个 DFS可形式化表达为DFSi(Finimg,Fk)=Prun(i(Finimg,Fk;i)Finimg=Prun(f(p(Finimg Fk)+)Finimg=Prun(gi)Finimg=giv Finimg=gi Finimg(16)Prun()v=Itop(1 )C(gi)gi(1 )C gi=giv其中,代表显著性向量的裁剪过程,代表从 中返回 个最大值索引,.与动态卷积相比,本文设计的 KAFS模块主要有两点不同:1)动态卷积一般使用显著性生成器 处理卷积后的特征,而本文直接使用 处理输入特征,根据超分辨率网络不同层级的特征需要对输入特征进行动态选择;2)动态卷积利用输入特征对自身进行调整,即 的输入只有输入特征本身,而本文设计的 KAFS模块的输入包括图像特征和模糊核特征,KAFS模块根据模糊核特征对图像特征进行适应性调整.特别地,本文直接在模糊核上提取特征,然后使用模糊核特征对图像特征进行动态调整.这样做保留了模糊核空间结构化信息,更有利于神经网络利用模糊核进行超分辨率图像重建.3实验部分本节主要介绍实验的实施细节与实验结果的分析对比.具体地,第 3.1 节介绍用于训练网络的训练集和测试集,第 3.2节介绍本文方法的实现细节,第 3.3 节论述本文方法与其他方法的结果对比和分析,第 3.4 节对本文模型的各部分进行分析和讨论.3.1数据准备3.1.1模糊核本文选用各向同性和各向异性两种高斯模糊核来生成低分辨率图像,描述高斯模糊核的协方差矩阵为1112212212=21=011=220.5 2.5,6 12=21=111=220.5 2.5,4 本文使用 8 个各向同性和 8 个各向异性的高斯模糊核分别处理高分辨率图像来生成低分辨率图像.对于各向同性的高斯模糊核,设定,并且令 以 为步长在 之间进行 8 次采样;对于各向异性的高斯模糊核,本文分别设定,并且令 以 为步长在 之间进行 4 次采样.训练过程中所用的高斯模糊核如图 5所示.图5训练所用的高斯模糊核Fig.5VisualizationofGaussiankernelsusedfortraining12=21=011=2212=21=111=22测试阶段本文使用 2 个各向同性和 4 个各向异性的高斯模糊核.对于测试用的各向同性的高斯模糊核,本文设定,分别取2.0和6.5;对于测试用的各向异性的高斯模糊核,本文分别设定,分别取 2.0 和4.5.3.1.2数据集1)训练集实验训练所用的高分辨率图像来自 DIV2K37(800 幅)和 Flickr2K38(2 650幅)数据集,共 3 450幅 2K清晰度的高质量图像.本文首先使用之前介绍的用于训练的高斯模糊核对这些图像进行模糊,然后使用双三次插值算法对其进行下采样,得到训练所用的低分辨率图像.2)测试集本文测试所用图像来自 Set539,Set1440,BSD10041,Urban10042和 DIV2K37的验证集.与训练所用低分辨率图像生成方式相同,本文使用之前介绍的用于测试的模糊核对这些图像进行模糊,然后使用双三次插值算法对其进行下采样,得到测试所用的低分辨率图像.2114自动化学报49卷3.2训练细节3.2.1训练策略本文分别在超分辨率放大倍数为 2 倍,4 倍,8倍的设定下进行实验,所有的训练和测试过程都是在 RGB三通道上进行.训练过程分为两步,首先分别训练好 BKENet和 SRNet,然后将这两部分连接在一起进行微调.在单独训练 SRNet这部分时,使用真值模糊核作为额外的输入.可以通过优化如下问题来获取 SRNet的参数,即=argmin(x,k;)y1(17)()xky其中,代表 SRNet,代表输入的低分辨率图像,代表用于生成当前输入的低分辨率图像的模糊核,代表 SRNet的参数,代表输入低分辨率图像对应的高分辨率图像.在微调阶段,将 SRNet和 BKENet同时训练,这一阶段的损失函数定义为Loss=Limg+Lkernel(18)Limg=(x,(x)y22(19)()LimgLkernelLkernel其中,代表 BKENet,代表图像损失,代表模糊核损失,代表模糊核损失的权重,具体描述见式(8).损失函数中包含两项,第1 项是超分放大的图像和真值图像之间的 L2损失,第 2 项是估计出来的模糊核的损失,本文使用 参数平衡这两项来达到最优性能.3.2.2参数设置1=0.92=0.999 104本文提出的网络一共包含 16 个残差块,每个残差块中都嵌入了一个 KAFS模块.训练网络所用的优化器选择 Adam43,参数设为,学习率初始化为 1 ,并且每经过 40 000个迭代下降 0.2倍.本文从生成的低分辨率图像上截取 48 48 像素大小的图像块输入到网络中进行训练,从高分辨率图像对应的位置截取 4倍大小的图像块作为真值,批大小设为 16.本文使用 Pyt-orch框架实现提出的方法,并且在一张 TeslaV100显卡上进行训练.3.3实验结果本文使用峰值信噪比(Peaksignalnoiseratio,PSNR)和结构相似度(Structuralsimilarity,SSIM)对超分结果进行量化评价.参与对比的方法有非盲超分辨率方法密集残差超分辨率重建网络(Resid-ualdensenetwork,RDN)14,残差通道注意力超分辨率网络(Residualchannelattentionnetwork,RCAN)17,双向回归超分辨率网络(Dualregres-sionnetwork,DRN)8和整体注意力超分辨率网络(Holisticattentionnetwork,HAN)19,盲超分辨率方法零样本超分辨率网络(“Zero-shot”super-res-olutionusingdeepinternallearning,ZSSR)30和IKC22.对于非盲超分辨率方法 RDN14、RCAN17、DRN8和 HAN19,使用作者提供的预训练模型进行测试;对于盲超分辨率方法 ZSSR30,重新训练后进行测试;对于盲超分辨率方法 IKC22,使用作者提供的权重在本文所用训练数据上微调后进行测试.此外,为了进一步证明所提出方法的有效性,我们在本文所用训练数据上重新训练了非盲超分辨率方法 RDN14,即多种退化的密集残差超分辨率网络(Residualdensenetworkformulti-degrada-tions,RDNMD),并与本文方法进行对比.定量结果如表 1 所示,其中结果被规范表示为PSNR(dB)/SSIM,加粗字体代表最优的结果,下划线代表次优的结果,“”表示原论文作者未提供相对应的结果.从表 1中可看出,非盲超分辨率方法 RDN14、RCAN17、DRN8和 HAN19在遇到具有多种退化模式的数据时表现不佳,这表明非盲超分辨率方法很难处理具有多种退化模式的图像.与RDNMD对比,可以看出尽管使用具有多种退化模式的数据进行训练,非盲超分辨率方法 RDN14与BESRNet仍然存在较大差距.这是因为其本身没有考虑到模糊核这个因素.而 BESRNet可以先估计出输入图像的模糊核,然后根据估计到的模糊核来进行动态调整图像特征以适应不同的退化情况.与 ZSSR30和 IKC22对比,BESRNet具有更高的图像重建精度,这证明了 BESRNet 的有效性.与其他盲图像超分辨率方法对比,BESRNet在多个放大倍数设定下均取得了最优的 SSIM值,这表明BESRNet能够更加有效地利用模糊核去指导重建输入图像中的结构化信息.放大4倍任务上视觉效果对比如图6所示.从图6中可以看出,非盲超分辨率方法 RDN14、RCAN17、DRN8和 HAN19重建出的图像质量较差,这说明了只考虑双三次插值下采样这样一种简单的退化模式训练得到的模型,在遇到模糊图像时难以完成超分辨率任务.与 RDNMD对比,本文方法的重建结果细节上更加清楚.如第 3 组对比图中,RDNMD重建出的结果窗户部分的纹理模糊不清,而本文方法的结果明显清晰很多,与真值图像的差距较小,这证明了本文方法的有效性和优越性.与盲超分辨率方法 ZSSR30和 IKC22的结果比较,本文方法恢复出的图像具有更清楚的边缘轮廓和更高的对比10期李公平等:基于模糊核估计的图像盲超分辨率神经网络2115度,这进一步证明了本文方法的有效性和优越性.此外,本文也在真实世界图片“chip”上进行了放大 4 倍结果对比,结果如图 7所示.可以看出,ZSSR30放大后的图像伪影较为严重.与 IKC22的结果对比,本文提出的方法恢复出的图像具有更加清楚的轮廓,并且伪影也更少.这表明在真实世界图像上本文方法仍然优于盲超分辨率方法 ZSSR30和 IKC22.3.4模型分析3.4.1模糊核估计网络本文使用所估计的模糊核与真值模糊核之间的均方误差(Meansquareerror,MSE)和平均绝对值误差(Meanabsoluteerror,MAE)来评价模糊105/103w/ow/核估计结果.为了验证正则项对模糊核估计结果的影响,本文分别训练了添加正则项和未添加正则项的 BKENet,并将这二者的测试结果进行了对比.为了证明传统模糊核估计方法不适用于从低分辨率图像中估计模糊核,本文与 Pan等33提出的在模糊图像上估计模糊核的方法进行了对比.实验结果如表 2所示,表 2 中的数据被规范表示为 MSE MAE.表 2中 BKENet R 代表没有添加正则项的 BKENet,BKENet R代表有正则项的 BKENet.从表 2中可以看出,Pan等33的方法估计出的模糊核偏差较大,这表明直接使用之前的从模糊核图像中估计模糊核的方法在低分辨率图像上估计模糊核不可行.相较于没有添加正则项的模型,添加了正则项的模型估计出的模糊核的误差表1各个超分方法在基准数据集上的性能对比(PSNR(dB)/SSIM)Table1Performancecomparisonofdifferentsuper-resolutionmethodsonbenchmarkdatasets(PSNR(dB)/SSIM)方法放大倍数数据集Set539Set1440BSD10041Urban10042DIV2K_val37Bicubic225.76/0.80023.73/0.69924.15/0.68121.51/0.67025.73/0.776RDN14228.03/0.84025.20/0.71325.44/0.69723.04/0.69927.93/0.807RCAN17224.53/0.75123.05/0.66823.49/0.65321.04/0.63324.70/0.733DRN82HAN19224.45/0.71422.90/0.65023.29/0.63420.91/0.61524.54/0.708RDNMD229.00/0.87925.89/0.80325.97/0.79824.16/0.81828.23/0.863ZSSR30226.06/0.80424.02/0.70724.43/0.68821.90/0.68525.99/0.785IKC222BESRNet(本文)230.96/0.90327.73/0.83427.20/0.82725.38/0.84529.96/0.886Bicubic424.72/0.75522.83/0.64723.34/0.62820.65/0.61324.79/0.733RDN14427.46/0.80824.72/0.69425.03/0.67122.53/0.69027.24/0.775RCAN17422.83/0.61921.62/0.54822.16/0.54119.77/0.52123.25/0.619DRN8423.07/0.67921.92/0.596