基于CycleGAN的无监督超分率算法研究与实现.pdf

第 16 期2023 年 8 月无线互联科技Wireless Internet TechnologyNo.16August,2023基金项目:陕西省教育科学“十四五”规划 2021 年度课题;项目名称:“校企联动 学科融合”创新创业教育实践研究;项目编号:SGH21Y029。作者简介:高浩然(1996),男,陕西延安人,硕士研究生;研究方向:计算机视觉。通信作者:刘静超(1985),女,河北保定人,副教授,硕士;研究方向:图像识别与处理,人工智能及其应用。基于 CycleGAN 的无监督超分率算法研究与实现高浩然,刘静超(西京学院 计算机学院,陕西 西安 710123)摘要:图像超分辨率旨在将低分辨率图像重建为高分辨率的清晰图像。大多数现有的深度学习超分辨率方法都需要大量的高低分辨率图像对作为监督信号,但这样的图像对在实际应用中并不好获取。针对此问题,文章基于 CycleGAN 提出了一种新的无监督超分辨率模型。该模型可以使用非配对数据进行训练,同时也利用残差以及交叉注意力机制构建了一个全新的域迁移架构。文章在多个数据集上进行了实验,实验结果验证了该模型的有效性和先进性。关键词:无监督;图像超分辨率;CycleGAN中图分类号:TP391.41 文献标志码:A0 引言图 像 超 分 辨 率 重 建 是 将 低 分 辨 率(Low Resolution,LR)图 像 重 建 为 高 分 辨 率(High Resolution,HR)图像的过程,在数字图像处理和计算机视觉等领域有着重要的应用价值。现有的深度学习超分辨率方法大多需要大量的高低分辨率图像对作为监督信号,但这样的图像对在实际应用中并不总是易于获取或准确对齐,这限制了这些方法的泛化能力。为了解决这个问题,无监督超分辨率方法日益受到重视。它们无需任何对齐数据,完全依赖于未标注的数据实现训练,这使其可以应用到更加广泛的场景。然而,无监督超分辨率任务非常艰巨。由于缺乏监督信号,如何学习低高分辨率图像之间的复杂映射关系是一个重要的挑战。基于此,本文提出一种基于CycleGAN1的无监督超分辨率框架,此框架通过将未知退化的 LR 图像与进行过人为退化的 HR 图像之间的映射学习问题建模为一个 CycleGAN 框架,通过在两个图像域之间训练生成器和判别器网络来学习复杂的映射关系,实现低分辨率到高分辨率的像素级迁移,达到超分辨率重建的目的。本文通过 PyTorch 框架实现了提出的方法,并在多个数据集上进行了实验验证。结果表明,本方法可以有效地学习高低分辨率图像域之间的映射。特别在数据稀缺的情况下,本方法具有比同类方法更强的生成效果。1 基于对抗生成网络的超分辨率模型 随着 SRGAN2的出现,以 GAN3为基础的超分辨架构走进了蓬勃发展的新阶段。Deng 等4提出新的增强型 GAN loss,包含对抗损失和相似性损失两部分。相似性损失直接匹配超分辨率图像与真实高分辨率图像的特征图,可以产生更加相似的图像结构。Gauthier 等5提出融合 GAN,使用多个 GAN 模型共同产生超分辨率图像并聚拢结果。Wang 等6将 ESR网络与 GAN 架构结合,引入新的超分辨率图像评价指标,产生真实逼真的结果。Chen 等7提出基于图像质量的 HAT loss 来训练超分辨率 GAN,可以产生视觉效果更优的图像,但训练较难收敛。以上方法都是有监督的超分辨率模型,需要使用配对的数据进行训练。但是,当处理现实世界采样的数据时,配对的数据往往难以采集或准确对齐,因此使用非配对样本进行训练的无监督超分辨模型成了解决这类问题的关键。Zhou 等8提出的 Cross-MPI是一种基于参考的超分辨率方法,利用多平面图像的表示来实现跨尺度的立体匹配,将参考图中的细节信息传输到低分辨率图像。而本文通过特征迁移的方式实现了无监督超分辨重建,借鉴 CycleGAN 的思想,对未知退化的真实世界图像进行像素特征的域迁移。通过将未知退化的像素分布迁移到干净的低分辨率像素域,然后再用超分辨网络对其进行超分重构生成高清图像。2 基于 CycleGAN 的无监督超分辨率模型设计 如图 1 所示,输入的高分辨率图像 Z 通过双三次731第 16 期2023 年 8 月无线互联科技研究创新No.16August,2023插值被人为地下采样为一个已知退化的低分辨率图像 Z。在低分辨率图像的映射域内,通过 Z的指导,将输入图像 X 通过域迁移的方式映射到一个干净的低分辨率域内,生成图像 X。X进入超分辨网络 SR进行超分重构,最终生成超分辨率图像 X。通过 PS损失函数(PS Loss)与其他损失函数来共同约束整体架构。图 1 无监督超分辨模型2.1 退化学习 如图 1 所示,首先对高分辨率图像 Z 进行双三次插值下采样为 Z,在这里 Z的像素分布在一个已知且干净的人为退化域内,且 Z pZ。在本文提出的退化网络内,输入图像 X 通过生成器 G 生成图像 X,图像 Z通过生成器 F 生成图像 Z。判别器 D1和 D2分别来判定 X与 Z,X 与 Z的相似性。为了在网络训练的过程中保证像素迁移过程的可逆,并让输入图像的细节信息不完全丢失,本文在此引入了循环一致性损失(Cycle Loss),在本文中将其定义为:cyc(G,F)=E Ex pdata(X)F(G(X)-X1+E Ez pdataZ()G(F Z()-Z1(1)为了使生成的结果更真实可信,并约束重建结果与输入图像的一致性,本文还引入了身份损失函数(Identity Loss)。在无监督学习或对齐数据缺失的条件下,它可以为模型提供自监督信号,指导参数的更新方向。具体的表达式如下:identity(G,F)=E Ez pdata(z)F(z)-z1+E Ex pdata(x)G(x)-x1(2)2.2 生成器和判别器 在本文提出的方法中,以 CycleGAN 为基础模型来构建低分辨率图像映射网络,但为了使网络可以更有效以及更全面地学习目标域的特征,本文对生成器和判别器进行了改进。为了学习到不同尺度的特征信息,在生成器的构建上,本方法分别使用 33 和 77 大小的卷积块进行特征提取。输入图像分别进入两个通道提取不同尺度的特征,然后通过相加操作进行特征融合,融合后通过 11 卷积降维后输出图像。本文借鉴了 SRGAN 的设计,在判别器中,输入图像经过一个卷积层和一个激活层,然后通过堆叠的小尺度卷积块来提取高频细节信息,最后通过线性层来输出图像判断概率。在构建循环对抗网络时,为了促进生成器产生更加真实的图像,提高判别器的判断能力,本文采用了对抗损失进行约束,其表达式为:GAN(G,D1)=E EZ pdataZ()logD1(Z)+E EX pdata(X)log(1-D1(G(X)(3)GAN(F,D2)=E EX pdata(X)logD2(X)+E EZ pdataZ()log(1-D2(F(Z)(4)2.3 图像超分辨率 当退化未知的输入图像 X 通过退化学习后,其像素分布会映射到已知的退化域,生成图像 X,且 X831第 16 期2023 年 8 月无线互联科技研究创新No.16August,2023pZ。生成图像 X被输入超分辨网络进行超分重构,并生成超分辨率图像 X。由于 ESRGAN 具有较好的稳定性以及训练时的收敛速度相对较快,所以本文使用ESRGAN 作为本工作中的超分辨网络。为了进一步优化本模型,使其拥有更好的生成效果,本文使用 PSNR 和 SSIM 指标构建了一种新的损失函数 PS 损失。在本工作中通过最小化 X和 X以及 Z 和 Z相关度的差值来优化损失函数,具体公式如下:PS=1MAXIMSE+SSIM(x,y)(5)其中,MAXIMSE(0,100),SSIM(0,1),本文在此设置 =1,=100。结合 PS 损失以及其他损失,最终的总损失total可定义为:total=cyc+identity+GAN+PS(6)3 实验设置 本文在构建超分辨网络时只使用了 ESRGAN 模型的生成器部分。但在最初对超分辨网络训练时,使用了整个网络。首先用 DIV2K 数据集中的配对数据训练 ESRGAN,当模型收敛后,冻结整个超分辨网络,使其在后期的训练中不再进行梯度更新。本实验在训练退化学习网络时,对两个对抗生成网络都采用同步更新的训练策略。每次迭代先更新判别器,提高其对真实图像和生成图像的判断精度;然后更新生成器,生成更真实的图像来欺骗判别器。本文在此设置参数=0.2,=0.2,=0.2,=0.4,同时使用 Adam 优化器来进行优化。本实验在超分辨网络的训练中,设置 batch_size=16,epoch=100。在整体架构训练时,设置 batch_size=16,epoch=200。在 PyTorch 框 架 下,使 用 NVIDIA 4070ti 显卡训练了 45 h,并取得了不错的成效。4 实验结果和分析4.1 使用的数据集和评价指标 本文在 DIV2K、Set5、Set14 3 个数据集上对提出的模型进行了验证,这 3 个数据集都包含高低分辨率图像。需要说明的是,DIV2K 数据集中有一部分测试数据没有高分辨率图像,这也可以用来检测超分辨率模型对未知退化图像的处理能力。峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和结构相似度(Structure Similarity Index Measure,SSIM)是两种常用的图像质量评价指标,本文通过衡量不同数据集上的 PSNR 和 SSIM 来测试本模型的生成效果。4.2 实验结果 本文在 DIV2K Track2 数据集上,使用提出的方法分别与 3 个当前优秀的方法进行了比较。SRGAN是首个使用对抗生成网络进行超分辨的模型。ESRGAN 是一种增强型的超分辨网络,它采用残差连接和更深层结构的生成器,能够产生更真实的超分辨率图像。Cross-MPI 是一种跨尺度立体方法,用于实现图像跨超分辨率重建,它通过多平面图像表示场景的结构和外观。由于该测试集没有对应的高分辨率图像,本文只展示了部分测试结果。如图 2 所示,从视觉效果来看,本文提出的方法比 SRGAN 和 ESRGAN 生成的图像更清晰,与 Cross-MPI 生成的图像相似。无论是图像的流畅度还是高频细节的恢复,本方法都展示出了令人满意的效果。图 2 本模型在 DIV2K 数据集上与其他模型的比较931第 16 期2023 年 8 月无线互联科技研究创新No.16August,2023表 1 提出的方法在不同数据集上与其他方法的比较DIV2KSet5Set14MethodPSNRSSIMPSNRSSIMPSNRSSIMSRGAN23.850.6526.420.7225.290.73ESRGAN28.430.7529.830.7830.020.77Cross-MPI30.900.8531.040.8330.410.81Ours30.880.8430.930.8330.550.82 在有配对的测试数据集上,本文也用提出的方法与其他方法进行了对比试验,并用 PSNR 和 SSIM 指标评价其效果。从表 1 中可以看出,本方法在不同的数据集上的PSNR 和 SSIM 指标都优于 SRGAN 和 ESRGAN。在DIV2K 和 Set5 数据集中,本方法的 PSNR 指标低于Cross-MPI,这是因为本模型更关注高频细节的学习,而低频部分的重建效果不够理想,但在实际的视觉效果上与 Cross-MPI 相差不大。5 结语 本文提出了一种新的无监督超分辨方法,该方法旨在利用非配对的高低分辨率数据进行图像超分辨。借鉴 CycleGAN 的思想,通过域转换的方式实现像素的域迁移,将真实世界采集的图像通过退化学习重新映射到已知且干净的低分辨率域。最终在 PS 损失函数的约束下,通过超分辨网络生成质量更高的高分辨率图像。实验表明,本方法可以更好且更方便地提升生成图像的质量,为图像提供更高的平滑度以及更好的细节纹理特征。参考文献1ZHU J Y,PARK T,ISOLA P,et al.Unpaired image-to-image translation using cycle-consistent adversarial networks EB/OL.(2020-08-24)2023-05-26.https:/arxiv.org/abs/1703.10593.2LEDIG C,THEIS L,HUSZAR F,et al.Photo-realistic single image super-resolution using a generative adversarial networkEB/OL.(2017-05-25)2023-05-26.https:/arxiv.org/abs/1609.04802.3GOODFELLOW I,POUGET-ABADDIE J,MIRZA M,et al.Generative adversarial networks J.Communications of the ACM,2020(11):139-144.4DENG Y,LOY C,TANG X.Aesthetic-driven image enhancement by adversarial learning EB/OL(2018-07-02)2023-05-26.https:/arxiv.org/abs/1707.05251.5GAUTHIER J.Conditional generative adversarial nets for convolutional face generationJ.Class Project for Stanford CS231N:Convolutional Neural Networks for Visual Recognition,Winter Semester,2014(5):2.6WANG X,YU K,WU S,et al.Esrgan:Enhanced super-resolution generative adversarial networksEB/OL.(2018-09-17)2023-05-26.https:/arxiv.org/abs/1809.00219.7CHEN X,WANG X,ZHOU J,et al.Activating more pixels in image super-resolution transformerEB/OL.(2022-05-16)2023-05-26.https:/arxiv.org/abs/2205.04437.8ZHOU Y,WU G,FU Y,et al.Cross-MPI:Cross-scale stereo for image super-resolution using multiplane imagesEB/OL.(2021-05-29)2023-05-26.https:/arxiv.org/abs/2011.14631v2.(编辑 王雪芬)Research and implementation of unsupervised super-resolution based on CycleGANGao Haoran Liu Jingchao School of Computer Science and Technology Xijing University Xi an 710123 China Abstract The super-resolution task aims to recover a high-resolution clear image from a low-resolution image.Most existing deep learning super-resolution methods require a large number of high and low-resolution paired images supervised signals but such images are not easy to obtain in practical applications.To address this problem this paper proposes a new unsupervised super-resolution model based on CycleGAN.This model can be trained using unpaired data.It also builds an entirely new domain transfer architecture using residual and cross-attention mechanisms.Experiments on multiple datasets verify the validity and advancement of this method.Key words unsupervised super-resolution CycleGAN041