基于密集残差网络和注意力机制的图像超分辨研究.pdf

Computer Era No.12 20230 引言图像超分辨率重建是一种典型的底层计算机视觉任务，其目标是从低分辨率图像中重建出高分辨率图像，使图像包含更多像素和更丰富的视觉信息。该技术已被广泛应用于多领域。在医学成像中，它可以在降低对患者辐射的同时提高医生诊断图像的分辨率；在公共安全监控中，它可以提高视频质量以方便后续的车牌识别等机器视觉任务，也可以为警方提供更清晰的证据；在军事侦察中，它可以实现对舰船、车辆等小目标的检测以及对目标细节的观测。超分辨任务的主要工作是从输入图像中提取特征信息，并利用得到的高频细节完成高清图像重建，随着深度学习的不断发展，越来越多的模型被提出，如 Tong2提出了经典的基于密集网络的重建网络SRDenseNet3（Super-resolutionDenseNet）。该网络首先使用一个卷积层学习低层特征，接着用多个密集块学习高层特征。SRDenseNet通过密集连接的方式可以很好地将低层信息与高层信息融合，同时减少参数的数量。该结构能减轻梯度消失、加强特征传播、支持特征复用，提高了重建性能。Zhang 等人4提出了残差通道注意力网络算法RCAN5(Very deep residual channel attention networks)，收稿日期：2023-08-23作者简介：俞成海（1975-），男，浙江象山人，硕士，副教授，主要研究方向：移动应用与人工智能。通讯作者：胡异（1998-），男，安徽池州人，硕士研究生，主要研究方向：图像超分辨。DOI:10.16644/33-1094/tp.2023.12.023基于密集残差网络和注意力机制的图像超分辨研究俞成海，胡异，卢智龙，叶泽支(浙江理工大学计算机科学与技术学院，浙江 杭州 310018)摘要：针对现有的图像超分辨重建算法特征信息提取不充分的问题，基于SRResNet1网络的生成器部分，引入混合注意力模块和密集残差模块，以提取图像的多尺度特征。混合注意力模块集成通道注意力和自注意力机制，可以聚焦关键特征；密集残差模块通过堆积多个残差密集块学习多级特征，并采用改进的密集连接方式提高特征复用效率。模型在各基准数据集上对比当前的优秀重建算法有0.11db的提升，为单图像超分辨率任务提供了有效的方案。关键词：密集残差网络；注意力机制；图像超分辨重建；改进密集连接中图分类号：TP391.41文献标识码：A文章编号：1006-8228(2023)12-105-04Research on image super-resolution based on dense residualnetwork and attention mechanismYu Chenghai,Hu Yi,Lu Zhilong,Ye Zezhi（School of Computer Science and Technology,Zhejiang Sci-Tech University,Hangzhou,Zhejiang 310018,China）Abstract：To address the problem of insufficient feature information extraction in existing image super-resolution reconstructionalgorithms,the hybrid attention modules and dense residual modules are introduced into the generator part of the SRResNetnetworktoextractmulti-scalefeaturesofimages.Thehybridattentionmoduleintegrateschannelattentionandself-attentionmechanisms to focus on critical features.The dense residual module learns multi-level features by stacking multiple dense residualblocks and adopts improved dense connection method to improve feature reuse efficiency.The model achieves 0.1-1db improvementover current excellent reconstruction algorithms on various benchmark datasets,providing an effective solution for single imagesuper-resolution tasks.Key words：dense residual network;attention mechanism;image super-resolution reconstruction;improved dense connection105计算机时代 2023年 第12期将通道注意力机制加入到残差网络中，该算法可以量化不同通道特征对超分辨任务的重要程度，通过学习不同通道的重要性得到权重值，然后通过给每个通道赋予不同的权重来自适应的调整通道特征，使RCAN方法能够学习到更多有用的通道特征，提高网络的表达学习能力。Lim等人6提出了增强深度残差网络算法EDSR7(Enhanced Deep Residual Networks)，去除了残差网络中的批归一化层，通过全局残差和局部残差相结合来学习更多的高频细节，减小了网络的训练难度，此算法通过对模型进行合理的压缩来减轻网络的负担，同时能很好地提高运行的速度，重建效果也有所提高。基于以上研究，本文在SRResNet网络中引入混合注意力模块HAB并使用密集连接有效的提高了生成的高分辨图像质量和结构相似度。1 总体网络设计本文整体网络结构如图1所示，网络输入和输出分别为 Low-res和 High-res，图像将通过浅层特征提取、深层特征提取和高分辨图像重建三个过程进行超分辨操作，具体流程如下。首先采用卷积层对低分辨率输入图像Low-res进行上采样，提取图像浅层特征信息。在深层特征提取模块中，该特征信息将经过前置残差网络进行初步特征提取和维度转换，然后进入多级注意力块，通过通道注意力和空间注意力机制，提取浅层和深层特征，并通过全局残差连接进行特征融合。融合特征继续进入后置残差网络进行过滤，得到最终的深层特征。最后模型利用pixel-shuffle上采样方式，对深层特征进行上采样重建，得到高分辨率输出图像High-res。图1整体网络结构上述设计有效融合了注意力机制、残差连接和密集连接等机制，使网络能够对图像高频细节进行建模和重建，得到更好的超分辨效果。实验结果表明，该网络结构可以恢复图像细节，达到较好的效果。2 结合密集残差和混合注意力机制的图像超分辨模型2.1 密集残差网络本文使用了一种新颖的深度网络模块结构，即RRDB8(Residual in Residual Dense Block)。RRDB模块主要集成了残差网络(ResNet)和密集连接网络(DenseNet)两种经典网络架构的核心思想。减少了网络计算量，缓解了训练过程中的梯度消失和爆炸问题，形成了整体的残差学习结构。模块提取多尺度特征并融合，进一步增强特征表示能力。通过上述设计，RRDB模块形成一个融合残差学习和密集连接特性的高效网络模块，能够构建较深的模型并表现出色的性能。2.2 HAB模块本文使用混合注意力模块HAB(Hybrid AttentionBlock，如 图 2 所 示)，HAB 模 块 由 窗 口 自 注 意 力(Window-based Self-Attention)机 制 和 通 道 注 意 力(Channel Attention)机制构成，从而聚焦和激活关键特征信息，实现更优的任务重建效果。图2HAB网络结构图106Computer Era No.12 2023对于给定的输入特征x，计算过程如下：XN=LN()xXM=()S W-MSA()XN+CAB()XN+XNY=MLP()LN()XM+XM其中，XN和XM表示中间特征，LN表示LayerNorm层，MLP表示MLP层，为预设的一个较小常数，Y表示HAB的输出。该模块充分结合了局部和全局注意力信息，达到局部细节增强和关键信息激活的效果。2.3 RDAG模块本文开创性地提出一种结合了改进密集网络与注意力机制的模块 RDAG(Residual Dense AttentionGroup，如图1 Attention Block部分)，模块通过堆叠多个残差密集混合注意力块(RDAB)进行深层特征的挖掘，其中每个RDAB包含多个混合注意力块(HAB)和一个残差连接的卷积层(如图3)。图3RDAB网络结构图为融合不同级别的特征，各RDAB间通过改进密集连接构成RDAG模块(如图4)，各层提取特征只在最后进行叠加计算实现特征重用，可以在避免冗余计算的同时更好的保留各层特征信息，并为注意力模块（Attention Block）设置了一个全局残差连接，将浅层特征和深层特征融合输出。图4RDAG网络结构图3 实验分析3.1 实验配置 数据集和参数设置：本次实验使用 DF2K(DIV2K+Flicker2K)数据集中的3250张图片作为训练集进行放大因子为2，3，4的训练，剩余的200张图片作为验证集用于验证实验效果。测试集使用Set5、Set14、BSD100、Urban100四个基准数据集来评估本文的方法。实验的 Batch_Size 设置为 8，通道数量设置为180，迭代次数为 500，使用 L1Loss 作为优化器优化实验参数。初始学习率设置为 210-5，使用多步长MultiStepLR 动态调整学习率，实验全程在 Ubuntu操作系统上进行，使用的 GPU 为 RTX A5000 24GB，CPU为AMD EPYC 7511p，内存32GB。运行环境为Python3.8，Pytorch 2.0.0，Cuda11.8.0。数据预处理：通过裁剪高分辨率 DF2K数据集生成的子图像对整体网络进行训练，在2和4的放缩比例上使用128128的裁剪尺寸，3的放缩比例上使用192192的裁剪尺寸，进入网络后进行随机取样获取6464的输入样本。为了防止过拟合，使用随机旋转和水平翻转进行数据增强。评价指标：在实验中采用泛用的峰值信噪比(peak signal to noise ratio，PSNR)和 结 构 相 似 度(structural similarity，SSIM)进行量化评估。3.2 消融实验消融实验采用DF2K数据集进行4放缩比例下的训练，使用Set5和Set14作为测试集，进行下列实验，探究RRDB和RDAB模块各自对整体网络性能的影响。为了探究 RRDB 模块和 RDAB 模块对图像重建效果的影响，分别采取不使用 RRDB和 RDAB模块、仅用 RRDB 模块、仅用 RDAB 模块、同时使用 RDAB和RDAB模块进行实验，实验结果如表1所示。表1Set5和Set14上进行消融实验网络结构基准网络RRDBRDABRRDB+RDABSet5PSNR32.0232.6032.923232.9898SSIM0.89290.90020.90380 0.90429042Set14PSNR29.5228.8829.222929.2525SSIM0.78400.78960.79580 0.79637963结果表明，RRDB模块和RDAB对于基准网络有着显著的效果提升，其中RDAB模块的提升效果更加明显，而随两者的结合使用整体网络的性能又得到进一步提高。3.3 实验结果为了探讨本文网络对不同结构化图像数据集的重建性能，将所提出的方法与当前先进的重建方法进行比较，包括基于残差网络的EDSR，结合残差和通道注意力的RCAN，基于密集残差网络和生成式对抗网络的ESRGAN5以及基于注意力机制的SwinIR9。在107计算机时代 2023年 第12期Set5、Set14、BSD100、Urban100 四个基准数据集进行放大因子为2，3，4的对比试验，实验结果如表2所示，实验效果对比图如图5所示。实验结果表明，本文所提网络结构在两项指标上要优于其他对比方法，其中 PSNR 有着 0.10.5db 的提升，显著领先于其他方法。表2与基准数据集上的先进方法的定量比较MethodEDSRRCANSwinIROursEDSRRCANSwinIROursEDSRRCANESRGANSwinIROursScalex2x2x2x2x3x3x3x3x4x4x4x4x4训练集DIV2KDIV2KDF2KDF2KDIV2KDIV2KDF2KDF2KDIV2KDIV2KDF2KDF2KDF2KSET5PSNR38.1138.2738.423838.555534.6534.7434.973535.070732.4632.6332.7332.923232.9898SSIM0.96020.96140.96230 0.96296280.92800.92990.93180 0.932493240.89680.90020.90110 0.904490440.9042SET14PSNR33.9234.1234.463434.77977930.5230.6530.933131.161628.8028.8728.9929.092929.248248SSIM0.91950.92160.92500 0.966296620.84620.84820.85340 0.855185510.78760.78890.79170.79500 0.79637963BSD100PSNR32.3232.4132.533232.606029.2529.3229.462929.515127.7127.7727.8527.922727.9696SSIM0.90130.90270.90410 0.904790470.80930.81110.81450 0.815881580.74200.74360.74550.74890 0.75007500Urban100PSNR32.9333.3433.813333.858528.8029.0929.753030.010126.6426.8227.0327.452727.8383SSIM0.93510.93840.94270 0.955595550.86530.87020.88260 0.886188610.80330.80870.81530.82540 0.83248324图5在Urban100数据集上放大因子为4的主观效果对比4 总结本文提出了一种新的残差密集注意力模块RDAG，可用于单图像超分辨率任务。该模块集成了通道注意力机制、自注意力机制以及残差密集连接，可以提升全局上下文信息的利用效率，并实现多尺度特征的复用。另外，网络通过与残差残差密集块(RRDB)的结合实现底层和高层语义信息的融合，增强了网络表达能力。实验结果表明，本文所提出的模块可以改善超分辨率重建的性能，并在多个评价指标上都有着先进的效果。参考文献(References):1 Christian Ledig,Lucas Theis,Ferenc Husz ar,JoseCaballero,AndrewCunningham,AlejandroAcosta,Andrew Aitken,Alykhan Tejani,Johannes Totz,ZehanWang,etal.Photorealisticsingleimagesuper-resolutionusingagenerativeadversarialnetwork.InProceedingsoftheIEEEconferenceoncomputervision and pattern recognition,2017:4681-4690.2 BASHIR S MA,WANG Y.Deep Learning for the AssistedDiagnosisofMovementDisorders,IncludingIsolated(下转第114页)108计算机时代 2023年 第12期4 He K,Zhang X,Ren S,et al.Spatial Pyramid Pooling inDeep Convolutional Networks for Visual RecognitionJ.IEEETransactionsonPatternAnalysis&MachineIntelligence,2014,37(9):1904-16.5 Girshick R.Fast R-CNNC/International conference oncomputer vision.Los Alamitos:IEEE Computer Society,2015:1440-1448.6 Lin T Y,P Dollr,Girshick R,et al.Feature pyramidnetworksforobjectdetectionC/ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.LosAlamitos:IEEEComputerSociety,2017:2117-2125.7 WANG L,ZHOU K,CHU A,et al.An improved light-weighttrafficsignrecognitionalgorithmbasedonYOLOv4-tinyJ.IEEE Access,2021,9(1):124963-124971.8 张云飞,王桂丽,周旭廷,等.基于单目视觉的测距算法J.计算机与数字工程,2020,48(2):356-360.9 王浩,张善房,朱建高,等.基于双目视觉的测距系统研究J.家电科技,2022,417(4):92-95.10 Wang H,Sun Y,Wu Q,et al.Self-supervised monoculardepth estimation with direct methodsJ.Neurocom-puting,2021,421(5):340-348.11 MENG C,BAO H,MA Y,et al.Visual Meterstick:Precedingvehiclerangingusingmonocularvisionbased on the fitting methodJ.Symmetry,2019,11(9):1081.12 苏萍,朱晓辉.基于单目视觉的水面目标识别与测距方法研究J.计算机技术与发展,2021,31(2):80-84.13 赵明绘,王建华,郑翔,等.基于单目视觉的无人水面艇水面目标测距方法J.传感器与微系统,2021,40(2):47-104.14 叶肖伟,董传智.基于计算机视觉的结构位移监测综述J.中国公路学报,2019,32(11):21-39.15 HALEVY A,NORVIG P,PEREIRA F,et al.Theunreasonable effectiveness of dataJ.IEEE IntelligentSystems,2009,24(2):8-12.16 SUN C,SHRIVASTAVA A,SINGH S,et al.Revisitingunreasonable effectiveness of data in deep learningeraC/Proceedings of the IEEE International Confer-enceonComputerVision.Piscataway:IEEE,2017:843-852.17 MIKOAJCZYK A,GROCHOWSKI M.Data augmenta-tion for improving deep learning in image classifica-tion problemC/Proceedings of the 2018 Interna-tionalInterdisciplinaryPhDWorkshop.Piscataway:IEEE,2018:117-122.18 SHORTEN C,KHOSHGOFTAAR T M.A survey onimagedataaugmentationfordeeplearningJ.Journal of Big Data,2019,6(1):1-48.19 NASCIMENTO M G,FAWCETT R,PRISACARIU V A.DSConv:efficient convolution operatorC/Proceed-ingsoftheIEEE/CVFInternationalConferenceonComputer Vision.Piscataway:IEEE,2019:5148-5157.20 HUJ,SHENL,SUNG.Squeeze-and-excitationnetworksC/Proceedings of the IEEE Conference onComputerVisionandPatternRecognition.Piscat-away:IEEE,2018:7132-7141.DystoniaJ.Frontiers in Neurology,2021,12:638266.3 T.Tong,G.Li,X.Liu,and Q.Gao.Image super-resolution using dense skip connections.In Proc.IEEEInt.Conf.Computer Vision,2017:4799-4807.4 WangZ,Chen J,Hoi S C H.Deep learning for imagesuper-resolution:AsurveyJ.IEEEtransactionsonpattern analysis and machine intelligence,2020,43(10):3365-3387.5 Yulun Zhang,Kunpeng Li,Kai Li,Lichen Wang,BinengZhong,andYunFu.Imagesuper-resolutionusingverydeepresidualchannelattentionnetworks.InProceedings of the European conference on computervision(ECCV),2018:286-301.6 Guo Y,Chen J,Wang J,et al.Closed-loop matters:Dualregression networks for single image super-resolutionC/Proceedings of the IEEE/CVF conference on computervision and pattern recognition.2020:5407-5416.7 Bee Lim,Sanghyun Son,Heewon Kim,Seungjun Nah,andKyoungMuLee.Enhanceddeepresidualnet-works for single image super-resolution.In Proceed-ings of the IEEE conference on computer vision andpattern recognition workshops,2017:136-144.8 Xintao Wang,Ke Yu,Shixiang Wu,Jinjin Gu,Yihao Liu,Chao Dong,Yu Qiao,and Chen Change Loy.Esrgan:Enhanced super-resolution generative adversarial net-works.InProceedings of the European conference oncomputer vision(ECCV)workshops,2018.9 Jingyun Liang,Jiezhang Cao,Guolei Sun,Kai Zhang,LucVanGool,andRaduTimofte.Swinir:Imagerestoration using swin transformer.In Proceedings ofthe IEEE/CVF International Conference on ComputerVision,2021:1833-1844.(上接第108页)CECE114