基于残差注意力机制的图像超分辨率算法研究.pdf

May 2023Journal of Jilin University(Information Science Edition)2023年5 月No.3Vol.41吉林大学（信息科学版）第3期第41卷文章编号：16 7 1-5 8 9 6（2 0 2 3)0 3-0 48 4-0 9基于残差注意力机制的图像超分辨率算法研究刘斌，王耀威（东北石油大学电气信息工程学院，黑龙江大庆16 3318）摘要：针对传统单幅图像超分辨辩率重建算法未能充分利用浅层特征信息，忽略视觉目标中的空间结构信息，难以捕捉特征通道与高频特征信息之间的依赖关系，重建图像出现伪影、边缘模糊的问题，提出一种基于残差网络和注意力机制的图像超分辨率重建算法。该模型特征提取部分结合WDSR-B（W i d e r A c t i v a t i o n Su p e r-ResolutionB)残差网络增强特征信息在网络中的流通，通过坐标注意力机制对特征参数加权，引导网络更好地重建高频特征，恢复图像细节。实验结果表明，4倍图像重建下，在Set5和Set14测试集上的峰值信噪比(PSNR：Pe a k Si g n a l t o No i s e Ra t i o）为31.0 0 dB、2 8.9 6 d B，结构相似性（SSIM：St r u c t u r a l Si m i l a r i t y）为 0.8 9 3、0.854，重建后的图像在细节、轮廓方面均表现更好，优于其他主流超分辨率重建算法。关键词：残差网络；超分辨率；注意力；深度学习；图像处理中图分类号：TP391.4文献标志码：AResearch on Image Super-Resolution AlgorithmBased on Residual Attention MechanismLIU Bin,WANG Yaowei(School of Electrical and Information Engineering,Northeast Petroleum University,Daqing 163318,China)Abstract:Because the traditional single image super-resolution reconstruction algorithm fails to make full use ofthe shallow feature information,ignores the spatial structure information in the visual target,is difficult to capturethe dependence between the feature channel and the high-frequency feature information,and there are artifactsand edge blur in the reconstructed image,an image super-resolution reconstruction algorithm based on residualnetwork and attention mechanism is proposed.The feature extraction part of the model combines the WDSR-B(Wider Activation Super-Resolution B)residual network to enhance the flow of feature information in thenetwork,weights the feature parameters through the coordinate attention mechanism,and guides the network tobetter reconstruct high-frequency features and restore image details.The experimental results show that underquadruple image reconstruction,the PSNR(Peak Signal to Noise Ratio)on Set5 and Set14 test sets is 31.00 dBand 28.96 dB,and the SSIM(Structural Similarity)is 0.893 and 0.854.The reconstructed image performsbetter in detail and contour,which is better than other mainstream super-resolution reconstruction algorithms.Key words:residual network;super resolution;attention;deep learning;imageprocessing0引言随着深度学习的快速发展，卷积神经网络（CNN：Co n v o l u t i o n a l Ne u r a l Ne t w o r k s）已成功应用于单幅图像超分辨率（SISR：Si n g l e-Ima g e-Su p e r-Re s o l u t i o n）任务中1。1。SISR是指从单幅低分辨率（LR：Lo w-收稿日期：2 0 2 2-0 6-0 1基金项目：国家自然科学基金资助项目（416 0 2 134）；黑龙江省自然科学基金优秀青年基金资助项目（YQ2019D001）；中国石油科技创新基金资助项目（2 0 2 1DQ02-1103）作者简介：刘斌（19 8 2 一），男，山东潍坊人，东北石油大学教授，博士生导师，主要从事控制理论研究，（Tel)86-18645955167(E-mail)。刘斌，等：基于残差注意力机制的图像超分辨率算法研究第3期485Resolution）图像中恢复自然清晰的高分辨率（HR：H i g h-Re s o l u t i o n）图像，其在安全监控、卫星遥感、医疗卫生领域有广泛的应用2-7 卷积神经网络被Dong等8 引人到图像超分辨率重建中，提出了SRCNN（Su p e r-Re s o l u t i o nConvolutionalNeuralNetwork）网络模型，该网络模型使用3层的卷积神经网络，通过训练获取端到端的映射模型，超分辨重建效果提升明显。为提高重建图像的质量和速度，在SRCNN的网络模型基础上又设计出了FSRCNN(FastSuper-Resolution Convolutional Neural Network）网络模型9，网络性能进一步增强。之后VDSR（Ve r y D e e p Su p e r-Re s o l u t i o n）网络的提出实现了深层网络在超分辨率重建中的应用，VDSR网络模型通过引人更深的网络和非常小的卷积核重建图像10，其实验证明了基于残差网络（ResNet：Residual Network结构下模型性能远超非ResNet结构的模型性能。随着对ResNet结构的深人研究，针对其改进的结构相继被提出12。SRResNet 改进ResNet 架构执行图像超分辨率任务并表现出了良好的效果13。为降低 SRResNet 网络的计算开销，EDSR（En h a n c e d D e e p Su p e r-Re s o l u t i o n）超分辨率网络去除了BN（Ba t c h No r ma l i z a t i o n)层14，在计算开销和特征提取方面做出进一步提升。此后更多的超分辨率模型被提出，但很多网络模型不关注图像中的特征意义，不区分提取到的特征，这样会大大减弱网络的性能。因此注意力机制被应用于RCAN（Re s i d u a l Ch a n n e l A t t e n t i o n Ne t w o r k s）网络中进行超分辨率重建15，通过通道注意力机制对特征图中的通道赋予权重16，从而对通道特征加以区分，更好地重建高频特征。上述方法各有优劣，加深网络固然能更好地保留图像特征，但会显著提升计算开销17】，且过深的网络反而会丢失图像细节，注意力机制可以很好地区分特征18-19，但如何最大限度传递特征信息，发挥注意力机制的筛选作用也需要进行更多研究。为解决重建图像出现伪影、边缘模糊的问题，笔者将残差网络与注意力机制相结合应用于图像超分辨率重建网络中。在深层特征提取部分将WDSR-B（W i d e r A c t i v a t i o n Su p e r-Re s o l u t i o n B）网络与注意力网络结合，其残差网络的旁路构造可以保证浅层信息在神经网络中有效传递；注意力网络对主要特征参数加权，增大有用特征提取，弱化无用特征，增强重建图像的高频特征表现，最后采用亚像素卷积的方式对特征图重组，重建高分辨率图像。实验结果表明，相比其他主流超分辨率算法，基于残差注意力的模型重建后的图像主观评价更好，客观评价指标也有提升。1基于残差注意力的超分辨率重建模型1.1整体模型结构基于残差注意力的超分辨率模型主要由浅层特征提取、深层特征提取和图像重建模块组成。其模型结构如图1所示HHFFFLLDFFD低分辨率图像重建模块高分辨率图像浅层特征提取模块深层特征提取模块图1基基于残差注意力的图像超分辨率模型Fig.1Image super-resolution model based on residual attention输入低分辨率图像，经过特征提取和图像重建后，输出高分辨率图像。在浅层特征提取模块中采用33卷积进行6 4通道的特征提取，连接PReLU激活函数进行非线性整流。低分辨率图像通过浅层特征提取模块FL=f(/UR),(1)FL=f(/R),486第41卷吉林大学报（信息科学版）其中F为浅层特征提取模块的输出，f(IR）为低分辨率图像TR在浅层特征提取模块中进行卷积和非线性整流操作。深层特征提取模块由多个残差注意力模块串联组成，并对每个残差注意力模块的输出进行跳跃连接，以实现更有效的信息传递。残差注意力模块由特征提取网络和注意力网络组成2 0 2 1！F,=FL+H,(FL),(2)F2=F,+H,(H(FL),(3)其中H,（FL）为浅层特征FL经过第1个残差注意力模块的输出，然后与FL相加作为第2 个残差注意力模块的输人FI。同理，第2 个残差注意力块的输出为H,（H,（F,），每个残差注意力模块的输人都是前一个块的输人和输出之和。深层特征提取模块的最后一层残差注意力网络的输出Hg-1(Fg-1),（4）FD=F-1+f(H,(Hg-1(Fg-1),其中F,为深层特征提取模块的输出，Fg-1为第g-1个残差注意力模块的输出，H。为第g个残差注意力模块。重建部分采用亚像素卷积（Sub-PixelConvolution）的方式进行2 2，结构如图2 所示。将输出特征图用小尺寸卷积核计算出放大倍数h的平方个原图分辨率大小的特征图，通过抽样的方式，每隔k个像素点进行插值排列，将多张特征图排列成放大图像。串联两个亚像素卷积模块，最多可将图像放大为原尺寸的4倍1.2残差注意力模块结构卷积像素排列激活函数CxHxWCxHxWx倍数?图2亚像素卷积模型结构图Fig.2Structure diagram of sub-pixelconvolution model为改善特征信息在网络中的传递效率，设计一种残差注意力模块，结构如图3所示，将WDSR-B网络和坐标注意力网络融合。WDSR-B残差网络是基于ResNet网络的改进，由于ReLU激活函数会阻碍特征信息的传递，因此WDSR-B网络中增加了激活函数前的特征通道数和网络中的信息量，由于通道数的增加会增大参数量，为降低计算开销，使用11卷积替代33卷积，H_平均池化Sigmoid拼接拆分卷积1X1Sigmoid64通道W_平均池化Sigmoid32通道64通道ReLU卷积11卷积1X1卷积33输入特征图256通道256通道线性转换64通道输出特征图64通道64通道图3残差注意力模块结构图Fig.3Structurediagram of residual attention module在残差注意力模块中，首先将输人特征图进行2 5 6 维度的11卷积，通过增加通道数使更多高频特征被提取，经过非线性整流后再经由11卷积压缩特征通道数，其次使用11卷积将通道扩张至输人特征通道数，使更多浅层特征在网络中传导至最后，降低特征信息在网络中的损失。然后在WDSR-B模块后连接坐标注意力网络，沿输人特征图的宽和高方向进行平均池化，特征矩阵分解为沿x轴和轴两个空间方向的聚合特征，使用11卷积压缩通道，再进行批归一化和非线性回归编码x轴和y轴的空间信息，最后扩张通道并通过注意力机制对输入特征通道进行加权，再与输出相加，实现特征通道参数的聚合。1.3损失函数模型采用均方误差（MSE：M e a n Sq u a r e Er r o r）即L2损失函数指导模型优化学习，Ll和L2损失函数刘斌，等：基于残差注意力机制的图像超分辨率算法研究第3期487是超分辨率重建算法中常用的损失函数，L1损失函数（平均绝对损失函数）的梯度在极值点处会产生较大跃变，不利于网络的学习，L2损失函数梯度收敛的速度更快且更稳定，模型更容易被训练。模型的损失函数为1(y:-.）,1LMSE二(5)n其中y；为模型的第i个预测值，即第i张重建图像，；为标签值，即第i张原始高清图像。训练过程中需要最小化目标函数，重建图像越接近真实图像，MSE的值越趋近于0。MSE损失对离群点的处理会导致重建图像更为平滑，相应会降低部分高频细节恢复，在输出层使用激活函数降低离群点对模型的影响。对应的MSE损失函数为TWTH2-S.()1PWH(6)其中IR为HR图像THR对应的LR图像，W、H 分别为IR的宽和高，为THR到TR的下采样倍数，S。为由参数构建的前馈神经网络，S。（ILR）为重建图像。2实验结果与分析2.1实验环境与参数实验的硬件环境为IntelCorei7-11700KFCPU、16 CBy t e 运行内存、GeForceRTX3080显卡。软件环境为Windows10操作系统、Cudal1.2、Cu d n n 8.2、Py t o r c h 1.9、Py t h o n 3.7。数据集中的图片随机裁剪成9696像素的方形，使用Adam优化器进行训练。Adam优化器具有自适应学习率的梯度下降算法和动量梯度下降算法的优点，可针对不同参数分配不同学习率，这种自适应学习率机制可以增加优化速度，缓解梯度震荡的同时也更适应稀疏梯度。初始化学习率为0.0 0 0 1，训练过程中将BatchSize设置为6 4，共训练10 0 个周期。为充分发挥模型超分辨率重建性能，在COCO2014数据集上进行训练，其中包含123287张图像。使用的测试集为Set5、Se t 14、BSD 10 0、U r b a n 10 0 共计2 19 张图像：Set5测试集包含5 张特征简单、层次清晰的图像；Set14测试集包含14张图像，高频特征和低频特征更加复杂；BSD100测试集中的图像多达10 0 张，特征更为多样性；Urban100测试集包含10 0 张结构性强，特征简单的城市建筑图像。基于这些图像特点，以上4个数据集常被用于超分辨率重建研究。实验进行的是2 倍和4倍的超分辨率重建，在训练和测试过程中，首先将原始图像降质，再送入网络进行放大重建，降质方法采用双三次插值法，将原始图像分辨率缩小为原来的1/2 和1/4，两种分辨率放大倍数的实验独立进行。2.2实验结果分析为深入分析模型的性能，首先研究了模块数量对性能的影响，然后进行了模型结构的消融实验，最后与其他超分辨率重建算法进行比较。增加网络深度可一定程度上提高模型性能，为探究残差注意力模块数量对模型性能的影响，对比了不同残差注意力模块数下的模型在Set14测试集上4倍超分辨率重建的测试结果。Set14测试集中的图像特征复杂度低，高频特征和低频特征的边界较清晰，使用峰值信噪比（PSNR：Pe a k Si g n a l t o No i s eRatio）和结构相似度（SSIM：St r u c t u r a l Si m i l a r i t y）这两个客观评价指标量化重建图像质量，PSNR是通过定量计算重建图像和原始图像之间像素的方差评估两幅图像的像素级相似程度，数值越高表示重建图像质量越好，单位dB，计算方法为L?MNfpsNR=10 1og2(7)MNZZ(X,-Y,)2其中L为标准图像的灰度级别，M和N为图像长和宽的像素数，i和j为像素点的坐标，X为原始图像，Y为重建图像。SSIM为灰度、对比度和结构相关性3方面数值的整合，取值介于0,1间，计算方法为(2,l,+C,)(20 y+C,)fsiM(8)(+,+C,)(o+o,+C2)488吉林大学学报（信息科学版）第41卷其中和，分别为原始图像与重建图像灰度的平均值，和，分别为原始图像与重建图像的标准差，为原始图像与重建图像的协方差，C，和C为维持稳定，避免分母为O的常数。SSIM的值越接近1，表示重建图像的质量越好。实验结果如表1所示。表1不同残差注意力模块数量下的测试结果Tab.1TTest results under different residual attention modules残差注意力模块数量PSNR/dBSSIM残差注意力模块数量PSNR/dBSSIM827.910.8051628.960.8541228.470.8322228.940.8521428.750.846由表1可看出，当残差注意力模块数量为16 时，模型性能可以最大程度发挥，减少模块数量会导致特征提取不充分，评估指标不能达到最佳，相比较仅使用8 个残差注意力模块时，PSNR提升了3.7 6%，SSIM提升了6.0 9%；同样增加模块数量也会导致退化，网络性能降低，相比较使用2 2 个残差注意力模块，使用16 个残差注意力模块的PSNR提升了0.0 7%，SSIM提升了0.2 4%，因此以下实验都采用16 个残差注意力模块用于特征提取。为验证模型的各个结构对性能的影响，将基于残差注意力的图像超分辨率模型作为基础模型，以控制单一变量的方式，设置了不同结构的消融实验，每次实验仅改变一个变量，其他变量均不作任何改动，以保证对各个改进结构的性能分析具有科学性和准确性。使用Set14测试集对实验结果进行4倍放大测试，并计算PSNR和SSIM。表2 为不同结构对模型性能的影响，其中V表示模型中包含此结构，表示模型中不包含此结构表2不同结构对模型性能的影响Tab.2Effects of different structures on model performance模型AttentionWDSR-BResNetPSNR/dBSSIM1V28.800.835228.960.8543V28.830.841427.770.795表2 中的模型1为模型不包含注意力机制，仅使用改进后的残差进行实验；模型2 为模型包含残差注意力模块，即完整模型；模型3为模型结构为传统残差结构结合注意力机制。可以看到，模型2 较模型1，PSNR提升了0.5 6%，SSIM提升了2.2 8%，模型2 较模型3，PSNR提升了0.45%，SSIM提升了1.55%。为分析消融实验中各结构在训练过程中的贡献，将消融模型进行对比，ResNet作为替代WDSR-B的基础残差块，训练效果最差，因而不做讨论。实验设置为10 0 个训练周期，每个训练周期结束后计算在Set14数据集上的平均PSNR，将数据保存并绘制曲线如图4所示。29F2828272626P/242524P22P22232018201020406080100020406080100020406080100训练次数训练次数训练次数a完整模型b No Attentionc No WDSR-B图4训练过程中的平均PSNR变化曲线Fig.4Average PSNR change curve during training刘斌，等：基于残差注意力机制的图像超分辨率算法研究第3期489计算在Set14数据集上的平均SSIM，将数据绘制成曲线如图5 所示。通过图4和图5 中的PSNR和SSIM变化曲线可以看到单一改进的网络在训练过程中的波动更大，完整模型收敛快，波动小，训练较为平稳，且最终的客观评估指标更高。0.85F0.850.850.800.800.800.750.75WISSWis0.700.75S0.700.650.700.650.600.550.600.65020406080100020406080100020406080100训练次数训练次数训练次数a完整模型b No AttentionCNoWDSR-B图5训练过程中的平均SSIM变化曲线Fig.5Average SSIM change curve during training为进一步分析模型的性能，保证实验结果的准确性，将残差注意力超分辨率重建算法与Bicubic、VDSR10、RCA N15、SRRe s Ne t 13、ED SR14这5 种超分辨率算法分别进行了2 倍超分辨率重建和4倍超分辨率重建对比，Bicubic为传统的双三次插值算法，VDSR、RCA N、SRRe s Ne t、ED SR均为残差构造的超分辨率重建网络，对比算法均使用相同的测试数据集进行PSNR和SSIM的计算，实验方法和训练数据集为2.1节所述，数据汇总如表3和表4所示表32 倍放大测试结果Tab.3Double magnification test results数据集倍数评估指标BicubicVDSRRCANSRResNetEDSR笔者方法Set5X2SSIM0.8440.8540.8620.8690.8820.895x2PSNR/dB26.7430.4531.6731.9932.6533.16Set14x2SSIM0.7740.7810.7900.7920.7990.8452PSNR/dB26.1729.3530.0730.6731.8732.13BSD100X2SSIM0.7060.7320.7350.7430.7550.781x2PSNR/dB25.3327.9928.3028.2928.4428.61Urban100 x2SSIM0.7110.7240.7310.7490.7610.788x2PSNR/dB25.3727.9428.2928.3128.5128.75表44倍放大测试结果Tab.4Quadruple magnification test results数据集倍数评估指标BicubicVDSRRCANSRResNetEDSR笔者方法Set5SSIM0.7810.8340.8490.8610.8910.893x4PSNR/dB24.1129.0529.7930.0130.2931.00Set144SSIM0.6540.7660.7890.8010.8230.854PSNR/dB23.4526.7727.1027.4828.7728.96BSD100SSIM0.6430.6870.6910.6950.7120.732X4PSNR/dB23.1026.1526.9427.1227.5927.66Urban100SSIM0.6510.6840.7090.7120.7180.7464PSNR/dB23.2526.3827.0327.2627.5727.78可看到在Set5、Se t 14、BSD 10 0、U r b a n 10 0 数据集下2 倍超分辨率重建测试中，残差注意力超分辨率重建算法的客观评价指标PSNR和SSIM均超过其他5 种算法，相较于EDSR算法，基于残差注意力网络的重建算法在Urban100测试集上的PSNR提升了0.2 4dB，SSI M 提升了0.0 2 7。在Urban100测试集的4倍超分辨率重建测试中，PSNR提升了0.2 1dB，SSIM 提升了0.0 2 8，客观评价更好。第41卷吉林大学学报（信息科学版）490为进一步展示本算法性能，选取Urban100数据集中的一张图像，使用残差注意力超分辨率重建算法和其他超分辨率算法进行2 倍重建后的主观效果对比，如图6 所示。Urban100数据集中的城市建筑图像具有非常强的结构性，特征组成较为简单，重建算法提取这一类高频特征相对容易。可以看到，Bicubic算法重建图像模糊，VDSR算法重建图像边缘不清，RCAN算法重建图像较为清晰，但细节部分恢复不好，SRResNet算法重建图像高频特征部分有噪点，且部分细节模糊，EDSR算法重建图像效果良好，但整体略微平滑，残差注意力超分辨率重建算法纹理恢复较好，细节丰富，重建图像观感接近原始图像，效果优于其他算法。a原始图像b HRc Bicubicd VDSRe RCANfSRResNetg EDSRh笔者图6 2 倍超分辨率对比图Fig.6Double experimental comparison diagram选取Set14数据集中的一张图像进行4倍超分辨率重建，如图7 所示。由于高倍分辨率重建需要在像素点间加入更多像素，因而十分考验模型对离群像素的处理，相较于残差注意力超分辨率重建算法，其他几种算法均存在不同程度的锯齿、边缘模糊、噪点等情况，4倍放大重建效果并不理想。残差注意力超分辨率重建算法在保持高频细节方面表现良好，重建后的图像帽子边缘平滑，整体轮廓表现较好，重建图像中的毛发细节表现较好，虽出现一定噪点，但对比原始高清图像，还原程度最高a原始图像b HRcBicubicdVDSReRCANf SRResNetg EDSRh笔者图7 4倍超分辨率对比图Fig.7Comparison diagram of quadruple magnification experiment刘斌，等：基于残差注意力机制的图像超分辨率算法研究491第3期3结语针对图像中的高低频特征在网络层间传递存在损失、传统图像重建算法难以恢复像素间的非线性关系、网络收敛慢、重建图像边缘模糊的问题，笔者提出了一种具有残差构造的注意力图像超分辨率重建网络。通过引入性能更好的WDSR-B网络，改善特征信息的流动性，可以在更多通道上获取图像的特征信息，学习到更多的局部细节。通过结合坐标注意力机制分辨图像结构中的有用特征，引导网络重建更真实的特征，在重建效果上带来了更直观的改善。实验结果表明，在多个图像数据集上的图像重建相比主流超分辨率重建算法RCAN和EDSR，残差注意力超分辨率重建算法在Set14测试集上的PSNR分别提升1.8 6 dB、0.19 d B，SSIM 分别提升了0.0 6 5、0.0 13，在边缘轮廓、纹理等特征上的重建效果更好。结合残差注意力机制的超分辨率重建网络相比其他主流重建算法，在减少伪影、提升图像细节方面性能更强，更具应用价值。在实验过程中采用双三次插值法获取低质图像，但这种单一的方式不利于模型的泛化，在未来的研究中应考虑更多元化的低质图像获取方式，增强模型的泛化能力。参考文献：1 JLECUN Y,BENGIO Y.Convolutional Networks for Images,Speech,and Time Series J.The Handbook of Brain Theoryand Neural Networks,1995,3361(10):255-258.2 JREN S,LI J,TU T,et al.Towards Efficient Video Detection Object Super-Resolution with Deep Fusion Network for PublicSafety J.Security and Communication Networks,2021(5):1-14.3李千，赵逢禹.融合多路径与混合注意力的遥感图像超分辨率重建J/0L小型微型计算机系统：1-7【2 0 2 2-0 6-02J.https:/ Q,ZHAO F Y.Super Resolution Reconstruction of Remote Sensing Images by Integrating Multi-Path and Mixed Attention J/0L.Journal of Chinese Mini-Micro Computer Systems:1-7 2022-06-02.https:/ JLEI S,SHI Z.Hybrid-Scale Self-Similarity Exploitation for Remote Sensing Image Super-Resolution J.IEEE Transactionson Geoscience and Remote Sensing,2021,60(4):1-10.【5 王一宁，赵青杉，秦品乐，等基于轻量密集神经网络的医学图像超分辨率重建算法J/OL计算机应用：1-72022-06-02.https:/kns-cnki- Y N,ZHAO Q S,QIN P L,et al.Medical Image Super-Resolution Reconstruction Algorithm Based on LightweightDense Neural Network J/OL.Journal of Computer Application:1-7 2022-06-02.https:/kns-cnki- JLI Y,SIXOU B,PEYRIN F.A Review of the Deep Learning Methods for Medical Images Super Resolution Problems J.IRBM,2021,42(2):120-133.7 JQIU D,ZHENG L,ZHU J,et al.Multiple Improved Residual Networks for Medical Image Super-Resolution J.FutureGeneration Computer Systems,2021,116:200-208.8 JDONG C,LOY C C,HE K,et al.Learning a Deep Convolutional Network for Image Super-Resolution C/EuropeanConference on Computer Vision.Cham:Springer,2014:184-199.9 JDONG C,LOY C C,TANG X.Accelerating the Super-Resolution Convolutional Neural Network C/European Conferenceon Computer Vision.Cham:Springer,2016:391-407.10JKIM J,LEE J K,LEE K M.Accurate Image Super-Resolution Using Very Deep Convolutional Networks C/Proceedings ofthe IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2016:1646-1654.11JHE K,ZHANG X,REN S,et al.Deep Residual Learning for Image Recognition C/Proceedings of the IEEE Conferenceon Computer Vision and Pattern Recognition.Piscataway:IEEE,2016:770-778.12朱海琦，李宏，李定文，等.基于生成对抗网络的单图像超分辨率重建J吉林大学学报（理学版），2 0 2 1，5 9（6）：1491-1498.ZHU H Q,LI H,LI D W,et al.Single Image Super-Resolution Reconstruction Based on Generated Countermeasure NetworkJ.Journal of Jilin University(Science Edition),2021,59(6):1491-1498.13JLEDIG C,THEIS L,HUSZAR F,et al.Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial责任编辑：刘俏亮）第41卷吉林大学学报（信息科学版）492Network C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2017:4681-4690.14 JLIM B,SON S,KIM H,et al.Enhanced Deep Residual Networks for Single Image Super-Resolution C/Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition Workshops.Piscataway:IEEE,2017:136-144.15JZHANG Y,LI K,LI K,et al.Image Super-Resolution Using Very Deep Residual Channel Attention Networks C/Proceedings of the European Conference on Computer Vision(ECCV).Cham:Springer,2018:286-301.16JMEI Y,FAN Y,ZHOU Y.Image Super-Resolution with Non-Local Sparse Attention C/Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition.Piscataway:IEEE,2021:3517-3526.17郭继昌，吴洁，郭春乐，等基于残差连接卷积神经网络的图像超分辨率重构J吉林大学学报（工学版），2 0 19，49(5):1726-1734.GUO J C,WU J,GUO C L,et al.Image Super-Resolution Reconstruction Based on Residual Connected Convolutional NeuralNetwork J.Journal of Jilin University(Engineering and Technology Edition),2019,49(5):1726-1734.18臧永盛，周冬明，王长城，等基于层次注意力的图像超分辨率重建J.无线电工程，2 0 2 1，5 1（11）：12 45-12 5 3.ZANG Y S,ZHOU D M,WANG C C,et al.Image Super-Resolution Reconstruction Based on Hierarchical Attention J.Radio E