基于空间注意力残差网络的图像超分辨率重建模型.pdf

计算机与现代化JISUANJI YU XIANDAIHUA2023年第10期总第338期文章编号：1006-2475（2023）10-0045-08收稿日期：2022-11-01；修回日期：2022-12-02基金项目：国家自然科学基金资助项目（62071084）作者简介：邢世帅（1996），男，河南商丘人，硕士研究生，研究方向：图像超分辨率，E-mail:；通信作者：刘丹凤（1987），女，辽宁大连人，讲师，博士，研究方向：遥感图像处理，机器视觉，E-mail:；王立国（1974），男，黑龙江哈尔滨人，教授，博士，研究方向：遥感高光谱图像处理，机器学习，E-mail:；潘月涛（1996），男，山东潍坊人，硕士研究生，研究方向：遥感图像处理，E-mail:；孟灵鸿（1997），男，山东济宁人，硕士研究生，研究方向：遥感图像处理，E-mail:；岳晓晗（1997），女，山东潍坊人，硕士研究生，研究方向：图像超分辨率处理，E-mail:。0引言图像超分辨率重建的任务是将退化的低分辨率图像映射为高分辨率图像。但由于高分辨率图像会因不同类型的细节损失退化成不同的低分辨率图像，且相同的低分辨率图像可以由多个高分辨率图像退化而来，导致图像超分辨率重建较为复杂。为了解决这个问题，研究者们已经提出许多图像超分辨率重建方法，主要包括基于插值1-2的方法、基于重建3-4的方法和基于学习5-7的方法等。近年来，基于深度卷积神经网络的方法在图像超分辨率重建领域表现优异。Dong等人8进行了首次成功尝试，提出带有3个卷积层的SRCNN，并且取得了优于传统算法的性能。后来，Dong 等人9对SRCNN进行改进，进而提出FSRCNN，在网络的后端引入了反卷积，减少了计算量。Kim等人10首次提出了残差网络，并将其引入图像超分辨率重建领域中，他们提出了深度为 20 层的 VDSR 网络，取得了比SRCNN更好的性能，这表明更深层次的网络可以有效地提升图像的质量。后来，Kim等人11在DRCN中引入残差学习从而减轻模型训练的难度。盘展鸿等人12将残差中的残差思想与空间、坐标注意力结合基于空间注意力残差网络的图像超分辨率重建模型邢世帅，刘丹凤，王立国，潘月涛，孟灵鸿，岳晓晗（大连民族大学信息与通信工程学院，辽宁 大连 116600）摘要：卷积神经网络中的层次特征可以为图像重建提供重要信息。然而，现有的一些图像超分辨率重建方法没有充分利用卷积网络中的层次特征。针对该问题，本文提出一种基于空间注意力残差网络的模型（Residual Network Based onSpatial Attention,SARN）。具体来说，首先设计一种空间注意力残差模块（Spatial Attention Residual Block,SARB），将增强型空间注意力模块（Enhanced Spatial Attention,ESA）融入残差模块中，网络可以获得更有效的高频信息；其次融入特征融合机制，将网络各层获得的特征进行融合，提高网络中层次特征的利用率；最后，将融合后特征输入重建网络，得到最终的重建图像。实验结果表明，该模型无论在客观指标上，还是主观视觉效果上均优于对比算法，这说明本文提出的模型可以有效地利用图像中的层次特征，从而获得较好的超分辨率重建效果。关键词：超分辨率重建；空间注意力；残差网络；特征融合机制；层次特征中图分类号：TP391文献标志码：ADOI:10.3969/j.issn.1006-2475.2023.10.007Image Super-resolution Reconstruction Based on Spatial Attention Residual NetworkXING Shi-shuai，LIU Dan-feng，WANG Li-guo，PAN Yue-tao，MENG Ling-hong，YUE Xiao-han（College of Information and Communication Engineering，Dalian Minzu University，Dalian 116600，China）Abstract:Hierarchical features extracted from convolutional neural networks contain affluent semantic information and they arecrucial for image reconstruction.However，some existing image super-resolution reconstruction methods are incapable of excavating detailed enough hierarchical features in convolutional network.Therefore，we propose a model termed spatial attention residual network（SARN）to relieve this issue.Specifically，we design a spatial attention residual block（SARB），the enhancedspatial attention（ESA）is embedded into SARB to obtain more effective high-frequency information.Secondly，feature fusionmechanism is introduced to fuse the features derived from each layer.Thereby，the network can extract more detailed hierarchicalfeatures.Finally，these fused features are fed into the reconstruction network to produce the final reconstruction image.Experimental results demonstrate that our proposed model outperforms the other algorithms in terms of quantitative evaluation and visualcomparisons.That indicates our model can effectively utilize the hierarchical features contained in the image，thus achieve a better super-resolution reconstruction performance.Key words:super-resolution reconstruction；spatial attention；residual network；feature fusion mechanism；hierarchical features计算机与现代化2023年第10期提出了FFAMSR网络。Lim等人13对深度残差网络进行改进，进而提出 EDSR，EDSR将残差单元中的批归一化层（Batch Normalization，BN）去掉，极大地提升了模型训练的速度。Tai等人14提出了DRRN，该网络将递归思想与残差网络结合，将递归模块中的权重进行共享，从而减轻了深层网络的训练难度，取得了比VDSR更好的结果。在这些开创性的工作之后，人们提出了许多基于卷积神经网络的方法，并且在单幅图像超分辨率中取得了不错的成果。尽管单幅图像超分辨率已经取得了相当大的提升，但是现有的一些基于卷积神经网络的模型仍面临一些限制。随着网络深度的增加，层次特征逐渐集中于输入图像的不同方面，这对于重建图像的空间细节非常有用。然而，现有的大多数基于卷积神经网络的方法无法充分利用网络的层次特征。为了解决大多数基于卷积神经网络的方法无法充分利用网络的层次特征的问题，本文提出一种基于空 间 注 意 力 残 差 网 络 的 模 型（Residual NetworkBased on Spatial Attention，SARN）。首先设计一个空 间 注 意 力 残 差 模 块（Spatial Attention ResidualBlock，SARB），将 增 强 型 空 间 注 意 力 模 块（Enhanced Spatial Attention，ESA）15融入残差块中，使网络更加充分地学习图像的关键空间信息，增强特征选择能力，得到更有效的高频信息；其次，针对无法充分利用层次特征的问题，采用层次特征融合机制，对每个空间注意力残差模块提取的特征信息进行全局融合，提高网络对层次特征的利用率；最后，通过重建网络得到最终的超分辨率图像。1相关工作1.1卷积神经网络Dong等人在2014年首先提出了一种用于图像超分辨率的浅三层卷积神经网络SRCNN，并且优于以往传统方法的性能。受此启发，众多学者相继提出许多基于深度学习的方法。Kim等人设计了一个基于残差网络的DRCN，其中DRCN网络层数是20层。后来，Tai等人将递归模块引入DRRN中，在MemNet16中引入记忆模块。这些方法从插值之后的低分辨率图像中提取特征，不仅占用大量内存，也耗费了很多时间，效率低。为了解决这个问题，Shi等人17基于ESPCN提出了一种高效的亚像素卷积层，其中低分辨率的特征图可以被放大到网络末端，得到高分辨率输出。此外，研究者们基于亚像素卷积层提出了许多深 度 网 络 以 得 到 更 好 的 性 能。Ledig 等 人18在SRGAN中引入了SRResNet。Zhang等人19在RDN中通过密集连接利用所有卷积层的层次特征。Hui等人20提出了一种轻量化的网络，在内存占用和网络性能之间实现最优。Wang等人21提出了一种非监督退化表示学习的方法来处理未知退化模型的情况，通过引入对比学习来学习不同图像的退化表示，引入退化感知（Degradation-Aware SR，DASR）灵活适应不同退化网络。1.2注意力机制目前，注意力机制22-23已经广泛应用于计算机视觉任务中，比如图像分类、视频分类等。其被用于解释可用资源的分配偏向于输入信号中信息量最大部分的原因。注意力机制首先是出现在Hu等人24提出的SENet网络中，这是一种全新的“特征权重标定”策略，通过注意力机制判定不同特征通道的重要程度。近些年来，一些基于注意力机制的网络模型也开始应用于图像超分辨领域。Zhang等人25将残差网络和通道注意力机制结合提出了残差通道注意力网络RCAN，通过抑制低分辨率图像中的低频信息，尽可能将网络作用在高频信息上，恢复更多的高频信息以达到更好的重建效果。实验结果表明RCAN的重建效果优于大多数基于卷积神经网络的重建方法。Dai等人26提出了一种深度二阶注意力网络SAN，该网络提出了一种新的可训练的二阶通道注意力模块SOCA进行相关性学习，通过一个非局部增强的残差组结构捕获远距离上下文的信息。Niu等人27提出了一种整体注意力网络HAN，该网络引入层次注意模块LAM，利用多尺度层次间的相关性来学习层次特征的权值，提出了通道-空间相结合的模块CSAM学习每层特征的通道和空间的相关性。2本文方法本文提出一种基于空间注意力残差网络的图像超分辨率重建模型，如图1所示，该模型由3部分组成：浅层特征提取模块、特征映射模块、重建模块。图1基于空间注意力残差网络的图像超分辨率模型462023年第10期2.1浅层特征提取模块浅层特征提取部分主要是卷积层对输入图像的初始特征提取。具体来说，采用1个33卷积层提取低分辨率图像ILR的浅层特征。计算公式为：F0=H3 3(ILR)（1）式中，ILR表示低分辨率图像，H33表示浅层特征提取，F0表示提取出来的特征，作为后续模块的输入。2.2特征映射模块在特征映射模块中，首先设计了一种空间注意力残差模块SARB，将增强型空间注意力模块融入残差模块中，使网络更加专注于关键的空间信息；接着对SARB中不同层次特征进行局部特征融合（Local Feature Aggregation，LFA），增强层次特征的流动性，最后对每个SARB的输出进行全局特征融合，充分利用不同网络的层次特征，提高层次特征的利用率，增强网络表达能力。在特征映射模块中，SARB支持SARB之间的连续 记 忆（Continuous Memory，CM），允 许 前 一 个SARB的输出和当前SARB中卷积层的输出通过局部特征融合连接在一起。该模块包含20个SARB、1个特征融合模块、1个11卷积和1个长跳跃连接。假设特征映射模块由D个SARB构成，那么第d（d=1，2，D）个SARB块的输出Fd可以表示为：Fd=SARB(Fd-1)（2）式中，SARB表示使用空间注意力残差模块提取特征，Fd-1、Fd表示SARB提取的特征。接着对每个SARB提取的特征进行全局特征融合，且使用1个11卷积层进行降维，去除冗余信息，然后通过跳跃连接和浅层特征F0构成残差学习。具体计算公式如下：Fm=H1 1(Concat(F1，F2，Fd)+F0（3）式中，Concat 表示拼接融合操作，H11表示 11 卷积层，Fm表示特征映射模块的输出特征。1）空间注意力残差模块。EDSR去掉了卷积模块中的BN层以构成如图2所示的残差块，受其启发，本文提出将空间注意力机制融入残差块中，构成更强的空间注意力残差模块SARB，如图3所示。与普通残差块相比，SARB可以使网络更加专注于图像的关键空间信息，学习更多的高频信息。首先输入特征依次经过卷积层、ReLU激活、卷积层和ESA模块，然后和经过ESA模块提取的输出进行融合、降维，最后与输入特征Fd-1跳跃连接相加实现全局残差学习。具体计算公式如下：Fc=HCon1 1(HESA(H3 3(H3 3(Fd-1)，Fd-1)（4）Fd=Fc+Fd-1（5）式中，Fd表示第d个SARB的输出特征，HCon11表示先进行局部特征融合，再进行11卷积；HESA表示使用增强型空间注意力提取特征；H33表示 33卷积层，Fd-1表示第 d-1 个 SARB 的输出特征。（）表示ReLU激活函数。2）增强型空间注意力模块。为了使层次特征更加专注于关键的空间信息，本文选择使用增强型空间注意力块ESA，它比普通空间注意力块更强大。设计该模块时，必须仔细考虑几个因素。首先，它将被插入网络的每个模块中，所以模块必须轻量。其次，注意力块需要一个大的感受野才能很好地完成图像超分辨率重建任务。如图 4 所示，引入的 ESA 模块从 11 卷积层开始，可以减少通道维度，从而使整个模块轻量化。为了扩大感受野范围，使用步长为2的卷积，然后是一个最大池化层。常规的22最大池化带来的感受野非常有限，因此，研究者选择使用77大小和步长为3的最大池化层。此外，增加上采样层恢复空间维度，并使用11卷积层恢复通道维度。最后特征经过Sigmoid层，与输入点乘，得到ESA的输出特征。图4ESA模块的结构忽略计算量，利用非局部模块可以更好地实现空间注意力块。实际上，已经有研究者试图将非局部注意力块应用于图像超分辨率领域了。虽然它可以提升性能，但计算量较大，不符合本文引入ESA模块的初衷。2.3重建模块特征映射模块的输出特征作为重建模块的输入，利用亚像素卷积对图像进行上采样，得到最终的超分辨率图像。具体计算公式如下：Iup=Hup(Fm)（6）ISR=H3 3(Iup)（7）其中，Hup表示亚像素卷积操作，H33表示33卷积层，ISR表示重建的超分辨率图像。2.4损失函数本文将N个低分辨率图像块ILR及其对应的高分辨率图像块IHR作为训练集，选择使用L1损失函数来优化网络，使网络具有更好的收敛性。其具体计算如下：图2残差块图3空间注意力残差模块SigmoidConv11Up-samplingConv-GroupPoolingStride-convConv11邢世帅，等：基于空间注意力残差网络的图像超分辨率重建模型47计算机与现代化2023年第10期L()=1Ni=1N|G(IiLR)-IiHR|1（8）式中，G表示本文网络的功能，表示整体网络的参数集合。3实验与结果分析3.1实验环境与数据集3.1.1实验数据集本文选择 DIV2K28作为实验训练集，该数据集在超分辨率重建领域应用较为广泛。DIV2K数据集中含有1000张高分辨图像，其中800张用作训练集，其余的200张等比例构成验证集和测试集，实际上很少选择该数据集作为测试集。该数据集由多种类型的图像构成，如动物、人和建筑物等。在训练期间，通过随机旋转90、180、270和随机水平翻转进行数据扩充，并使用双三次下采样得到低分辨率图像。为 了 进 行 测 试，选 择 Set529、Set1430、BSD10031、Urban10032、Manga10933作为为本实验的测试集。数据集后的数字表示其包含图片的数量，Set5、Set14数据集属于中小型数据集，其分辨率一般在500左右。BSD100数据集中包含植物、人、食物等类型的图像，该数据集为固定分辨率数据集，其包含的图像的分辨率是 481321 或 321481。Urban100属于城市建筑物数据集，该数据集中的图像含有复杂的建筑纹理。Manga109数据集是由日本漫画家绘制的109张漫画组成。3.1.2实验环境实验过程中使用的设备仿真环境和相关参数设置如表1所示。表1仿真环境及其参数设置仿真环境中央处理器GPU内存/GB训练框架初始学习率优化器迭代次数参数值Intel i9-10940XCPURTX2080TI 164Pytorch1.80.0002Adam40003.2实验评价指标本 文 选 用 峰 值 信 噪 比 PSNR 和 结 构 相 似 度SSIM34作为客观评价指标，所有值都是在变换后的YCbCr通道的Y通道上计算的，介绍如下：1）PSNR表示图像的失真程度，其单位是dB，数值越大则表示失真越小。PSNR的计算公式如下：MSE=1m ni=1mj=1n I(i，j)-K(i，j)2PSNR=10 log10(MAX2IMSE)（9）式中，MSE（Mean Square Error）表示大小为mn的当前图像I和参考图像K的均方误差，MAXI为图片的最大像素值。2）SSIM是从图片的亮度、对比度、结构3个方面度量图像之间的相似性。SSIM 取值范围是（0，1），SSIM的值越大表示图像失真越小，越接近于原图像。SSIM的计算公式如下:l(X，Y)=2XY+C12X2Y+C1c(X，Y)=2XY+C22X2Y+C2s(X，Y)=2XY+C3XY+C3（10）SSIM(X，Y)=l(X，Y)c(X，Y)s(X，Y)（11）式中，X表示图像X的均值，Y表示图像Y的均值，X表示图像X的方差，Y表示图像Y的方差，XY表示图像X、Y的协方差，C1、C2、C3是常数。l（X、Y）表示图像在亮度上的相似性，c（X、Y）表示图像在对比度上的相似性，s（X、Y）表示图像在结构上的相似性。3.3消融实验3.3.1不同网络结构对模型的影响在本小节中，研究连续记忆 CM、局部残差学习LRL和全局特征融合GFA对实验结果的影响。表2展示了不同网络模块在Set5测试集2上的PSNR值，这8个网络的SARB数相同，即D=16。在实验过程中需要局部特征融合LFA来正确训练这些网络，因此默认情况下不会删除LFA。基准模型（SARN_CM0LRL0GFA0）在没有 CM、LRL、GFA 下获得，性能非常差（PSNR=34.63 dB），这表明当网络的深度达到一定时，网络的性能不再变化。表2连续记忆CM、局部残差学习LRL和全局特征聚合GFA在Set5测试集2上的消融实验结果网络模块CMLRLGFAPSNR/dBCM、LRL、GFA的不同组合34.6337.6637.6837.7237.8137.8937.9538.02之后，继续将 CM、LRL、GFA 中的 1个添加到基准 模 型 中，分 别 得 到 SARN_CM1LRL0GFA0、SARN_CM0LRL1GFA0、SARN_CM0LRL0GFA1（表 2中第2到第4个组合）。经验证，每个组件都可以有效地提高基准模型的性能，这主要是因为每个组件都有助于网络中信息流和梯度的传输。然后，进一步向基准模型中添加2个组件，分别得到 SARN_CM1LRL1GFA0、SARN_CM1LRL0GFA1、SARN_CM0LRL1GFA1（表2中第5到7个组合），从表2中可以看出2个组件的性能优于1个组件，当同时使用3个组件时，可以得到SARN_CM1LRL1GFA1（表2中第8个组合），从表2中可以看出使用3个组件的性能是最好的。上述定量分析表明CM、LRL和GFA可以进一步稳定训练过程，同时可以证明本文所提的CM、LRL和GFA的有效性。482023年第10期3.3.2SARB模块数量对模型的影响为了研究SARB模块对模型的影响，选择数量为12、16、20、24个SARB模块进行实验。在保证其他参数保持一致的条件下，仅控制模块的数量。表3展示了在Set5测试集2上不同数量的SARB对模型的影响结果。从表3中可以看出当SARB为20时，PSNR/SSIM值最高，模型特征提取能力最好，因此本文实验设置SARB数量为20。表3SARB模块数量对模型的影响指标PSNR/dBSSIMSARB模块数量1237.890.9601638.020.96020(Ours)38.110.9632438.040.9613.3.3ESA模块的有效性为了研究 ESA 模块的有效性，将添加 ESA 模块的网络与未添加ESA模块的网络进行对照实验，其他参数保持一致，得到如表4显示的在Set5测试集3上的 PSNR/SSIM 值。实验结果表明，虽然添加 ESA 模块的网络的FLOPs、Params比未添加ESA的网络分别多15.3G，0.21M，但其PSNR、SSIM值相比未添加ESA模块的网络有显著提升，特征提取能力更强。表4ESA模块有效性对比是否添加ESA是否PSNR/dB34.4634.27SSIM0.9290.926FLOPs/G666.9651.6Params/M1.841.633.4实验结果与分析3.4.1客观指标分析本文将提出的SARN模型与8种方法进行对比：Bicubic1、SRCNN8、VDSR10、DRRN14、MemNet16、IMDN20、LESRCNN35、SMSR36。使 用PSNR、SSIM作为评估超分辨率图像质量的指标。使用 5 个常用的基准数据集作为测试集，实验结果如表5所示。表5数据集在不同缩放因子下超分辨率重建图像的PSNR/SSIM（PSNR的单位为dB）缩放因子234方法BicubicSRCNNVDSRDRRNMemNetIMDNLESRCNNSMSROursBicubicSRCNNVDSRDRRNMemNetIMDNLESRCNNSMSROursBicubicSRCNNVDSRDRRNMemNetIMDNLESRCNNSMSROursPSNR/SSIMSet533.66/0.92936.66/0.95437.53/0.95937.74/0.95937.76/0.95938.00/0.96037.65/0.95938.00/0.96038.11/0.96330.39/0.86832.75/0.90933.66/0.92134.03/0.92434.09/0.92434.36/0.92733.93/0.92334.40/0.92834.46/0.92928.42/0.81030.48/0.86331.35/0.88331.68/0.88931.74/0.88932.21/0.89531.88/0.89032.12/0.89332.25/0.896Set1430.24/0.86932.45/0.90633.03/0.91333.23/0.91433.28/0.91433.63/0.91833.32/0.91533.64/0.91833.73/0.91927.55/0.77429.30/0.82229.77/0.83129.96/0.83530.00/0.83530.32/0.84230.12/0.83830.32/0.84130.39/0.84526.00/0.70327.50/0.75128.01/0.76728.21/0.77228.26/0.77228.58/0.78128.44/0.77728.55/0.78028.63/0.784BSD10029.56/0.84331.36/0.88831.90/0.89632.05/0.89732.08/0.89832.19/0.90031.95/0.89632.17/0.89932.28/0.90027.21/0.73928.41/0.78628.82/0.79828.95/0.80028.96/0.80029.09/0.80428.91/0.80129.10/0.80529.13/0.80625.96/0.66726.90/0.71027.29/0.72527.38/0.72827.40/0.72827.56/0.73527.45/0.73127.55/0.73527.59/0.737Urban10026.88/0.84029.50/0.89530.76/0.91431.23/0.91931.31/0.92032.17/0.92831.45/0.92132.18/0.92832.26/0.93024.46/0.73526.24/0.79927.14/0.82827.53/0.83827.56/0.83828.17/0.85227.70/0.84128.21/0.85328.15/0.85423.14/0.65824.52/0.72225.18/0.75225.44/0.76425.50/0.76326.04/0.78425.77/0.77326.11/0.78626.08/0.786Manga10930.80/0.93435.60/0.96637.22/0.97537.88/0.97537.72/0.97438.88/0.97738.49/0.97838.75/0.97738.88/0.97826.95/0.85630.48/0.91232.01/0.93432.71/0.93832.51/0.93733.61/0.94433.15/0.94333.68/0.94433.65/0.94524.89/0.78627.58/0.85528.83/0.88729.45/0.89429.42/0.89430.45/0.90730.49/0.90930.54/0.90830.56/0.910邢世帅，等：基于空间注意力残差网络的图像超分辨率重建模型49计算机与现代化2023年第10期本文选取一些经典的算法模型及与本文模型相关度较高的模型进行对比实验。具体对比结果如表5所示。表5展示了缩放因子2、3、4的定量结果比较。具体而言，对于缩放因子2，本文的SARN网络在所有的测试集中表现最好。当缩放因子为3，在Urban100测试集中，IMDN网络的PSNR比本文算法 高 0.02 dB，本 文 算 法 的 SSIM 比 IMDN 网 络 高0.002；SMSR网络的PSNR比本文算法高0.06 dB，但本文算法的SSIM比SMSR高0.001。当缩放因子为4，本文算法在Set5、Set14、BSD100测试集中取得了最好的评估结果。在Urban100测试集中，本文算法的PSNR 比 SMSR 网络低 0.03 dB，二者 SSIM 一致；在Manga109测试集中，本文算法的PSNR比SMSR网络高0.02 dB，SMSR网络的SSIM比本文算法低0.002。由上述分析可知，与其他算法相比，本文算法在基准数据集上几乎能够取得最好性能。表6不同方法在Set5测试集4上的LPIPS、NIQE对比结果评价指标LPIPSNIQEBicubic0.34077.64SRCNN0.24217.02VDSR0.22466.67DRRN0.22356.03MemNet0.22105.56IMDN0.21504.72LESRCNN0.21885.32SMSR0.21654.89Ours0.21424.673.4.2感知质量评估为了进一步衡量图像重建质量，本文引入学习感知图像块相似度 LPIPS37与无参考图像评价指标NIQE38。LPIPS、NIQE值越小，表示性能越好。表6给出了不同对比算法在 Set5 测试集4 上的对比结果。从表6可以看出，本文算法相比其他算法表现出了最好的感知性能。3.4.3主观视觉分析为了进一步验证本文算法相比其他方法更具有优越性，本文进行算法实验可视化对比，实验对比的可视化结果如图5图7所示。图5是Urban100数据集中的Img_44，图6是Set5数据集中的Butterfly，图7是Urban100中的Img_34。与其他方法相比，经过本文网络模型重建后，图5天花板窗纹理比其他图像更加清晰；图6蝴蝶翅膀上的纹理更清晰；图7从局部放大图可以看出，本文算法与SMSR相比几乎无差别，与其他算法相比，玻璃纹理更加清晰，线条边缘更加分明、锐化。这些对比结果表明，本文提出的网络模型无论在客观评价指标上，还是主观视觉上几乎均优于其他算法，这说明本文算法可以更好地重建出图像的细节纹理和边缘。3.4.4模型复杂度分析为了比较不同算法的复杂度，本文统计了各个算法的计算量（FLOPs）、参数量（Params）、运行时间（Running Time）、GPU内存消耗（Memory Footprint）。表7给出了不同算法在Set5测试集2上的结果。从 HR Bicubic SRCNN VDSR DRRN Img_44 from Urban100 MemNet IMDN LESRCNN SMSR SARN(Ours)HR Bicubic SRCNN VDSR DRRN Butterfly from Set5 MemNet IMDN LESRCNN SMSR SARN(Ours)图5Urban100_Img_44缩放因子为2时本文算法与其他方法的定性比较图6Set5_Butterfly缩放因子为3时本文算法和其他方法的定性比较502023年第10期 HR Bicubic SRCNN VDSR DRRN Img_34 from Urban100 MemNet IMDN LESRCNN SMSR SARN(Ours)图7Urban100_Img_34缩放因子为4时本文算法与其他方法的定性比较表7可以看出，虽然本文算法的参数量、GPU内存占用较大，但是本文算法的运行时间在毫秒级别，可以实时进行图像超分辨率重建。综合考虑表5的客观评价指标，表6的LPIPS、NIQE对比结果和表7的各指标结果，可以看出本文算法在各项指标上相比其他算法更具有优势。表7算法复杂度对比MethodsSRCNNVDSRDRRNMemNetIMDNLESRCNNSMSROursParams/M0.0570.6650.2980.6780.6950.5160.9861.841FLOPs/G52.7612.66796.9623.9671.2113.2224.1666.9Time/s0.00240.02900.10530.04630.03860.02220.04530.1002Memory/MB89422467853238935972145367350434结束语针对现有的一些卷积神经网络无法充分利用网络的层次特征问题，本文提出了一种基于空间注意力残差网络的图像超分辨率重建算法。该算法结合特征融合机制和注意力机制，并将其应用到SR任务中。在空间注意力残差模块中，利用特征融合有效利用网络的层次特征，进行局部特征融合，形成更具代表性的特征，并将其传输到下一个空间注意力残差模块。然后，利用全局特征融合对空间注意力残差模块的输出实现有效利用，将经过全局特征融合后的输出特征与浅层特征结合，实现全局残差学习。最后，通过重建模块即可得到最终的超分辨率图像。本文提出空间注意力残差模块作为空间注意力残差网络的构建模块，该模块结合增强型空间注意力模块和特征融合机制，可以更充分地利用网络中的层次特征。在几个基准测试集上的实验结果表明，与其他超分辨率重建算法相比，本文提出的算法在大部分客观评价指标上均有良好的表现。参考文献：1 ZHANG L，WU X L.An edge-guided image interpolationalgorithm via directional filtering and data fusion J.IEEETransactions on Image Processing，2006，15（8）:2226-2238.2ZHANG K B，GAO X B，TAO D C，et al.Single imagesuper-resolution with non-local means and steering kernelregressionJ.IEEE Transactions on Image Processing，2012，21（11）:4544-4556.3 PAN Y T，LIU D F，WANG L G，et al.A pan-sharpeningmethod with beta-divergence non-negative matrix factorization in non-subsampled shear transform domain J.Remote Sensing，2022，14（12）.DOI:10.3390/rs14122921.4 苏衡，周杰，张志浩.超分辨率图像重建方法综述 J.自动化学报，2013，39（8）:1202-1213.5 苏秉华，金伟其，牛丽红，等.超分辨率图像复原及其进展 J.光学技术，2001，27（1）:6-9.6 浦剑，张军平.基于词典学习和稀疏表示的超分辨率方法 J.模式识别与人工智能，2010，23（3）:335-340.7 SCHULTER S，LEISTNER C，BISCHOF H.Fast and accurate image upscaling with super-resolution forest C/Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition.2015:3791-3799.8 DONG C，CHEN C E L，HE K M，et al.Learning a deepconvolutional network for image super-resolution C/Proceedings of the 2014 European Conference on Computer Vision.2014:184-199.9DONG C，CHEN C E L，TANG X O.Accelerating thesuper-resolution convolutional neural network C/Proceedings of the 2016 European Conference on Computer Vision.2016:391-407.10 KIM J，LEE J K，LEE K M.Accurate image super-resolution using very deep convolutional networks C/Proceedings of the 2016 IEEE Conference on Computer Visionand Pattern Recogniti