基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建.pdf

ISSN 10049037，CODEN SCYCE4Journal of Data Acquisition and Processing Vol.38，No.5，Sep.2023，pp.1112-1124DOI：10.16337/j.10049037.2023.05.010 2023 by Journal of Data Acquisition and Processinghttp：/Email：sjcj Tel/Fax：[phone]基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建黄裕青，李华锋，原铭，张亚飞（昆明理工大学信息工程与自动化学院，昆明 650500）摘要：现有的单幅图像超分辨率重建算法大都在追求高峰值信噪比（Peak signaltonoise ratio，PSNR），在特征提取过程中缺少对图像纹理细节信息的关注，导致重建图像的人眼主观感知效果不太理想。为了解决这一问题，本文提出了一种基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建算法。具体设计了 3条支路分别用于结构特征提取、纹理细节特征提取及梯度补偿，然后利用所提出的融合模块对结构特征和纹理细节特征进行融合。为防止重建过程中丢失图像的纹理信息，提出纹理细节特征提取模块补偿图像的纹理细节信息，增强网络的纹理保持能力；同时，利用梯度补偿模块提取的梯度信息对结构信息进行增强；此外还构建了深层特征提取结构，结合通道注意力与空间注意力对深层特征中的信息进行筛选及特征增强；最后利用二阶残差块对结构和纹理特征进行融合，使重建图像的特征信息更加完善。通过对比实验验证了本文方法的有效性和优越性。关键词：卷积神经网络；超分辨率图像重建；梯度纹理补偿；注意力中图分类号：TP751.1 文献标志码：ASuperResolution Reconstruction of Single Image Based on Convolutional Neural Network Gradient and Texture CompensationHUANG Yuqing，LI Huafeng，YUAN Ming，ZHANG Yafei(School of Information Engineering and Automation,Kunming University of Technology,Kunming 650500,China)Abstract：The existing super-resolution reconstruction algorithms of single image mostly pursue the peak signal-to-noise ratio（PSNR），and lack the attention to the details of image texture in the process of feature extraction，resulting in poor subjective perception of reconstructed images.In order to solve this problem，this paper proposes a single image super-resolution reconstruction algorithm based on convolutional neural network gradient and texture compensation.Specifically，three branches are designed for structure feature extraction，texture detail feature extraction and gradient compensation，and then the proposed fusion module is used to fuse the structure feature and texture detail feature.To prevent the loss of texture information in the reconstruction process，this paper proposes a texture detail feature extraction module to compensate the texture detail information of the image and enhance the texture retention ability of the network.At the same time，this paper uses the gradient information extracted by the gradient compensation module to enhance the structure information.In addition，this paper also constructs a deep feature 基金项目：国家自然科学基金（62161015,61966021）。收稿日期：20220629；修订日期：20221005黄裕青 等：基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建extraction structure，combining channel attention and spatial attention to screen and enhance the information in the deep features.Finally，the second-order residual block is used to fuse the structure and texture features，so that the feature information of the reconstructed image is more perfect.The effectiveness and superiority of the proposed method are verified by comparative experiments.Key words:convolutional neural network;superresolution image reconstruction;gradient and texture compensation;attention引 言当图像或视频由传感器产生时，质量通常会受到透镜的清晰度、传输带宽、采样点数和场景细节等因素的限制。单张图像超分辨率（Single image superresolution，SISR）方法通过从低分辨率（Low resolution，LR）图像中恢复清晰的高分辨率（High resolution，HR）图像来提升图像质量，在自然成像、卫星成像、医学成像、安全监视成像和计算机视觉分析任务13中应用广泛。由于任意低分辨率图像都存在多个解，因此求解超分辨率图像的过程是一个不适定问题。到目前为止，已经出现了多种超分辨率图像重建方法，主要包括基于插值的方法47、基于重建的方法811、基于学习的方法1215以及基于深度学习的方法1621。基于插值的方法主要包括双线性插值、最近邻插值与双三次插值4。这类算法实现简单，然而，它们是通过局部信息来重建高分辨率图像的，当放大倍数较大时，通常效果较差。基于重建的方法是以图像降质模型基础构建 HR 图像到 LR 图像的映射，并利用先验知识，如梯度先验8、边缘先验10，通过优化损失函数求解得到高分辨率图像。该方法在抑制噪声和边缘保留方面具有较好的效果，但重建效果易受到正则化参数准确性影响，导致纹理细节不能很好的恢复。基于学习的方法是对大量 LR 图像和其对应 HR 图像之间的隐含关系进行学习，利用这种隐含关系指导 HR 图像的重建，例如稀疏表示12和基于样例的方法13。虽然基于学习的方法已经取得了显著的改进，但网络的优化过程过于复杂。近年来，基于深度学习的 SISR 方法的性能比传统的基于非学习的 SISR 方法有了显著的提升。基于深度学习的 SISR 方法将图像超分辨率重建视为一个图像回归任务，通过学习 LR 和 HR 图像之间由卷积神经网络（Convolutional neural networks，CNN）表示的端到端图像映射函数来进行超分重建。Dong等16首次将深度学习应用于图像超分辨率重建，提出了基于卷积神经网络的超分辨率（Super resolution CNN，SRCNN）重建方法，取得了清晰的重建效果。为解决模型参数数量大量增多的问题，研究者们提出了多种解决方案。Dong等22对 SRCNN 进行了改进，提出了基于快速卷积神经网络的超分辨率重建（Fast SRCNN，FSRCNN）方法，该方法先在低分辨率阶段进行卷积、提取特征，然后在网络最后进行上采样生成高分辨率图像；Kim 等21构造了超深卷积网络（Very deep convolutional networks，VDSR）。VDSR网络利用残差的思想通过添加一个跳跃连接使网络学习残差参数，而不是全体参数，从而减少了参数量；Zhang等23提出了基于密集残差密集网络（Residual dense network，RDN）的图像超分辨率重建方法，该方法较好地解决了深度网络中的梯度消失及收敛过慢的问题，以及图像信息在卷积过程中逐级丢失的问题，取得了很好的重建效果。然而，只使用单条支路进行特征提取，可能无法捕获尽可能多的特征信息。为解决此问题，Li等24提出了一种多尺度残差网络（Multiscale residual network，MSRN）的超分辨率重建方法，通过利用不同支路不同感受野的卷积核进行特征提取，以获得充足的图像特征信息；Zhao等25提出像素注意方案构造了一个非常简洁和有效的网络（Pixel attention network，PAN），这种注意方案引入了更少的附加参数，但产生了更好的超分辨率结果；Meng等26提出了一种梯度信息蒸馏网络（Gradient information distillation network，GIDN），通过信息蒸馏来保持快速、轻量级的1113数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023优势，并利用梯度信息提高了超分辨率重建图像的质量；Liu 等27提出了一种新的群跳远连接块（Group skipconnecting network，GSCN）作为图像超分辨率重建的基本构建块，将群卷积与跳跃连接相结合，充分融合丰富的局部特征，从而获得比当前大多数残差块更高的效率；Mehri等28提出了多路径残差网络（Multipath residual network，MPRNet），自适应学习最有价值的特征，构建网络以学习高频信息；Tan 等29提 出 一 种 简 单 而 有 效 的 自 校 准 特 征 融 合 网 络（Selfcalibrated feature fuse network，SCFFN），该网络通过自校准特征融合，以实现网络性能和适用性之间更好的平衡。然而，上述方法都是将图像的纹理特征信息与结构特征信息视为一个整体，而真实情况下，图像卷积的过程中极易丢失纹理特征，这对重构富含纹理结构信息的高分辨率图像极为不利。为解决上述问题，近年来研究者们提出了大量基于纹理特征补偿的模型3033。这些方法利用多种信息补偿方法对超分辨率重建结果进行补偿，在重构结构信息的同时，防止超分辨率重建过程中丢失纹理细节特征，从而提升了图像的感知性能。具体地，Ledig等30提出了基于生成对抗网络的超分辨率（Superresolution generative adversarial network，SRGAN）重建方法，该方法利用生成对抗损失约束生成器与鉴别器，使生成器生成更加逼近真实世界的纹理细节。然而生成对抗网络极易将不属于真实世界的纹理信息引入图像中，为此，Wang等31提出增强的生成对抗超分辨网络（Enhanced SRGAN，ESRGAN）模型，利用密集残差网络进一步提取有效特征，同时为减少参数舍去了批归一化层，从而生成了更逼真、自然的纹理细节信息；Wang 等32提出了空间特征变换生成对抗网络（Spatial feature transform generative adversarial networks，SFTGAN）模型，利用语义先验信息引导 LR图像生成 HR图像，并利用空间特征变换（Spatial feature transformation，SFT）层来进一步提高纹理恢复的能力；Soh 等33从低分辨率源图像中提取梯度信息，并利用梯度信息对超分辨率过程进行补偿。上述方法都对提升图像的视觉感知效果做出了卓越的贡献。然而，在恢复的 SR 图像中仍会出现非自然的伪影，且现有的感知驱动方法在性能指标上远低于常用的超分辨率重建方法，这对于评价图像的主观性能极为不利，且影响了方法之间的性能比较。从以上讨论来看，虽然 SISR 方法已经取得了很大的进展，但现有的基于深度学习的 SISR 方法仍然存在一些局限性。这类方法通常利用单支路网络提取图像特征，在损失函数的约束下，使网络提取到由 LR图像恢复到 HR图像所需的纹理细节特征，从而获得图像高频细节信息，来实现超分辨率重建。然而，这类方法通常需要大规模高分辨率图像参与训练才能保证重建图像的效果，并且通过单支路网络提取特征来同时恢复原始 LR 图像中包含的所有高频和低频信息存在一定的挑战，存在纹理细节特征丢失的问题，导致超分辨率重建出的图像纹理细节不完整、图像质量不佳等问题。为此，本文提出了一种基于纹理细节嵌入的超分辨率重建网络，通过将图像区分为结构信息与纹理信息分别进行超分辨率重建，防止超分辨率重建过程中丢失图像的纹理信息，并保证性能指标未因产生伪影而下降。网络利用 3条支路分别提取图像的结构信息、纹理信息及梯度信息。通过纹理信息与结构信息融合来解决超分辨率重建过程中由于纹理细节丢失而引起的图像质量下降的问题。同时，利用梯度信息对结构信息进行增强，解决由于梯度信息丢失而引起的重建图像边缘模糊的问题。本文的贡献主要包括：（1）为解决超分辨率重建过程中纹理细节丢失而引起重建图像质量下降的问题，设计了一种梯度和纹理补偿的超分辨率重建网络。该网络通过不同支路分别对图像的纹理、结构、梯度信息进行提取，并将其有效融入高分辨率重建图像中，有效提升了重建图像的质量。（2）为使网络捕获感兴趣的结构特征区域与纹理特征区域，引入深层特征提取块。通过通道注意力与空间注意力对结构与纹理特征进行增强，提升关键信息在图像重建中作用。（3）为更好地融合结构信息与纹理信息，提出了一种二阶残差块结构用于融合模块，其利用不同尺度的卷积核进行特征提取及融合，使融合后的特征能得到更好地表达重建的图像信息。1114黄裕青 等：基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建1 网络框架结构 本文提出的基于纹理细节嵌入的超分辨率重建模型如图 1 所示。该模型主要包括 4 个模块：纹理细节特征提取模块、结构特征提取模块、梯度补偿模块和融合模块。为防止超分辨率重建过程中纹理信息丢失，本文将纹理特征提取模块提取的纹理特征逐层补偿到结构特征提取模块。纹理特征提取模块与结构特征提取模块包含相似的结构，由 1个浅层特征提取块及 4个深层特征提取块组成。梯度补偿模块由 4个 33的卷积和 PReLu组成，该模块对原图像进行逐级卷积以提取图像的梯度特征。利用最后得到的梯度信息特征图对结构信息特征图进行增强。然后把增强后的结构信息与纹理信息进行拼接，经过融合模块进行特征增强与特征融合，最后通过反卷积进行重构并利用纹理图进行补偿得到高分辨率图像。具体地，利用纹理特征提取模块与结构特征提取模块从原始的低分辨率图像Il及其对应的纹理细节图像Ilt中，分别提取结构特征Fl，ds，纹理细节特征Fl，dtFl，ds=Hs(Il)Fl，dt=Ht(Ilt)（1）式中：Hs表示结构特征提取模块操作，Ht表示纹理细节特征提取模块操作。由于梯度信息丢失会造成重建图像边缘模糊，本文利用梯度信息对结构信息进行增强。利用 Sobel算子从原始的低分辨率图像Il提取梯度图Ig，再经过 4个卷积层提取梯度信息得到Fg，可以表示为 Ig=fSobel(Il)Fg=Convg(Ig)（2）式中：fSobel表示 Sobel算子操作，Convg表示由 33卷积与 PReLu组成的的特征提取操作组合（如图 1所示）。结构特征经梯度增强后的输出Fgs可以表示为Fgs=sconv(cat(Fg，Fl，ds)，k=1)（3）然后，把经梯度信息增强后的结构特征Fgs和纹理特征提取模块的输出Fl，dt经过拼接、11卷积，得到的特征Ffin。将Ffin作为融合模块的输入，经过融合模块得到的特征图Ff，即Ffin=sconv(cat(Fgs，Fl，dt)，k=1)Ff=Hf(Ffin)（4）式中Hf表示由 3个二阶残差块组成的融合模块。其次，融合模块的输出特征Ff通过反卷积进行上采样，并利用纹理特征图Fl，dt经反卷积后得到纹理图 1网络总体框架流程图Fig.1Flow of network overall framework1115数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023补偿图Fupt对高分辨率的融合特征图进行补偿。最后，经 33卷积进行重构得到高分辨率图像ISR，可以表示为 Fupt=Deconv(Fl，dt)FhSR=cat(Deconv(Ff)，Fupt)ISR=sconv(FhSR，k=3)（5）式中 Deconv代表反卷积操作。1.1结构特征提取模块如图 1所示，结构特征提取模块包含浅层特征提取块和多个深层特征提取块。深层特征提取块通过通道注意力与空间注意力对结构特征进行增强，提升关键信息在图像重建中的作用。同时，通过多尺度卷积提取不同感受野下的特征信息，防止结构信息丢失，使网络能够恢复出包含丰富结构信息的高分辨率图像。具体地，首先利用浅层特征提取块对源图像进行浅层特征提取，得到浅层结构信息特征Fl，ss，即Fl，ss=sconv(PReLu(sconv(Il，k=5)，k=3)（6）利用浅层纹理特征信息Fl，st对Fl，ss进行补偿作为结构信息提取模块中深层特征提取块的输入。结构特征提取模块中第 i层深度特征提取块的输出Fis，out可以表示为Fis，out=fidep(Fis，in)（7）式中：fidep表示第 i个深层特征提取块，Fis，in表示第 i个深层特征提取块的输入，Fis，in=cat（Fi-1s，out，Fi-1t，out），F1s，in=cat(Fl，ss，Fl，st)。结构特征提取模块有 4个深度特征提取块，其最后的输出为Fl，ds=F4s，out。深层特征提取块由多尺度特征提取、通道注意力、空间注意力和残差连接组成，其结构如图 2所示。有研究发现，通过拓宽网络宽度能够更有效地提取特征信息。因此，通过 33和 55两个不同大小卷积核进行多尺度特征提取，提取得到的特征图分别为F3i=sconv(Fiin，k=3)F5i=sconv(Fiin，k=5)（8）式中：Fiin表示第 i个深层特征提取块的输入，F3i与F5i分别为第 i个深层特征提取模块中 33与 55卷积后的结果。为从低分辨率图像中恢复包含足够高频信息的高分辨率图像，本文结合空间注意力与通道注意力处理经多尺度提取的低分辨率特征。具体地，将多尺度提取得到的特征F3i和F5i拼接后输入通道注意力，从而充分利用多尺度提取到的特征信息，通道注意力的输入Fic可以表示为图 2深层特征提取块结构图Fig.2Structure diagram of deep feature extraction block1116黄裕青 等：基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建Fic=sconv(cat(Fi3，Fi5)，k=1)（9）在通道注意力操作中，利用全局平均池化与全局最大池化分别对Fic进行处理，然后经过全连接层和 Sigmoid激活函数得到通道注意力acac=Sigmoid(FC(GAP(Fic)+FC(GMP(Fic)（10）式中：FC表示全连接层；Sigmoid表示激活函数，GAP 与 GMP 分别表示全局平均池化和全局最大池化操作。经通道注意力增强后的特征Fiec可表示为Fiec=(acFic)+Fic（11）式中表示点乘。在空间注意力中，利用通道注意力增强后的特征图Fiec进行Cmean操作（在通道维度对特征图上同一位置的像素值取平均）和Cmax操作（在通道维度对特征图上同一位置的像素值取最大），并经过 33的卷积和 Sigmoid生成空间注意力图，旨在突出局部视图中的高频信息，注意力图as可以表示为as=Sigmoid(sconv(cat(Cmean(Fiec)，Cmax(Fiec)，k=3)（12）最后，第 i个深层特征提取模块的输出Fiout可以表示为Fiout=(Fiec+Fiecas)+Fiin（13）1.2纹理细节特征提取模块由于图像超分辨率重建是一个逆问题，因此很难从 LR 图像中准确地恢复出其对应的 HR 图像，并且仅使用一个映射函数来同时恢复原始 LR 图像中包含的所有高频和低频信息具有挑战性。为解决这一问题，设计了一个纹理细节特征提取模块来学习包括纹理和细节在内的高频信息，以提升最终重建图像的感知质量。一幅图像与其对应的模糊版本之间的差异代表了高频图像，其中包含了大量的高频纹理和细节34。基于上述发现，将输入的 LR 图像与其模糊版本求差值，得到其高频分量Ilt，如图 3 所示。将Ilt作为纹理细节特征提取模块的输入。本文利用经过高斯模糊后的低分辨率图像与原始低分辨率图像Il相减，得到的低分辨率的纹理细节图Ilt可以表示为Iblu=fG(Il)Ilt=Il-Iblu（14）式中fG表示高斯模糊操作。如图 1所示，纹理细节图Ilt分别经过 1个浅层特征提取块和 4个深层特征提取块进行纹理细节特征提取，深层特征提取块采用的是和结构特征提取块一样的网络结构。浅层特征提取块是由一个 55卷积、一个 PReLu激活函数和一个 33卷积组成。Ilt经过浅层特征提取块得到的浅层纹理特征Fl，st可以表示为Fl，st=sconv(PReLu(sconv(Ilt，k=5)，k=3)（15）式中：sconv 表示等大小卷积操作，k表示卷积核大小，PReLu 表示激活函数。将提取出的浅层特征Fl，st作为深层特征提取模块的输入。纹理细节特征提取模块中第 i层深度特征提取块的输出Fit，out可以表示为Fit，out=fidep(Fit，in)（16）式中：fidep表示深层特征提取块，Fit，in表示第 i个深层特征提取块的输入，Fit，in=Fi-1t，out，F1t，in=Fl，st。纹理细节特征提取模块有 4个深度特征提取块，其最后的输出为Fl，dt=F4t，out。1.3融合模块为了进一步提取具有不同感受野的特征，并增强融合模块的特征提取及信息整合能力，使融合后图 3图像分解过程的说明Fig.3Explanation of image decomposition process1117数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023的特征信息能得到更好的表达，提出了一种新的残差结构用于融合结构和纹理特征，如图 4 所示。融合模块共包含 3 个二阶残差块。具体地，所提出的二阶残差块由两个分支组成，分别将两个分支不同尺度的特征拼接起来，并通过残差操作将它们与输入相融合。首先，把经梯度信息增强后的结构特征Fgs和纹理特征提取模块的输出Fl，dt经过拼接、11卷积，得到的特征Ffin作为融合模块的输入，经过融合模块得到的特征图Ff可以表示为Ffin=sconv(cat(Fgs，Fl，dt)，k=1)Ff=Hf(Ffin)（17）式中Hf表示由 3个二阶残差块组成的融合模块。1.4损失函数重构损失：通过 L1损失函数对标签的高分辨率图像与超分辨率重建后的高分辨图像进行约束，确保两类图像对应的像素点大致相同，可表示为Lrec=IHR-ISR1（18）式中IHR和ISR分别为高分辨率标签图像和超分辨率重建图像。梯度损失：为保证初始的融合结果中具有和标签图像一致的梯度信息，利用如下的梯度损失函数对感知模块作进一步优化，即Lgrad =1H W IHR-ISR1（19）式中：为梯度算子，H 和 W 分别表示图像的高和宽。总损失Lt可以表示为Lt=Lrec+Lgrad（20）2 实验及结果分析 2.1训练数据及预处理采用 DIV2K 数据集（800张图像）进行模型训练。本文模型能分别实现超分辨率 2倍、3倍和 4倍的图像重建。首先，对 DIV2K 数据集进行随机裁剪，裁剪出的高清图片构成高分辨率标签集；然后，对高分辨率标签进行下采样构成低分辨率训练集。训练 2倍上采样因子的网络模型时，为减少内存占用、节省运行时间，高分辨率标签集中图像的大小为 256256，低分辨率训练集中图像的大小为 128128；训练 3倍上采样因子的网络模型时，高分辨率标签集中图像的大小为 192192，低分辨率训练集中图像的大小为 6464；训练 4倍上采样因子的网络模型时，高分辨率标签集中图像的大小为 180180，低分辨率训练集中图像的大小为 4545。2.2网络训练及测试在训练过程中利用重构损失和梯度损失对生成的高分辨率图像与标签图像进行损失约束，同时将学习率设置为 0.000 1，通过反向传播训练整个网络的参数，直到损失值趋于平缓，说明网络参数收敛，在此经测试将模型训练的 epoch设置为 2 000。在测试过程中，分别采用 Set5、Set14、BSD100和 Urban100数据集来验证本文方法的有效性。将高分辨率测试图像分别进行 2倍、3倍和 4倍的下采样，获取相应的低分辨率图像，并用于超分辨率重建测试。为验证本文方法的有效性，实验分别选取了 8 种超分辨重建经典方法（Bicubic、SRCNN35、FSRCNN36、VDSR34、LapSRN37、LESRCNN38、CDC39和 HCNN40）与之进行对比。SRCNN 和 FS图 4二阶残差块的结构图Fig.4Structure diagram of second-order residual block1118黄裕青 等：基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建RCNN 采用 91image 数据集进行训练。VDSR、LapSRN、LESRCNN、CDC 和 HCNN 这 5 种方法均采用 DIV2K 数据集进行训练，其中 HCNN 采用 Set5、Set14和 BSD100来验证，没采用 Urban100数据集来验证，其他对比方法都采用 Set5、Set14、BSD100和 Urban100数据集来验证。选取峰值信噪比（Peak signaltonoise，PSNR）和结构相似性（Structural similarity，SSIM）两个客观评价指标来评估超分辨率重建结果质量。PSNR用于衡量重建图像与原图像之间的均方误差，计算单位为dB，PSNR的值越大，表示图像失真越小，即图像重建质量越高；SSIM用于衡量重建图像与原图像的结构相似性，SSIM的值越高，表示重建图像越接近原图像，即图像重建效果更好。最优结果用粗体表示。2.3不同超分辨率方法对比表 1 为分别在 Set5、Set14、BSD100 和 Urban100 数据集上采用不同超分辨率重建方法重建结果的定量评价结果。从这些定量评价数据可以看出，本文方法的大部分评价结果达到最优。表 12、3和 4不同方法重建结果的定量比较Table 1Quantitative comparison of 2，3 and 4 reconstruction results by different methods方法BicubicSRCNNFSRCNNVDSRLapSRNLESRCNNCDCHCNN本文方法BicubicSRCNNFSRCNNVDSRLapSRNLESRCNNCDCHCNN本文方法BicubicSRCNNFSRCNNVDSRLapSRNLESRCNNCDCHCNN本文方法尺度222222222333333333444444444Set5PSNR33.6636.6637.0537.5337.5237.5732.3537.6238.1030.3932.7533.1833.6733.8234.0525.2933.7735.0728.4230.4830.7231.3531.5431.8825.4131.3932.22SSIM0.929 90.954 20.956 00.959 00.959 10.958 20.876 60.959 40.971 60.868 20.909 00.914 00.921 00.922 70.923 80.296 60.923 00.940 60.810 40.862 80.866 00.883 00.885 00.890 70.717 70.884 90.903 5Set14PSNR30.2432.4532.6633.0533.0833.3029.2033.0333.5327.5529.3029.3729.7829.8730.1623.9729.7930.2226.0027.5027.6128.0228.1928.4324.0128.0428.52SSIM0.868 80.906 70.909 00.913 00.913 00.914 50.793 20.912 70.944 40.774 20.821 50.824 00.832 00.832 00.838 40.622 40.831 80.854 30.702 70.751 30.755 00.768 00.772 00.777 60.616 50.767 40.761 1BSD100PSNR29.5731.3631.5331.9031.0831.9528.5831.9132.2027.2128.4128.5328.8328.8228.9424.7428.8429.1025.9626.9026.9827.2927.3227.4724.1927.2927.61SSIM0.843 40.887 90.892 00.896 00.895 00.896 50.785 60.896 50.903 10.738 50.786 30.791 00.799 00.798 00.801 20.616 50.798 50.791 90.667 50.710 10.715 00.702 60.727 00.732 10.608 50.726 00.707 3Urban100PSNR26.8829.5029.8830.7730.4131.4526.0632.0224.4626.2426.4327.1427.0727.7621.9628.0623.1424.5224.6225.1825.2125.7821.5026.02SSIM0.840 30.894 60.902 00.914 00.910 10.920 70.776 60.842 90.734 90.798 90.808 00.829 00.828 00.842 40.608 70.722 20.657 70.722 10.728 00.754 00.756 00.773 90.561 00.687 71119数据采集与处理 Journal of Data Acquisition and Processing Vol.38,No.5,2023此外，本文分别选取了 Set5、Set14、BSD100、Urban100数据集中的图像进行 2，3和 4超分重建结果的视觉展示，如图 57所示。从视觉效果看，SRCNN 与 FSRCNN 方法重建图像的边缘出现了锯齿状纹理；VDSR和 CDC方法的重建结果产生了与现实的真实纹理细节不相符的细节特征等。本文提出的方法能更好地拟合真实自然图像，在恢复纹理的同时还增强了重建高分辨率图像的亮度，拥有丰富的纹理细节，并且能去除重建图像的边缘尖锐化现象。实验结果表明，本文方法在视觉效果和定量评价上具有一定优越性。2.4模型有效性分析为验证本文提出的纹理细节特征提取模块（Texture detail feature extraction module，TDFEM）的有效性，深层特征提取块（Deep feature extraction block，DFEB）、融合模块（Fusion module，FM）、梯度补图 5不同对比方法 2超分辨率重建结果比较Fig.5Comparison of 2 super-resolution reconstruction results for different comparison methods图 6不同对比方法 3超分辨率重建结果比较Fig.6Comparison of 3 super-resolution reconstruction results for different comparison methods1120黄裕青 等：基于卷积神经网络梯度和纹理补偿的单幅图像超分辨率重建偿模块（Gradient compensation module，GCM）对超分辨率重建图像质量的影响，本节进行了消融实验。以无纹理细节特征提取模块、无深层特征提取块、无融合模块和无梯度补偿模块的网络作为基准（Base）；Base加上深层特征提取模块的网络记为 Base+DFEB；Base+DFEB 加上梯度补偿模块的网络记 为 Base+DFEB+GCM；Base+DFEB+GCM 加 上 纹 理 细 节 特 征 提 取 模 块 的 网 络 记 为 Base+DFEB+GCM+TDFEM；Base+DFEB+GCM+TDFEM 加上融合模块的网络记为 Base+DFEB+GCM+TDFEM+FM。利用 Urban100数据集中的图像放大 3倍进行消融实验。消融实验的定量评价结果如表 2所示，其视觉效果如图 8所示。（1）深层特征提取块的有效性本文采用深层特征提取块作为结构特征提取块和纹理细节特征提取块的基本框架，为防止超分辨率重建过程中丢失感兴趣的结构特征区域与纹理特征区域从而导致图像质量下降，在 Base中引入了深层特征提取块。为了证明其有效性，将 Base模型的重建结果与 Base+DFEB 模型的重建结果进行了比较。如图 8所示，Base+DFEB 模型由于在重建过程中增强了感兴趣的区域，其重建结果呈现出了更丰富的结构和纹理信息。此外，如表 2 所示，PSNR 值提升了 0.13 dB，SSIM 值提升了 0.007 3。DFEB 的引入也使重建结果的客观评价指标取得了一定的改进。上述结果验证了 DFEB 在本文模型中的有效性。（2）梯度补偿模块的有效性在本文模型中，梯度补偿模块被用来增强结构信息。为验证 GCM 的有效性，将 Base+DFEB 模型图 7不同对比方法 4超分辨率重建结果比较Fig.7Comparison of 4 super-resolution reconstruction results for different comparison methods表 2消融实验的定量评价结果Table 2Quantitative evaluation results of ablation experimentMethodBaseBase+DFEBBase+DFEB+GCMBase+DFEB+G