基于特征融合调制的盲超分辨率重建.pdf

2023 年第 8 期计算机与数字工程收稿日期：2023年2月8日，修回日期：2023年3月15日基金项目：国家自然科学基金项目（编号：61803199，U2033201）资助。作者简介：申艺，男，硕士研究生，研究方向：图像复原，画质增强。钱小燕，女，博士研究生，副教授，研究方向：目标追踪。张峰，男，硕士研究生，研究方向：目标追踪。杨镇源，男，硕士研究生，研究方向：目标检测。1引言图像超分辨率（Super Resolution，SR）重建旨在将已有的低分辨率（Low-Resolution，LR）图像转换成高分辨率（High Resolution，HR）图像，使其恢复高频纹理细节和边缘。超分辨率重建技术在许多领域都有广泛应用，例如，在视频超分辨率领域，可以恢复珍贵的历史资料；在医学图像领域，通过对医学图像的高清重建可以帮助医生掌握病人的身体情况。此外，超分辨率重建有助于高级的计算机视觉任务研究，如目标检测，图像分割等。最近，基于卷积神经网络（Convolutional Neural Network，CNN）的方法主导了SR的研究。Dong等1提出了第一个基于CNN的超分辨率重建方法（SRCNN），它 仅 使 用 三 层 卷 积 层 的 网 络 学 习LR-HR图像对之间的映射关系，而且效果超越了传统方法。EDSR2使用去掉了网络中不必要的模块，使用改进的残差模块作为基础模块，并用更宽的网络达到更好的性能。RCAN3使用通道注意，残差中残差结构和更深的网络进一步提高性能。但是这些方法都假设图像退化是已知且固定的，如双三次（Bicubic）下采样。当真实的降解与其假设基于特征融合调制的盲超分辨率重建申艺钱小燕张峰杨镇源（南京航空航天大学南京210000）摘要现有基于卷积神经网络的图像超分辨率重建方法主要基于低分辨率图像由高分辨率图像经过简单退化（如双三次插值）得到的假设，因此重建质量不够理想。为应对更复杂的模糊退化，提出了一种新的调制超分辨率网络。首先采用对比学习从低分辨率图像提取退化表示，然后基于退化表示调制特征融合超分辨率网络从而处理多种退化情况。实验表明，该模型的性能与最新的方法相当而计算量更少。关键词对比学习；调制；特征融合；图像超分辨率中图分类号TP391DOI：10.3969/j.issn.1672-9722.2023.08.014Blind Super-Resolution Reconstruction Based onFeature Fusion ModulationSHEN YiQIAN XiaoyanZHANG FengYANG Zhenyuan（Nanjing University of Aeronautics and Astronautics，Nanjing210000）AbstractExisting image super-resolution reconstruction methods based on convolutional neural networks are mainly basedon the assumption that low-resolution images are obtained by simple degradation（such as bicubic interpolation）from high-resolution images，so the reconstruction quality is not ideal.In order to deal with more complex blur degradation，a new modulation super-resolution network is proposed.Firstly，contrastive learning is used to extract the degradation representation from low-resolution image，and then the degraded representation is used to modulate the fused feature from super-resolution network to deal withmultiple degradation situations.Experiments show that the performance of this model is comparable to the latest method with lesscomputation.Key Wordscontrastive learning，modulation，feature fusion，image super-resolutionClass NumberTP391总第 406期2023 年第 8 期计算机与数字工程Computer&Digital EngineeringVol.51No.81761第 51 卷不同时，这些方法的性能会严重下降。为了处理现实中图像的各种退化，如高斯模糊，运动模糊和噪声等，研究人员已经提出一些方法来实现盲 SR。SRMD4首次使用退化信息作为SR网络的附加输入，可以在不同的退化下的重建LR图像。后来，Zhang等通过交替解决数据子问题和先验子问题，提出展开的SR网络（USRnet）来处理不同退化的图像5。MZSR6在测试时进行训练，使用基于优化的元学习，使网络只需几次迭代就可以自适应地进行特定的退化的重建。最近，DASR7使用对比学习从LR图像中提取具有鉴别力的退化表示，并使用所学的退化表示动态的调整SR网络，该算法取得了很好的重建效果。但是DASR没有利用前层特征，所以它不够有效。我们提出了新的一种调制网络，它在融合多层卷积特征的同时动态调制特征，有效地利用了前层信息且具有更广的调制范围，因此具有更好的效果。2本文方法经典的LR图像ILR的退化过程可建模如下：ILR=(IHRk)s+n（1）其中IHR是HR图像，k是模糊核，表示卷积操作，s是比例为s的双三次下采样操作，n通常是指加性高斯白噪声。在本文中，为简化问题，我们使用各向同性高斯核作为模糊核而不考虑噪声来研究无噪声退化模型。提出的盲SR框架包括退化编码器和特征融合调制SR网络。首先，将LR图像馈送到退化编码器以获得退化表示，然后使用该表示动态地调整SR网络以产生精确的SR结果。2.1退化表示学习退化表示学习旨在从LR图像中提取具有鉴别性退化的表示。如图1所示，我们使用对比学习框架以无监督的方式进行退化表示学习。图1退化表示学习图示我们假设同一幅LR图像中的退化是相同的，而不同的LR图像的退化不同。从一个LR图像中随机剪裁两个图像块，相同的LR图像中提取的图像块互为正样本，而来自不同LR图像的图像块互为负样本。然后，使用六层的卷积网络作为编码器对图像块提取退化表示，所得到的表示进一步送入两层全连接层投影以获得x，x+和x。为使相同的退化靠近，不同的退化远离，即x与x+相似，同时与x不同，使用损失函数如下：Ld=logexp(xx+/)n=1Nexp(xx/)（2）其中N是负样本的数量，是温度超参数，设为0.07，表示两个向量之间的点乘。现有的退化估计方法都是在像素水平精确估计模糊核，然而精确估计十分困难，因此精度有限。与这些方法不同，对比学习可以学习退化的抽象表示，而不是明确估计退化，而且它不需要监督标签，实验表明这种表示学习方案是有效的。图2特征融合调制SR网络总体框架申艺等：基于特征融合调制的盲超分辨率重建17622023 年第 8 期计算机与数字工程2.2特征融合调制SR网络调制网络总体框架如图2所示。首先，退化编码器使用六个卷积层和全局平均池化得到256维向量作为退化表示，所得退化表示经过一个全连接（Fully Connected，FC）层压缩为 64 维向量D后送入SR网络。特征融合调制SR网络由初始特征提取层，精细特征提取块和尾部的上采样模块组成。初始特征提取层为一个33卷积，精细特征提取块是4个链式堆叠的模块（图2中的Block），上采样模块（图2中的Upscaler）使用一个亚像素卷积层8实现。网络使用全局残差学习将初始特征提取层的输出和精细特征提取块的输出相加，使精细特征提取块专注于恢复LR图像缺失的高频信息。如图 3 所示，每个 Block 由 3 个融合调制模块（Fusion Modulation Block，FMB）和一个局部残差连接组成。每个FMB一方面经过3个级联的64通道的33卷积，然后将它们的输出沿通道维度拼接形成融合特征；另一方面，D经过两个全连接层进行通道维度的挤压和扩张，然后经过Hard sigmoid 激活函数形成数值在01的调制向量。接着，调制向量与融合特征相乘来自适应的调整融合特征，然后送入11卷积聚合并恢复通道维度，最后增强的空间注意9（Enhanced Spatial Attention，ESA）模块强化网络感兴趣区域的特征。与DASR对单个卷积层的输出调制不同，融合调制模块同时调整多个不同层次的卷积输出，并将调制后的特征进行聚合，不仅可以对不同层次的特征进行相对应的调制，而且充分利用了前层特征，因此所提特征融合调制SR网络具有更好的效果。另外，使用Hard sigmoid激活函数代替sigmoid激活函数，它具有更大的梯度，可以使训练更快收敛。3实验结果与分析3.1实验设置所有实验根据式（1）合成用于训练和测试LR图像。使用 DIV2K10和 Flickr2K11作为训练集的HR 图像，他们分别包含 800 张和 2650 张高质量图像，并使用四个基准数据集（Set512，Set1413，B10014和Urban10015）进行评估，评估指标为Y通道 的 峰 值 信 噪 比（Peak Signal-to-Noise Ratio，PSNR）。我们训练了放大两倍的特征融合调制SR网 络（Feature Fusion Modulation Super-ResolutionNetwork，FFMnet），退化设置为各向同性高斯核和无噪声退化，遵循文献 7 的设置，高斯核的大小固定为2121，核宽度的范围设置为 0.2，2.0。在训练期间，随机选择32个HR图像，通过随机旋转和翻转进行数据增强。然后，随机选择32个范围内的高斯核模糊HR图像并双三次下采样两倍以产生LR图像。接下来，每个LR图像的随机剪裁两个尺寸为4848的图像块，同样HR图像剪裁对应位置尺寸为9696的图像块以此构成训练对。使用1=0.9和2=0.999的Adam优化器，初始学习率设为1104，每训练 50个周期学习率减半，一共训练了200个周期。损失函授为L=LSR+Ld，其中LSR是SR图像和HR图像的L1损失。3.2参数设置为探究所提特征融合调制方法的有效性，我们训练了两个模型，一个是完整的特征融合调制网络，记为FFMnet，另一个是不含退化编码器和调制操作的网络，记为FFMnet1。为节省时间，两个模型都训练了20个周期，学习率每5个周期减半，其它设置与3.1节相同。表1显示了两个模型在B100测试集上不同核宽的PSNR结果。可以看出，FFMnet 的 PSNR 全面超越 FFMnet1，尤其是核宽为 1.8时PSNR提高达0.62dB，这表明所提出的特征融合调制方法对多种退化的图像超分辨率重建非常有效，而不使用调制的静态网络具有较差效果。另外，FFMnet在核宽为0.6时的PSNR超过了核宽为0时的PSNR，这是因为训练时核宽分布为 0.2，2.0，核宽0超出了训练分布范围。表1B100测试集上的PSNR结果核宽FFMnetFFMnet1030.3930.100.630.4730.301.229.5529.521.828.6328.01图3Block和FMB细节图示1763第 51 卷3.3与现有算法的比较表2给出了本文模型与一些现有的代表性模型在四个基准测试集上PSNR的比较，包括RCAN3、SRMD4、MZSR6和DASR7。最佳的结果由黑色加粗显示，次优结果使用下划线标识。可以看出RCAN在核宽为0时取得最优结果，这是因为此时退化仅为双三次下采样，这符合 RCAN 的退化假设，而在核宽增大时退化不再符合假设，此时RCAN的效果大幅下降。FFMnet在大多情况下取得与 DASR 相当的结果。而且 FFMnet 只训练了200个周期，DASR训练了600个周期。另外，DASR具有5.8M参数，而FFMnet只有3.8M参数，参数量减少34%；在输入128128 RGB图像时，DASR需要52.7G浮点运算（Floating Point Operations，FLOPs），FFMnet只需 37.5G 浮点运算，计算量减少 28.8%。因此，FFMnet使用更少的计算量实现了与DASR相当的效果。图4给出了几种方法的两倍超分辨率重建结果的视觉效果对比，可以看出FFMnet可以重建出清晰的细节，而RCAN和MZSR重建结果较为模糊。表2FFMnet与其他模型在基准测试集集上的平均PSNR结果方法核宽BicubicRCANSRMDMZSRDASRFFMnet方法核宽BicubicRCANSRMDMZSRDASRFFMnetSet5033.6638.2734.9435.9637.8737.70B100029.5632.4130.7730.6432.0331.990.632.3035.9134.7735.6637.4737.610.628.7631.1630.3329.8231.7831.871.229.2831.2034.1335.2237.1937.151.226.9328.0429.8929.4131.7131.811.827.0728.5033.8032.3235.4335.171.825.5126.2629.2028.7230.5430.61Set14030.2434.1231.4831.9733.3433.21Urban100026.8833.3429.0529.4931.4931.240.629.2132.3131.3531.3332.9633.010.626.1329.8028.4229.0130.7130.401.227.1328.4830.7830.8532.7832.901.224.4625.3827.4328.4330.3630.131.825.4726.3330.1829.1731.6031.591.823.0623.4427.1226.3928.9528.92图4超分辨率重建结果的视觉对比4结语本文设计了一种新的可应对多种退化的特征融合调制网络，采用对比学习提取有鉴别性的退化表示，结合特征融合网络和调制网络的优点，将特征融合的同时用退化表示动态调制SR网络，不仅充分利用前层输出，而且实现了更大范围调制。在四个基准数据集上的实验表明，该网络取得了与现有代表性方法DASR相当的结果而具有更少计算量。参 考 文 献1Dong C，Loy C C，He K，et al.Image super-resolution using deep convolutional networksJ.IEEE Transactionson Pattern Analysis and Machine Intelligence，2015，38（2）：295-307.2Lim B，Son S，Kim H，et al.Enhanced deep residual networks for single image super-resolution C/IEEE Conference on Computer Vision and Pattern Recognition Workshops，2017：136-144.3Zhang Y，Li K，Li K，et al.Image super-resolution usingvery deep residual channel attention networks C/European Conference on Computer Vision（ECCV），2018：286-301.4Zhang K，Zuo W，Zhang L.Learning a single convolutional super-resolution network for multiple degradations C/IEEE Conference on Computer Vision and Pattern Recognition，2018：3262-3271.5Zhang K，Gool L V，Timofte R.Deep unfolding networkfor image super-resolution C/IEEE Conference on Computer Vision and Pattern Recognition，2020：3217-3226.6Soh J W，Cho S，Cho N I.Meta-transfer learning for zero-shot super-resolutionC/IEEE Conference on Computer Vision and Pattern Recognition，2020：3516-3525.7Wang L，Wang Y，Dong X，et al.Unsupervised Degradation Representation Learning for Blind Super-ResolutionC/IEEE Conference on Computer Vision and Pattern申艺等：基于特征融合调制的盲超分辨率重建17642023 年第 8 期计算机与数字工程Recognition，2021：10581-10590.8Shi W，Caballero J，Huszr F，et al.Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network C/IEEE Conference onComputerVisionandpatternRecognition，2016：1874-1883.9Liu J，Zhang W，Tang Y，et al.Residual feature aggregation network for image super-resolution C/IEEE Conference on Computer Vision and Pattern Recognition，2020：2359-2368.10Agustsson E，Timofte R.Ntire 2017 challenge on singleimage super-resolution：Dataset and studyC/IEEEConference on Computer Vision and Pattern RecognitionWorkshops，2017：126-135.11Timofte R，Agustsson E，Van Gool L，et al.Ntire 2017challenge on single image super-resolution：Methodsand resultsC/IEEE Conference on Computer Visionand Pattern Recognition Workshops，2017：114-125.12Low-Complexity Single Image Super-Resolution Basedon Nonnegative Neighbor Embedding J.Bmvc，2012：1-10.13Zeyde R，Elad M，Protter M.On single image scale-upusing sparse-representationsC/International conference on curves and surfaces.Springer，Berlin，Heidelberg，2010：711-730.14Martin D，Fowlkes C，Tal D，et al.A database of humansegmented natural images and its application to evaluating segmentation algorithms and measuring ecologicalstatisticsC/Eighth IEEE International Conference onComputer Vision.ICCV 2001.IEEE，2001，2：416-423.15Huang J B，Singh A，Ahuja N.Single image super-resolution from transformed self-exemplarsC/IEEE Conference on Computer Vision and Pattern Recognition，2015：5197-5206.YE Liren，HE Shenghong，ZHAO Lianchao.Remaining object detection algorithm in complex environment J.Computer Engineering and Science，2015，37（05）：986-992.6张瑞林，张俊为，桂江生，等.基于改进YOLOv2网络的遗留物检测算法 J.浙江理工大学学报（自然科学版），2018，39（03）：325-332.ZHANG Ruilin，ZHANG Junwei，GUI Jiangsheng，et al.Remaining object detection algorithm based on improvedYOLOv2 networkJ.Journal of Zhejiang Sci-Tech University（Natural Science Edition），2018，39（03）：325-332.7阮雅端，高妍，张宇杭，等.基于深度卷积网络的路面遗留物检测方法：CN106845424B P.2020-05-05.RUAN Yaduan，GAO Yan，ZHANG Yuhang，et al.Roadremnant detection method based on deep convolutionalnetwork：CN106845424B P.2020-05-05.8卢旭，刘钊.基于深度学习的图像语义分割技术综述J.软件导刊，2021，20（01）：242-244.LU Xu，LIU Zhao.A Survey of Image Semantic Segmentation Technology Based on Deep LearningJ.SoftwareGuide，2021，20（01）：242-244.9J.Long，E.Shelhamer，T.Darrell.Fully convolutional networks for semantic segmentationC/2015 IEEE ConferenceonComputerVisionandPatternRecognition（CVPR），Boston，MA，USA，2015：3431-3440.10Redmon J，Divvala S，Girshick R，et al.You Only LookOnce：Unified，Real-Time Object DetectionC/Proceedings of IEEE Conference on Computer Vision andPattern Recognition.Washington D.C.，USA：IEEE Computer Society，2016：779-788.11 Redmon J，Farhadi A.YOLO9000：Better，Faster，StrongerJ.IEEE Conference on Computer Vision&Pattern Recognition，2017：6517-6525.12Redmon J，Farhadi A.YOLOv3：An Incremental Improvement J.ArXiv：1804.02767，2018.13Lin T Y，Goyal P，Girshick R，et al.Focal Loss for DenseObject DetectionJ.IEEE Transactions on PatternAnalysis&Machine Intelligence，2017（99）：2999-3007.14He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deepresidual learning for image recognition C/Proc of IEEEConference on Computer Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.15He K，Zhang X，Ren S，et al.Identity Mappings inDeep Residual Networks J.Springer，Cham，2016.16Cortes C，Vapnik V.Support-Vector Networks J.Machine Learning，1995，20（3）：273-297.17吴继平，李跃年.路面缺陷检测系统及方法 P.中国：CN102182137A，2011-02-25.WU Jiping，LI Yuenian.Pavement defect detection system and method P.CN：CN102182137A，2011-02-25.18奉国和.SVM分类核函数及参数选择比较 J.计算机工程与应用，2011，47（03）：123-124，128.FENG Guohe.SVM classification kernel function and parameter selection comparison J.Computer Engineeringand Applications，2011，47（03）：123-124，128.19邢荣军.高速公路路面破损自动识别与智能评价D.重庆：重庆交通大学，2011.XING Rongjun.Automatic recognition and intelligentevaluation of highway pavement damage D.Chongqing：Chongqing Jiaotong University，2011.（上接第1760页）1765