文物图像的超分辨率重建算法研究_刘杰.pdf

第 1 期2023 年1 月电子学报ACTA ELECTRONICA SINICAVol.51 No.1Jan.2023文物图像的超分辨率重建算法研究刘杰1，葛一凡1，田明2（1.哈尔滨理工大学测控技术与通信工程学院，黑龙江哈尔滨 150080；2.中国电信黑龙江省分公司，黑龙江哈尔滨 150000）摘要：文物的数字化保护与分类识别是当前图像处理研究的热点之一.针对常规超分辨率算法不能充分描述现实世界中文物图像复杂纹理结构的问题，本文提出一种基于回归环金字塔型生成对抗网络的文物图像超分辨率算法（Closed-loop Pyramid Information Generative Adversarial Network，CPIGAN）.考虑文物图像的噪声等不定因素，本文采用不同的降采样方式构建了两种文物数据集且探索了一种改进信息块提取策略，提高了原始高分辨率文物图像中高频信息的利用率.本文进一步设计了一种金字塔型生成对抗网络并融入回归环结构，增强了网络从低分辨率图像到高分辨率图像映射的能力.基于自建文物图像数据集，本文算法与多种算法进行了实验对比分析，多个客观指标均有所提升且重建图像主观上更符合人类视觉标准.关键词：文物图像；超分辨率；生成对抗网络；金字塔型；回归环基金项目：黑龙江省自然科学基金（No.LH2020F009）中图分类号：TP391.41；TP18 文献标识码：A 文章编号：0372-2112(2023)01-0139-07电子学报URL:http:/ DOI:10.12263/DZXB.20211647Research on Super-Resolution Reconstruction Algorithm of Cultural Relic ImagesLIU Jie1,GE Yi-fan1,TIAN Ming2(1.College of Measurement and Control Technology and Communication Engineering,Harbin University of Science and Technology,Harbin,Heilongjiang 150080,China;2.Heilongjiang Branch of China Telecom,Harbin,Heilongjiang 150000,China)Abstract:The digital conservation and classification of cultural relics is one of the hotspots of current image processing research.In view of the problem that conventional super-resolution algorithms cannot fully describe the complex texture structure of cultural relics images in the real world,this paper proposes a super-resolution algorithm for cultural relics images based on a closed-loop pyramid information generative adversarial network(CPIGAN).Considering the noise of real cultural relics and other uncertain factors,this paper uses different down-sampling methods to construct two cultural relics datasets and explores an improved information block extraction.This strategy improves the utilization of high-frequency information in the original high-resolution cultural relic images.This paper further designs a pyramid-shaped generative confrontation network and incorporates the regression loop structure to enhance the networks ability to map from low-resolution images to high-resolution images.Based on the self-built cultural relic image data set,the algorithm in this paper has been compared and analyzed experimentally with a variety of algorithms.Several objective indicators have been improved,and the reconstructed images are subjectively more in line with human visual standards.Key words:cultural relics images;super-resolution;generative adversarial network;pyramid-shaped;closed-loopFoundation Item(s):Natural Science Foundation of Heilongjiang Province of China(No.LH2020F009)1引言文物是经时间沉淀留存下来的具有科学文化价值的物品.文物的保护复原及分类识别，对人们认知历史发展和促进社会进步有着重要意义1，然而传统技术易对文物造成二次损坏.目前，采用数字化图像技术辅助完成操作已成为一种重要手段2，3，其中分辨率是文物图像的重要特征.由于客观条件或硬件设备的限制，现实得到的文物图像分辨率往往会受到影响4.此时，学收稿日期：2021-12-12；修回日期：2022-06-08；责任编辑：朱梅玉电子学报2023 年者可采用图像超分辨率（Super Resolution，SR）技术，将低分辨率（Low Resolution，LR）文物图像处理为高分辨率（High Resolution，HR）文物图像5.其中，基于深度学习的图像超分辨率算法应用广泛，重建图像质量较优6，7，算法大致分为两类8：基于卷积神经网络（Convolutional Neural Network，CNN），如Dong等人的SRCNN（Super Resolution CNN）9和 FSRCNN（Fast Super Resolution CNN）10，Kim 等 人 的 VDSR（Very Deep Super Resolution）11，Lai等人的LapSRN（deep Laplacian pyramid Networks for fast and accurate SR）12；基于生成对抗网络（Generative Adversarial Network，GAN）13，如Ledig等人的SRGAN（Super Resolution GAN）14，Wang等人的ESRGAN（Enhanced Super Resolution GAN）15，Ma等人的 SPSR（Structure Preserving Super Resolution）16和Kong等人的ClassSR（Class Super Resolution）17.图像超分辨率常规领域中，基于CNN的算法有着较大进展，但仍存在缺陷，如重建图像缺乏纹理细节、边缘模糊，大尺度因子下缺陷更为明显；基于GAN的算法可重建更为精细的纹理结构，获得更接近人类真实视觉感知的重建图像，但重建图像会出现伪影等问题.因此，本文为了获取纹理细节更精细且更真实的文物图像，将文物图像与常规超分辨率算法相结合，提出一种基于回环金字塔型生成对抗网络的文物图像超分辨算法（Closed-loop Pyramid Information Generative Adversarial Network，CPIGAN），具体研究主要有：（1）采用不同降采样方式构建两种文物图像数据集，探索一种改进信息块提取策略，合理利用原始文物图像的高频信息，生成更真实的LR图像；（2）设计一种基于金字塔结构的生成网络，充分提取图像特征信息，更好地学习LR到HR图像的映射；（3）进一步构建融合回归环结构的生成对抗网络，网络可学习HR到LR图像的映射，提供额外的监督，使得重建文物图像质量更优.2算法模型研究2.1算法框架设计本文以SPSR算法为基线模型，设计了一种基于生成对抗网络的文物图像超分辨率方法CPIGAN，整体设计框架如图1所示，分为训练和测试两部分.网络训练部分：首先进行数据增强，利用信息块提取策略（具体研究见2.2节）从原始HR文物图像中提取合适的高频信息块组成信息池N，将信息池N中高频信息块裁剪并在线随机加载到LR图像（由HR图像四倍降采样所得）中得到L1图像；L1图像输入生成网络G（G为回归环金字塔型结构，具体研究见2.3节和2.4节），生成SR图像；HR图像和SR图像同时输入鉴别网络D（D以VGG（Visual Geometry Group）网络18为基础），判断HR图像相对于SR图像是否更真实；经过多次循环训练，得到最优CPIGAN模型.网络测试部分：LR文物图像输入训练完的生成网络G中，生成SR图像，通过指标评价算法模型性能.2.2信息块提取策略现实世界中，文物图像存在噪声等不确定性因素，降采样过程中图像的高频信息会有所丢失，且退化后的噪声分布会发生变化19，20.有学者为了更充分地利用原图像的高频信息，使降采样图像与原图像具有相似的噪声分布，直接从原数据集采集高频信息块，随后注入降采样图像以生成与原图像在同一域的真实降采样图像，图像中高频信息块的选取受均值和方差的影响 21.在此基础上，如图1中训练部分的数据增强阶段所示，本文探索了一种改进信息块提取策略，收集一定范围内的高频信息块.一幅图像中，设pi是mm的全局块，qij是nn的局部块（nm）.每一个pi是经步长sm扫描整幅图像所得，qij是在pi的基础上经步长sn扫描所得.若符合式（1）（3）条件，则将pi视为高频信息块并加入信息池N.|M(qij)-M(pi)|M(pi)（1）|V(qij)-V(pi)|V(pi)（2）V(pi)Vmax（3）其 中，M()和V()分 别 为 计 算 均 值 和 方 差，,(0,1)，Vmax表示最大方差.高频信息注入的过程为随机裁剪信息池N中的高频信息块ni并加载至LR文物图像，可表示为I1=ILR+ni,iN（4）在模型训练阶段，采用在线注入的方式将LR文物图像和高频信息块相结合，可使注入的高频信息更多样化，得到与原始HR文物图像处于同一域的低分辨率文物图像.2.3金字塔结构设计从重建图像方式的角度来讲，图像超分辨率模型可分为单次上采样型和金字塔式（级联式）上采样型两图1CPIGAN算法整体框架140第 1 期刘杰:文物图像的超分辨率重建算法研究大类.单次上采样型为通过一次上采样直接得到重建图像，但随着尺度因子增加，网络的训练难度增大，图像特征信息的利用率变低，重建图像的质量变差，纹理细节不够清晰.金字塔式上采样型为逐步学习，将一个问题分为多个子问题，可更充分利用图像特征信息，优化重建图像的质量.此外，与单次上采样型不同的是，金字塔式结构可得到不同尺度的重建结果，进而从不同角度评估分析模型的性能.因此，如图2所示，本文设计了一个金字塔型生成网络.图2中，生成网络由两个分支构成，分别为超分辨率分支（SR Branch）和梯度分支（Gradient Branch）.SR分支用于LR图像的特征提取学习，并将上采样得到的特征信息与结构先验知识融合，随后生成SR图像；梯度分支将LR图像的梯度图（LR Grad）转换为重建梯度图（Reconstructed Grad），重建梯度信息作为辅助提供结构先验知识，并集成至SR分支.本文设置尺度因子为4，故生成网络设置为两层金字塔型（S1层和S2层），需两次上采样.为更好地验证改进结构的有效性，不改变原网络中基础块的数量与结构.经过实验研究分析，梯度分支中S1层和S2层各包含3个和1个基础块，每个基础块由一个密集残差块（Residual in Residual Dense Block，RRDB，结构如图3所示）和卷积核为33的卷积层构成；SR分支中S1层和S2层各包含18个和6个RRDB块，其中前23个RRDB块提取学习LR图像特征信息，最后一个RRDB块和卷积层结合用于最终的 SR 特征信息重建；特征融合块（FB block）用于融合SR分支和梯度分支的特征信息；上采样（Up-sample）采用亚像素卷积（Pixel Shuffle）.SR分支中，将S1层第5、第10、第15个RRDB块和S2层第5个RRDB块的特征图合并至梯度分支.2.4融合回归环结构设计图像超分辨率算法的本质是学习从LR到HR图像的非线性映射.然而，这种映射通常是个病态问题，通过降采样，存在无限多的HR图像可得到相同的LR图像，故从LR图像映射到HR图像的函数空间非常大.基于此，从函数空间中学习一个最优映射是非常困难的，算法的学习性能会受到限制.因此，减小映射空间是提高算法性能的一种解决方案.在2.3节的基础上，本文继续研究探索了一种融合回归环结构（Closed-loop Branch）22的生成网络，如图4所示，回归环结构用于学习HR到LR图像的映射，估计下采样核并重建LR图像，引入一个额外的约束来减少可能的函数空间，找到一个从LR到HR图像的最优映射，进一步提升算法的性能.图4中，LR图像输入生成网络中，经由S1层和S2层分别得到SR（2，二倍上采样）图像和SR（4，四倍上采样）图像，随后SR（4）图像通过双层回归环结构分别得到CSR（2）图像和CLR图像，其中回归环结构由卷积层和 LeakyReLU 激活层构成.为了衡量 LR 图像和 CLR 图像、SR（2）图像和CSR（2）图像间的差异，本文基于像素损失，引入新的回归损失.因此，模型的总目标损失，如式（5）所示：lG=lPix+lPer+lGra+lAdv（5）其中，lPix表示像素损失，可加速模型收敛；lPer表示感知损失，采用预训练的 VGG网络提取特征信息，可提高SR图像的感知质量；lGra表示梯度损失，可更好地保存图2金字塔型生成网络结构图图3RRDB块结构图141电子学报2023 年结构信息，生成更真实的SR图像；lAdv表示对抗损失，可增强SR性能.lPix损失，如式（6）所示：lPix=lSR+lLR（6）其中，lSR表示原始像素损失；lLR表示新的回归损失，为其超参数.3实验结果分析3.1数据集图像超分辨领域，获取训练图像对的最常用方式是利用Bicubic采样.但由于现实世界中文物图像退化的不确定性，理想Bicubic采样存在一定的不合理性，采用一个已知固定的下采样核，退化的图像可能会丢失某些细节信息.因此，考虑真实文物图像的噪声等不定因素，本文依据实验室平台采用不同的降采样方式，生成两种文物数据集（包含训练集与测试集）：真实文物数据集RCdata与合成文物数据集FCdata.RCdata数据集共由2 100个文物图像对（HR-LR图像）构成，包含训练集2 050对，测试集50对.其中，HR图像为真实文物图像，对HR图像进行4倍下采样得到对应的LR图像，下采样方式为模糊核采样.FCdata数据集共由3 100个文物图像对构成，包含训练集3 050对，测试集50对.其中，对真实文物图像进行2倍下采样得到HR图像，对HR图像进行4倍下采样得到对应的 LR 图像，下采样方式为理想 Bicubic采样.3.2实验环境本文采用一个显存为11 GB的Nvidia GTX 1080Ti GPU作为实验平台，编程语言为Python.采用的数据集为RCdata与FCdata.采用的评价方式分为客观评价和主观评价两种.客观评价为峰值信噪比（Peak Signal to Noise Ratio，PSNR）23、图 像 结 构 相 似 度（Structural Similarity Index Measure，SSIM）24和学习感知图像块相 似 性（Learned Perceptual Image Patch Similarity，LPIPS）25，其中PSNR和SSIM值越大越好，LPIPS值越小越好.主观评价为通过人类视觉感知，判别重建图像的优劣.在训练时，考虑到实验平台的性能限制等因素，本文的放大因子为 4，模型的 batch size 为 10，iters 为100 000，初始学习率为0.000 1，并采用Adam优化器.3.3模型结果分析为保证对比结果的客观公正，本文所使用算法均在同一实验平台上进行训练和测试.本文对Bicubic，ESRGAN，NatSR26，RealSR和SPSR五种算法以及本文算法进行了对比，对不同算法进行测试得到如表1所示的量化结果，加粗的是最优结果.由表1可知，在FCdata合成文物数据集上，与基线模型SPSR相比，本文所设计模型CPIGAN的指标PSNR提高了0.199 dB，SSIM提升了 0.002，LPIPS降低了 0.010；在 RCdata 真实文物数据集上，与基线模型SPSR相比，CPIGAN的指标PSNR提 高 了 1.717 dB，SSIM 提 高 了 0.073，LPIPS 提 升 了0.016.其中，在RCdata数据集上，CPIGAN模型的指标提升更为明显，验证了该算法的有效性和优异性.如图5所示，在实验结果中，从RCdata与FCdata数据集中各选一张重建图像，并把部分纹理细节放大（图中红框标注的位置），其中HR表示原始高分辨率文物图像的纹理细节放大图.由图 5 可知，与其他算法对比，本文算法CPIGAN重建的文物图像更接近于HR文物图像，且纹理细节较为清晰真实，因此可以证明本文算法的有效性和优越性.由表1和图5可知，Bicubic算法客观指标较高，但主观人眼视觉感知质量较差，纹理细节模糊，因此不能说明该算法重建效果优越.3.4消融实验分析为了进一步说明本文设计算法CPIGAN的有效性，对其进行消融研究，量化结果如表2所示，表中IGAN为图4融合回归环的模型图表1不同模型的量化结果比较数据集FCdataRCdata指标PSNR/dB()SSIM()LPIPS()PSNR/dB()SSIM()LPIPS()算法Bicubic32.6800.9290.32327.0490.8420.447ESRGAN29.3800.7770.11824.0230.6830.168NatSR30.6030.9010.12424.5360.7840.172RealSR30.3750.8830.11524.0480.7040.167SPSR30.4260.8990.11324.0270.7650.167CPIGAN(Ours)30.6250.9010.12325.7440.8380.151142第 1 期刘杰:文物图像的超分辨率重建算法研究仅引入高频信息块的模型，PIGAN为引入高频信息块和金字塔型结构的模型.由表2可知，IGAN模型对两种数据集的测试中LPIPS数值略有变大，模型性能略有下降，原因是：训练阶段，LR图像中引入高频信息块，网络可提取学习的图像特征增多，重建图像质量变优，PSNR和SSIM值得到提高，但对于LR图像来讲，高频信息块本质是一种噪声块，因此重建图像可能会存在部分伪影，LPIPS指标略有降低.其中，FCdata是通过Bicubic采样所得到的干净数据集，忽略了真实噪声等因素，后续的 PIGAN 和 CPIGAN 模型虽进一步提升了其LPIPS 指标，但依旧略低于 SPSR 模型.与基线模型SPSR相比，综合考虑，本文所设计的CPIGAN模型具有更好的性能.在信息块提取策略中，不同的阈值对应着不同的信息池，为了获取合适的阈值，以RCdata数据集为例，进行对比试验，量化结果如表3所示，表中N1N4表示不同的信息池（如表4所示）.由表3可知，IGAN-N4的PSNR和SSIM值提升较大，IGAN-N2的LPIPS值提升较少，综合考虑，选取信息池 N4所对应的阈值，设置=0.05,=0.1，Vmax=50，m=128,n=32,sm=64,sn=32.由表4可知，本文将，和Vmax设置为固定值，仅对比不同大小的信息块及扫描步长所带来的影响，考虑RCdata和FCdata文物图像数据集的尺寸问题，全局信息块（大小为mm）的选取只考虑 64，128和 256三种规格.为了验证金字塔结构的合理性和有效性，一些基础设置与SPSR模型保持一致.由于金字塔每层RRDB块数量的不同和生成网络中SR分支与梯度分支间的交互方式的不同会影响图像特征信息利用率，进而影响模型性能，因此以FCdata数据集为例进行对比试验，量化结果如表 5 所示，表中 P1 和 P2 表示两种交互方式.由表5可知，金字塔S1层18个RRDB块和S2层6个RRDB块且交互方式为P2时，模型性能最优.故本文设计网络结构如上图2所示.为了验证融合回归环结构模型的有效性且测试引入的回归损失超参数的影响，以FCdata为例进行对比试验，量化结果如表6所示.由表6可知，当从0.01增图5局部纹理细节对比图表2算法消融实验数据集FCdataRCdata指标PSNR/dB()SSIM()LPIPS()PSNR/dB()SSIM()LPIPS()算法SPSR30.4260.8990.11324.0270.7650.167IGAN(Ours)30.5730.9010.13324.1670.7690.176PIGAN(Ours)30.8120.9080.13025.0900.8040.166CPIGAN(Ours)30.6250.9010.12325.7440.8380.151表3不同信息块对比结果数据集RCdata指标PSNR/dB()SSIM()LPIPS()算法SPSR24.0270.7650.167IGAN-N123.6930.7660.191IGAN-N223.850.7730.174IGAN-N323.8060.7600.181IGAN-N424.1670.7690.176表4不同阈值信息池N1N2N3N40.050.050.050.050.10.10.10.1Vmax50505050m25612812864n64643216sm128646432sn64323216143电子学报2023 年加为0.1时，回归损失变得更为重要，具有较强的监督效果；当从0.1逐渐增加为10时，回归损失的影响超过了原始损失，反而阻碍了算法的性能.因此，为了平衡回归损失和原始损失，最终设置为0.1.4结论本文从提高文物图像分辨率的角度出发，设计了一种基于回归环金字塔型生成对抗网络的文物图像超分辨重建方法.一方面，提出一种信息块提取策略，从高分辨率文物图像中提取高频信息块加载至低分辨率图像，充分利用其原始信息；另一方面，设计了一种融合回归环金字塔型生成网络，用于解决网络学习图像特征信息不充分和学习 LR 到 HR 图像映射困难的问题.针对不同的文物数据集，与多个文献算法相比，本文算法性能在多种客观指标上均有所提升；人眼主观视觉感知中，本文算法重建图像的纹理细节更接近原始高分辨率文物图像，重建图像质量更高.在文物数字化过程中，探索如何得到更高分辨率的文物图像是一项长久任务.面对众多真实文物图像数据，未来工作将从提高网络精准注意力角度出发，进一步完善算法模型，以生成高质量文物图像.参考文献1 陈根翠.文物保护中数字图像修复技术的应用J.东方收藏,2021,(7):76-77.CHEN G C.Application of digital image restoration technology in cultural relics protectionheritage conservationJ.Oriental Collection,2021,(7):76-77.(in Chinese)2 陆正杰.文物碎片特征提取与分类算法研究D.西安:西北大学,2020.LU Z J.Research on feature extraction and classification algorithm of cultural relic fragmentsD.Xian:Northwest University,2020.(in Chinese)3 黄婧,刘建宇,曲亮,等.图像建模拍摄方法在文物数字化保护中的应用研究J.文博,2020,(5):92-99.HUANG J,LIU J Y,QU L,et al.The application of image modeling photographing method in the digital conservation of cultural relicsJ.Relics and Museolgy,2020,(5):92-99.(in Chinese)4 唐艳秋,潘泓,朱亚平,等.图像超分辨率重建研究综述J.电子学报,2020,48(7):1407-1420.TANG Y Q,PAN H,ZHU Y P,et al.A survey of image super-resolution reconstructionJ.Acta Electronica Sinica,2020,48(7):1407-1420.(in Chinese)5 朱欣娟,雷倩,吴晓军.基于生成式对抗网络的文物图像超分辨率重建及色彩修复J.西安工程大学学报,2021,35(3):86-92.ZHU X J,LEI Q,WU X J.Super-resolution reconstruction and color restoration of cultural relics images based on generative adversarial networkJ.Journal of Xian Polytechnic University,2021,35(3):86-92.(in Chinese)6 HA V K,REN J C,XU X Y,et al.Deep learning based single image super-resolution:A surveyJ.International Journal of Automation and Computing,2019,16(4):413-426.7 赵小强,宋昭漾.多级跳线连接的深度残差网络超分辨率重建J.电子与信息学报,2019,41(10):2501-2508.ZHAO X Q,SONG Z Y.Super-resolution reconstruction of deep residual network with multi-level skip connectionsJ.Journal of Electronics Information Technology,2019,41(10):2501-2508.(in Chinese)8 黄健,赵元元,郭苹,等.深度学习的单幅图像超分辨率重建方法综述J.计算机工程与应用,2021,57(18):13-23.HUANG J,ZHAO Y Y,GUO P,et al.Survey of single image super-resolution based on deep learningJ.Computer Engineering and Applications,2021,57(18):13-23.(in 表5不同结构对比结果数据集FCdata指标PSNR/dB()SSIM()LPIPS()算法IGAN30.5730.9010.133IGAN-P1(13/11)29.9620.8990.134IGAN-P1(18/6)30.0810.8970.131IGAN-P2(18/6)30.8120.9080.130IGAN-P2(20/4)30.6040.9030.132表6不同超参数对比结果数据集FCdata指标PSNR/dB()SSIM()LPIPS()算法CPIGAN(=0.01)30.5490.8990.127CPIGAN(=0.05)30.5490.8990.127CPIGAN(=0.1)30.6250.9010.123CPIGAN(=0.5)30.4270.9000.127CPIGAN(=1)30.2980.8980.130CPIGAN(=5)30.2050.8980.131CPIGAN(=10)30.1170.8970.131144第 1 期刘杰:文物图像的超分辨率重建算法研究Chinese)9 DONG C,LOY C C,HE K M,et al.Learning a deep convolutional network for image super-resolutionC/2014 European Conference on Computer Vision.Zurich:Springer Cham,2014:184-199.10 DONG C,LOY C C,TANG X O.Accelerating the super-resolution convolutional neural networkC/2016 European Conference on Computer Vision.Amsterdam:Springer Cham,2016:391-407.11 KIM J,LEE J K,LEE K M.Accurate image super-resolution using very deep convolutional networksC/2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:1646-1654.12 LAI W S,HUANG J B,AHUJA N,et al.Deep Laplacian pyramid networks for fast and accurate super-resolutionC/2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:5835-5843.13 葛一凡,刘杰,祁箬.一种基于生成对抗网络的文物图像超分辨率方法:202110880696.1P.2021-11-08.14 LEDIG C,THEIS L,HUSZR F,et al.Photo-realistic single image super-resolution using a generative adversarial networkC/2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:105-114.15 WANG X T,YU K,WU S X,et al.ESRGAN:Enhanced super-resolution generative adversarial networksC/2018 European Conference on Computer Vision.Munich:Springer,2018:63-79.16 MA C,RAO Y M,CHENG Y A,et al.Structure-preserving super resolution with gradient guidanceC/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle:IEEE,2020:7766-7775.17 KONG X T,ZHAO H Y,QIAO Y,et al.ClassSR:A general framework to accelerate super-resolution networks by data characteristicC/2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville:IEEE,2021:12011-12020.18 BELL S,UPCHURCH P,SNAVELY N,et al.Material recognition in the wild with the Materials in Context DatabaseC/2015 IEEE Conference on Computer Vision and Pattern Recognition.Boston:IEEE,2015:3479-3487.19 CHEN J W,CHEN J W,CHAO H Y,et al.Image blind denoising with generative adversarial network based noise modelingC/2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City:IEEE,2018:3155-3164.20 ZHOU R F,SSSTRUNK S.Kernel modeling super-resolution on real low-resolution imagesC/2019 IEEE/CVF International Conference on Computer Vision.Seoul:IEEE,2019:2433-2443.21 JI X Z,CAO Y,TAI Y,et al.Real-world super-resolution via kernel estimation and noise injectionC/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Seattle:IEEE,2020:1914-1923.22 GUO Y,CHEN J,WANG J D,et al.Closed-loop matters:Dual regression networks for single image super-resolutionC/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle:IEEE,2020:5406-5415.23 YUAN F,HUANG L F,YAO Y.An improved PSNR algorithm for objective video quality evaluationC/2007 Chinese Control Conference.Zhangjiajie:IEEE,2007:376-380.24 WANG Z,BOVIK A C,SH