多尺度残差特征融合的轻量级真实图像超分辨率重建_吕佳.pdf

D O I:1 0.1 6 1 3 6/j.j o e l.2 0 2 3.0 2.0 2 0 4多尺度残差特征融合的轻量级真实图像超分辨率重建吕 佳1,2*,许鹏程1,2(1.重庆师范大学 计算机与信息科学学院,重庆4 0 1 3 3 1;2.重庆师范大学 重庆市数字农业服务工程技术研究中心,重庆4 0 1 3 3 1)摘要:基于深度学习的真实 图 像 超 分 辨 率(s u p e r-r e s o l u t i o n,S R)重 建 算 法 目 前 存 在 参 数 量 过 大 的问题,为解决该问题,提出了一种多 尺 度 残 差 特 征 融 合 的 轻 量 级 真 实 图 像S R重 建 算 法。首 先 利用深度可分离卷积和复用卷积针 对 多 尺 度 特 征 提 取 块 进 行 改 进,在 提 取 特 多 尺 度 特 征 的 同 时 实现了模块的轻量化,参数量仅为改 进 前 的7.5%。其次使用残差特征融合操作将4个多尺度深度可分离特征提取块(m u l t i-s c a l ed e p t h w i s es e p a r a b l eb l o c k,MS D S B)聚合成一个残差特征融合块,以减少残差路径长度。然后使用 增 强 型 注 意 力 模 块 从 通 道 和 空 间 维 度 进 行 自 适 应 调 整 以 提 升 算 法 性能。最后使用自适应上采样模块获得S R重建图像。在消融实验中,本文算法重建性能超过原始算法,且参数量仅为3.5 31 06,是原始算法的3 4.5%。在对比实验中,其重建性能超过了当前主流算法,与组件分而治之(c o m p o n e n td i v i d e-a n d-c o n q u e r,C D C)算法相比,P S NR和S S I M指标分别提升了0.0 1d B与0.0 0 1 0,且参数量仅为组件C D C算法的8.8 4%,在保证重建性能的同时实现了算法的轻量化。关键词:真实图像;图像超分辨率(S R)重建;卷积神经网络;深度可分离卷积;残差特征融合中图分类号:T P 3 9 1.4 1 文献标识码:A 文章编号:1 0 0 5-0 0 8 6(2 0 2 3)0 2-0 1 2 0-1 2L i g h t w e i g h t r e a l-w o r l d i m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o nb a s e do nm u l t i-s c a l e r e s i d u a l f e a t u r e a g g r e g a t i o nL VJ i a1,2*,X UP e n g c h e n g1,2(1.C o l l e g e o fC o m p u t e r a n d I n f o r m a t i o nS c i e n c e s,C h o n g q i n gN o r m a lU n i v e r s i t y,C h o n g q i n g 4 0 1 3 3 1,C h i n a;2.C h o n g q i n gC e n t e r o fE n g i n e e r i n gT e c h n o l o g yR e s e a r c ho nD i g i t a lA g r i c u l t u r eS e r v i c e,C h o n g q i n gN o r m a lU n i-v e r s i t y,C h o n g q i n g4 0 1 3 3 1,C h i n a)A b s t r a c t:A t p r e s e n t,t h e r e e x i s t s t o om a n yp a r a m e t e r sa m o u n t i n t h e r e a l-w o r l d i m a g es u p e r-r e s o l u t i o n(S R)r e c o n s t r u c t i o na l g o r i t h mb a s e do nd e e p l e a r n i n g.T os o l v et h i sp r o b l e m,a l i g h t w e i g h t r e a l-w o r l di m a g eS Rr e c o n s t r u c t i o na l g o r i t h mb a s e do nm u l t i-s c a l e r e s i d u a l f e a t u r ea g g r e g a t i o n i sp r o p o s e d.F i r s t,t h ed e p t h w i s e s e p a r a b l e c o n v o l u t i o n a n dm u l t i p l e x i n g c o n v o l u t i o n a r e u s e d t o i m p r o v e t h e e x i s t i n gm u l t i-s c a l e f e a t u r e e x t r a c t i o nb l o c k,w h i c ha c h i e v e s t h e l i g h t w e i g h to f t h em o d u l ew h i l ee x t r a c t i n gt h ee x t r a-m u l t i-s c a l e f e a t u r e,w i t ho n l y 7.5%o f t h e p a r a m e t e r s a m o u n t b e f o r e t h e i m p r o v e m e n t.N e x t,t h e r e s i d u-a l f e a t u r ea g g r e g a t i o ni se x p l o i t e dt oa g g r e g a t et h e4m u l t i-s c a l ed e p t h w i s es e p a r a b l eb l o c k sa m o u n t(M S D S B)i n t oa r e s i d u a l f e a t u r ea g g r e g a t i o nb l o c kt or e d u c e t h e l e n g t ho f t h e r e s i d u a l p a t h.T h e n,t h ee n h a n c e da t t e n t i o nm o d u l e i su t i l i z e d t oa d a p t i v e l ya d j u s t t h e c h a n n e l a n ds p a t i a l d i m e n s i o n s t o i m p r o v et h ep e r f o r m a n c eo f t h ea l g o r i t h m.F i n a l l y,t h ea d a p t i v eu p s a m p l i n gm o d u l e i su s e dt oo b t a i nS Rr e c o n-s t r u c t e d i m a g e s.I na b l a t i o ne x p e r i m e n t s,t h e r e c o n s t r u c t i o np e r f o r m a n c eo f t h ea l g o r i t h mi sb e t t e r t h a nt h a t o f t h e o r i g i n a l a l g o r i t h m,a n d t h e p a r a m e t e r s a m o u n t i s o n l y 3.5 3 1 06,w h i c h i s 3 4.5%o f t h e o r i g-光 电 子 激 光第3 4卷 第2期 2 0 2 3年2月 J o u r n a l o fO p t o e l e c t r o n i c sL a s e r V o l.3 4N o.2 F e b r u a r y2 0 2 3*E-m a i l:l v j i a c q n u.e d u.c n收稿日期:2 0 2 2-0 3-2 9 修订日期:2 0 2 2-0 4-2 9基金项目:国家自然科学基金重大项目(1 1 9 7 1 0 8 4)、重庆市高校创新研究群体资助(C X Q T 2 0 0 1 5)、重庆市教委科研项目重点项目(K J Z D-K 2 0 2 2 0 0 5 1 1)和重庆市科技局技术预见与制度创新项目(2 0 2 2 T F I I-O F X 0 2 6 5)资助项目i n a l a l g o r i t h m.I n t h e c o m p a r a t i v e e x p e r i m e n t s,t h e r e c o n s t r u c t i o np e r f o r m a n c e o f t h e p r o p o s e d a l g o r i t h mi sb e t t e rt h a nt h ec u r r e n tm a i n s t r e a ma l g o r i t h m.C o m p a r e dw i t ht h ec o m p o n e n td i v i d e-a n d-c o n q u e r(C D C)a l g o r i t h m,t h eP S N Ra n dS S I Mi n d e x e s o f t h ep r e s e n t e da l g o r i t h ma r e i n c r e a s e db y 0.0 1 d Ba n d0.0 0 1 0,r e s p e c t i v e l y,a n dt h ep a r a m e t e r sa m o u n t i so n l y8.8 4%o f t h a to f t h eC D Ca l g o r i t h m.T h el i g h t w e i g h t o f t h e a l g o r i t h mi s r e a l i z e dw h i l e e n s u r i n g t h e r e c o n s t r u c t i o np e r f o r m a n c e.K e yw o r d s:r e a l-w o r l di m a g e;i m a g es u p e r-r e s o l u t i o n(S R)r e c o n s t r u c t i o n;c o n v o l u t i o n a ln e u r a ln e t-w o r k;d e p t h w i s e s e p a r a b l e c o n v o l u t i o n;r e s i d u a l f e a t u r e a g g r e g a t i o n0 引 言 图像超分辨率(s u p e r-r e s o l u t i o n,S R)重建是计算机视觉中底层视觉的一个重要分支,是 将低分辨率图像(l o wr e s o l u t i o n,L R)恢复成高分 辨率图像(h i g hr e s o l u t i o n,HR)的 过 程1。S R重 建 主 要包含基于插值、重构等传统方法以及基于 机器学习和深度学习的学习方法。基于插值的方法有双三次插值(b i c u b i c)等,虽然计算速度快,但重建的细节有限,会产生模糊等问 题。基于重建 的方法有迭代反投影法等,虽具有较快的计算速 度和重建精度,但易产生重建图像平滑、模糊等问题2。2 0 1 4年,D ONG等 将 深 度 学 习 引 入S R重 建之中,提出了基于卷积神经网络的S R重建(s u p e r-r e s o l u t i o nc o n v o l u t i o n a ln e u r a ln e t w o r k,S R C NN)算法,采用3个卷积层即获得了比传统方 法更好的性能3。2 0 1 6年,K I M等提出基于全局残差学习的超深卷积网络S R重建(s u p e r-r e s o l u t i o nu s i n gv e r yd e e pc o n v o l u t i o n a l n e t w o r k,VD S R)算法,解决了超深网络中的梯度消失与 梯度爆炸 的问题3。2 0 1 7年,L E D I G等4基于残差学习提出局部残差与全 局 残 差 结 合 的S R R e s N e t(S Rr e s i d u a ln e t-w o r k)算法,在加深网络的同时可以学习更多的全局特征信息。受此启发,L I M等5在S R R e s N e t的基础上提出了增强型深度网络S R重建(e n h a n c e dd e e ps u p e r-r e s o l u t i o n,E D S R)算 法,在 去 除 网 络 中的冗余部分的同时设置多条路径用于适配不同上采样系数。2 0 1 8年,L I等6基于多尺度学习提出了多 尺 度 残 差 网 络(m u l t i-s c a l er e s i d u a ln e t w o r k,MS R N)算法,通过在每个特征提取块中设置多条不同尺寸的卷积核路径以提取多尺度特征,使其在不使用任何权重初始化和训练技巧的前提下依然具有优异的性能。2 0 2 0年,L I U等7提 出基于残差特征 融合的算法(r e s i d u a l f e a t u r ea g g r e g a t i o nn e t w o r k,R F AN e t),使 用 残 差 特 征 融 合 模 块 来 更好地利用局部残差特征,同时结合改进的 空间注意力(e n h a n c e ds p a t i a l a t t e n t i o n,E S A)模块在多种图像退化方法上取得良好的重建效果。同年,L I U等8基于残差 特 征 蒸 馏 与E S A模 块 提 出 了 超 轻量图像S R算 法R F D N(r e s i d u a l f e a t u r ed i s t i l l a t i o nn e t w o r k),仅使用0.61 06参数量便获得了良好的性能。2 0 2 1年,KONG等9提出针对图像不同区域执行 不同重建方 法 的C l a s s S R(C l a s s i f i c a t i o n-S R)算法,在减少算法计算量的同时提升了性能。然而,以上算法均通过已知模糊核等 固定退化方法在基准数据集上生成 的HR-L R图 像对中训练得到,导致S R算法的泛化性较差,无法应用在实际场景中。因此,基于真实图像的S R重建成为目前的研 究热点。真 实 图 像 的S R重 建 的HR和L R图像均通过 成像设备收 集,其退化 函数未知,因此 更 具 挑 战 性 和 实 际 应 用 价 值。2 0 1 9年,CHE N等1 0通过 分 析 成 像 系 统 中 图 像 分 辨 率 和视场之间的关系,提出了分辨率-视野域 退化模型。2 0 2 0年,WE I等1 1基于角点检测提出了组件分而治 之(c o m p o n e n td i v i d e-a n d-c o n q u e r,C D C)算法,分别针对图像的平坦区域、边缘和角点执行重建,并组合成为S R图像。此外,WE I等提出了大规模真实图像S R数据集D R e a l S R,成为真实图像S R重建的基准数据集之一。然而,以上基于真实图像的S R算法参数量均在1 01 06以上,具有较大的参数量。虽然庞大的参数量可以保证算法的重建性能,但不利于算法的部署与应用。因此,针对真实图像S R算法的轻量化改进是当前需解决的问题之一。为此,本文提出一种基于深度可分离 卷积的轻量级多尺度残差特征融合的真实图像S R重建算法,主要改进如下:首先提出一种结合深度可分离卷积和复用卷积的轻量化多尺度深度特征提取块,在提取图像的多尺度特征的同时大幅 度减少参数量;其次引入残差特征融合块将多个 特征提取块组合,减少了残差路径的长度,同时实现了残差特征的非局部使用;然后提出一种改进 的注意力模块,从空间和通道两个维度进行自适 应调整以提升算法的重建性能;最后使用自适应 上采样模块对图像执行上采样操作以获得最终的S R图像。本文算法的训练采用D R e a l S R数据集,从而满足真实图像的重建需求。实 验结果证明,本文算法在重建性能上超过C D C等主流算法;在参数量上仅为C D C算法的8.8 4%;在泛化性上使用复杂退化函数时具有良好的重建性能。121第2期 吕 佳等:多尺度残差特征融合的轻量级真实图像超分辨率重建 1 基本原理1.1 深度可分离卷积 深 度 可 分 离 卷 积 是 轻 量 级 网 络 中 常 用 的 操作1 2。深度可分离卷积分为两个步骤:逐通道卷积和逐点卷积。与传统卷积相比,深度可分离卷积可在轻 微 损 失 性 能 的 前 提 下 大 幅 度 减 少 算 法 的 参数量。在普通卷积中,假设输入一个通道数为Ci n的特征图,卷积核大小为k,输出通道数为Co u t,则该卷积层的参数量NC o n v如式(1)所示:NC o n v=Ci nCo u tkk。(1)在逐通道卷积中,首先对每个通道执行单通道卷积,然后将输出的单通道特征图重新堆叠。该步骤仅调整输入特征图的尺寸,通道数不发生变化,因此其参数量为Ci nkk,执行过程如图1所示。图1 逐通道卷积示意图F i g.1 D e p t h w i s ec o n v o l u t i o ns k e t c h 逐点卷积即11卷积,对逐通道卷积生成的特征图沿通道维度执行加权组合,从而生成新的特征图。逐点卷积的参数量为Ci nCo u t11,其执行过程如图2所示。图2 逐点卷积示意图F i g.2 P o i n t w i s ec o n v o l u t i o ns k e t c h 因此,深度可分离卷积的参数量如式(2)所示:ND S=Ci n(Co u t+kk)。(2)由式(2)可知,深度可分离卷积的参数量为传统卷积的1/k2+1/Co u t,具有轻量化优势。1.2 注意力机制 注意力机制根据特征的重要性来分配权重,使得算法在更关注与输出相关特征的同时弱化无关特征1 3。注意力机制可分为通道注意力机制1 4、空间注意力机制1 3、自注意力机制1 5等。然而,以上注意力机制模块仅针对通道域或空间域分 配 权 重,对 性 能 的 提 升 有 限。因 此,WO O等1 6提出一种基于卷积块的注意力模块(c o n v o l u-t i o n a lb l o c ka t t e n t i o nm o d u l e,C B AM)。C B AM可以从空间维度与通道维度对特征图进行自适应调整,相对于只针对通道域或空间域的注意力算法能够提升更多的性能。2 本文算法 本文基于深度可分离卷积对现有的多尺度通道注意力特征提取块(m u l t i-s c a l ew i t hc h a n n e la t t e n-t i o nb l o c k,M S C A B)1 7进行轻量化改进,利用改进后的 多 尺 度 深 度 可 分 离 特 征 提 取 块(m u l t i-s c a l ed e p t h w i s es e p a r a t eb l o c k,M S D S B)提取L R图像的多尺度特征。为了防止过长的残差路径导致网络退化问题,引入了残差特征融合7模块,将4个M S-D S B融合成一个多尺度残差特征融合块(m u l t i-s c a l ew i t hr e s i d u a l f e a t u r e a g g r e g a t i o nb l o c k,M S R F A B),可以有效减少残差路径的长度,提升算法性能。为了平衡轻量化改进与算法性能之间的矛盾,提出了增强型注意力模块,从空间和通道两个维度对特征图进行自适应调整。最后使用自适应上采样模块1 7将特征图放大至目标放大系数得到S R。算法整体结构如图3所示。图3 本文算法网络结构图F i g.3 T h e s t r u c t u r ed i a g r a mo fp r o p o s e da l g o r i t h mn e t w o r k221 光 电 子 激 光 2 0 2 3年 第3 4卷2.1 M S D S B M S D S B以M S C A B为基础,在特征提取块中构建了多条不同的分支,每条分支中包含不同数量的深度可分离卷积层,以此来提取图像的多尺度特征。同时,为了进一步减少参数量,合并了不同支路中相同位置的卷积层,并对其输出的特征图进行级联。M S D S B可在减少卷积层使用的情况下提取多尺度特征,其结构如图4所示。图4 M S D S B结构图F i g.4 T h e s t r u c t u r ed i a g r a mo fM S D S B M S D S B首先使用11卷积对特征图进行升降维操作,然后使用两个深度可分离卷积提取特征。特征提取完毕后依次级联每一个深度可分离卷积的输出 特 征 图。由 于2个33卷 积 的 感 受 野 与1个55卷积一致,因此第一层中第二个深度可分离卷积输出的特征图感受野为55,而第一个深度可分离卷积输出特征图的感受野为33,级联特征图后即可获得33感受野与55感受野的特征图,以此实现多尺度特征提取。之后将级联后的特征图送入第二层中执行相同的步骤,进一步提取多尺度特征。最后通过第三层的11卷积对输出特征图执行降维操作,使其输出通道数与输入通道数相同,获得最终的输出特征图。模块按照下式执行:(x)=m a x(0,x)+m i n(a x,0),(3)S1,1=(W1,11 1Fn-1+b1,1),(4)S1,2=(W1,21 1Fn-1+b1,2),(5)S1,3=W1,33 3S1,2+b1,3,(6)S1,4=(W1,43 3S1,3+b1,4),(7)F=S1,1,S1,3,S1,4,(8)S2,1=W2,13 3F+b2,1,(9)S2,2=(W2,23 3S2,1+b2,2),(1 0)Fn=W3,11 1S2,1,S2,2+b3,1,(1 1)式(3)表示带参数的线性整流函数(p a r a m e t r i cr e c t i-f i e d l i n e a ru n i t,P R e L U)1 8,函数中的a由模型学习得来。式(4)式(1 1)中的W和b表示卷积层中的卷积核与偏置参数,其上标的第1个参数表示其所在的层数,第2个参数表示其来自于该层的第几个卷积层;W的下标表示其卷积核的大小;表示卷积操作。式(8)和式(1 1)中的X1,X2,Xn 表示级联操作,沿通道维度对特征图执行级联。式中的S表示卷积层输出的特征图,其下标表示其来自于第几层的第几个卷 积。M S D S B的参数量为0.0 91 06,而M S C A B的参数量为1.21 06,M S D S B的参数量是后者的7.5%,是本文算法轻量化的前提。2.2 残差特征融合块 残差特征融合块将多个M S D S B结合,采用残差连接的方式以缓解因网络深度增加而导致的退化问题。同时可以降低算法训练难度,提高学习能力。在基于残差学习的传统网络中,第一个残差块需通过较长的路径将特征图送至最后的模块,导致残差特征难以充分利用。因此采用残差特征融合块将局部特征进行更好地利用,其结构如图5所示。文献7 提出的残差特征融合块中包含了4个残差块,因此本文使用的残差特征融合块也包含4个M S D S B。残差特征融合块将前3个M S D S B的残差特征直接传至末端,与最后一个M S D S B的输出级联,再通过11卷积融合以上特征并降低通道数,与文献7 一致。模块按照如下式执行:F1=M S D S B1(Mn-1),(1 2)M=F1+Mn-1,(1 3)F2=M S D S B2(M),(1 4)M F2+M,(1 5)F3=M S D S B3(M),(1 6)M F3+M,(1 7)F4=M S D S B4(M),(1 8)Mn=W1 1F1,F2,F3,F4+b,(1 9)Mn=Mn+Mn-1,(2 0)式中,M表示残差特征融合块中的中间特征,在模块的执行过程中不断更新,F表示每一个M S D S B的输出特征图,其下标表示该特征图来自于第几个M S-D S B。321第2期 吕 佳等:多尺度残差特征融合的轻量级真实图像超分辨率重建 残差特征融合块可以有效减少残差路径的长度,与简单叠加多个残差块的方法相比,该模块可以实现残差特征的非局部使用。前3个M S D S B输出的有效信息可以在没有任何损失或干扰的情况下传至残差特征融合块末端,从而实现更加有效的特征表示。图5 残差特征融合块结构图F i g.5 T h e s t r u c t u r eo f r e s i d u a l f e a t u r ea g g r e g a t i o nb l o c k2.3 增强型注意力模块 为了进一步提高多尺度残差特征融合特征提取模块的性能,在每个残差特征融合块的末端加入增强型注意力机制模块。增强型注意力机制模块类似于C B AM,其结合通道注意力和空间注意力,从空间和通道两个维度对特征图进行自适应调整以提升算法性能。增强型注意力机制模块结构如图6所示。首先,针对残差特征融合模块输出的特征图进行 一 次 全 局 平 均 池 化(g l o b a la v e r a g e p o o l i n g,GA P),对特征进行向量化处理以获得特征向量,再通过两个全连接层和一个激活函数自适应地建立通道间的相互关系。然后使用S i g m o i d函数将特征向量压缩至0-1之间,并加权处理原特征通道以获得经过通道维度校准的特征图。之后,将经过通道注意力模块处理后的特征图进行11卷积降维至1通道,依次执行两次1 11 1卷积,通过大感受野获取图像的空间关系的同时,第二个1 11 1卷积将通道数降为1。使用S i g m o i d函数将特征图压缩至0-1之间生成空间维度的掩码,最后将掩码和特征图相乘获得经模块校准后的特征图。增强型注意力机制模块的输入和输出通道数与残差特征融合块的输出通道数相同,因此可以直接添加 在M S R F A B的 结 尾。如 图7所 示,每 一 个M S R F A B中均包含增强型注意力模块。图6 增强型注意力模块结构图F i g.6 T h e s t r u c t u r eo f e n h a n c e da t t e n t i o nm o d u l e图7 M S R F A B结构图F i g.7 T h e s t r u c t u r eo fM S R F A B3 实验及结果分析3.1 实验环境 本文算法的硬件实验环境为AMDR y z e n R 9-421 光 电 子 激 光 2 0 2 3年 第3 4卷3 9 0 0 XC P U,6 4G B内存,N v i d i aG e F o r c eR T X 2 0 8 0和N v i d i aT e s l aM 4 0G P U;操作系统为W i n d o w s1 02 1 H 1专业版6 4位;HR-L R图像对的生成使用了M a t l a bR 2 0 1 9 b;算法的训练采用P y T o r c h1.5.1框架,测试使用N u m p y1.1 9.5科学计算库。3.2 评价指标 为了验证本文算法的有效性,采用峰值信噪比(p e a ks i g n a l t on o i s er a t i o,P S NR)和结构相似性指标(s t r u c t u r a l s i m i l a r i t y,S S I M)作为客观评价标准。考虑到比较的公平性,消融实验中的指标在计算时先将图像色彩空间从R G B转换为Y C b C r,然后在其Y通道进行,同时从图像 的每个边缘 裁剪s个像素6,s为放大系数;在对比实验中,使用文献6 的策略,在Y C b C r色彩空间的Y通道计算P S NR指标,在R G B色彩空间计算S S I M指标。3.3 训练细节及参数设置 本文的消融实验采用S R使用最广泛的D I V 2 K作为 训 练 集,S e t 5、S e t 1 4和U r b a n 1 0 0作 为 测 试集1 7。首先对训练集中的HR图像进行9 0、1 8 0 和2 7 0 旋转,得到3 6 0 0张HR图像,然后使用M a t l a b中的i m r e s i z e函数对HR图像执行双三次插值退化获得HR-L R图像对。分别采用2、3、4倍放大系数训练,每个放大系数包含10 0 0个轮次。训练时将L R图像随机裁剪成4 84 8的图像块,对应的HR图像大小为4 8s4 8s,s为放大系数。每次迭代送入8个图像块,每个轮次包含4 5 0次迭代。设置初始学习率为0.0 0 0 1,每2 5 0轮次后下降至原先的0.5倍。算法采用8个M S R F A B、C h a r b o n n i e r损失函数和A d a m优化器进行训练。训练开始时对每个M S R-F A B中的增强型注意力模块执行X a v i e r初始化,在每一个放大系数训练完成后,使用当前放大系数的模型作为下一个放大系数的预训练模型继续训练。本文的对比实验采用真实图像数据集D R e a l S R的训练集进行训练,使用D R e a l S R和R e a l S R1 9的测试集对算法性能进行测试,在训练过程中不采用任何数据集扩充策略。使用2、3、4倍放大系数进行训练,每个放大系数包含5 0 0个轮次,每轮次平均包含3 8 2 1次反向传播迭代。设置初始学习率为0.0 0 0 1,每1 2 5轮次后下降至原先的0.5倍。其余训练策略与消融实验保持一致。3.4 实验结果分析3.4.1 消融实验 为了验证本文算法中提出的不同模块的有效性,在不使用X a v i e r初始化的前提下,使用2、3倍放大系数在S e t 5、S e t 1 4测试集上对算法进行消融实验。其中,原始算法的实验结果来自于文献1 7,打勾表示使用了该模块。实验结果如表1所示。从表1的结果可以得出,使用深度可分离卷积和复用卷积后,模型的参数量急剧下降,但是重建性能也随之下降。将多尺度特征提取块数量提升至3 2后算法性能有了一定的提升,达到原始算法的性能水平。将4个多尺度特征提取块聚合成一个残差特征融合块,使得算法的性能获得轻微的提升。相较于不使用残差特征融合,算法的P S NR指标平均提升了0.0 1d B。增强型注意力机制模块从通道和空间维度对特征图进行自适应调整,在增强与重建相关特征的同时屏蔽与重建不相关的特征。增强型注意 力 机 制 模 块 使 得 算 法 的PSNR指 标 提 升 了0.0 3d B,S S I M指标提升了0.0 0 0 3。本文算法参数量为3.5 31 06,仅为原始算法的3 4.5%的基础上PSNR指 标 提 升 了0.0 5 d B,S S IM指 标 提 升 了0.0 0 0 6,在保证重建性能的同时实现了算法的轻量化。为了验证X a v i e r初始化对本文算法性能的影响,针对算法的不同模块使用X a v i e r初始化。在2、3倍放大系数下在S e t 5、S e t 1 4测试集上对算法进行消融实验。其中,该部分消融实验全部使用深度可分离卷积,“全部初始化”表示针对算法的所有模块使用X a v i e r初始化,“注意力初始化”表示仅针对增强型注意力模块执行X a v i e r初始化。实验结果如表2所示。表1 本文算法不同模块有效性P S N R/d B|S S I M结果T a b.1 T h ee f f e c t i v e n e s sP S N R/d B|S S I Mr e s u l t so fd i f f e r e n tm o d u l e so f t h ep r o p o s e da l g o r i t h mD S C o n vR e u s ec o n vR F AE n h a n c ea t t e n t i o nN u m b e r so fM S D S BP a r a m e t e r s/1 06S c a l e 2S c a l e 3S e t 5S e t 1 4S e t 5S e t 1 481 0.2 33 8.1 2|0.9 6 1 0 3 3.7 6|0.9 1 8 6 3 4.4 6|0.9 2 7 4 3 0.3 2|0.8 4 1 281.9 23 7.9 9|0.9 6 0 6 3 3.6 1|0.9 1 8 4 3 4.2 1|0.9 2 5 6 3 0.2 1|0.8 3 9 981.2 23 7.9 5|0.9 6 0 4 3 3.5 9|0.9 1 7 6 3 4.1 5|0.9 2 5 1 3 0.1 7|0.8 3 8 83 23.3 03 8.1 2|0.9 6 1 0 3 3.8 5|0.9 2 0 3 3 4.3 6|0.9 2 7 0 3 0.3 6|0.8 4 2 73 23.4 33 8.1 3|0.9 6 1 1 3 3.8 1|0.9 1 9 4 3 4.4 2|0.9 2 7 1 3 0.3 7|0.8 4 3 03 23.5 33 8.1 5|0.9 6 1 1 3 3.8 5|0.9 1 9 8 3 4.4 7|0.9 2 7 7 3 0.3 7|0.8 4 2 1521第2期 吕 佳等:多尺度残差特征融合的轻量级真实图像超分辨率重建 表2 X a v i e r初始化对本文算法重建性能影响的P S N R/d B|S S I M结果T a b.2 P S N R/d B|S S I Mr e s u l t so fX a v i e r i n i t i a l i z a t i o no nt h e r e c o n s t r u c t i o np e r f o r m a n c eo f t h ep r o p o s e da l g o r i t h mR e u s ec o n vR F AE n h a n c ea t t e n t i o nN u m b e r so fM S D S BI na l lm o d u l e sI na t t e n t i o nm o d u l e sS c a l e 2S c a l e 3