结合非对称卷积与特征蒸馏的图像超分辨率重建网络.pdf

西 安 工 程 大 学 学 报J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y 第3 8卷第2期(总1 8 6期)2 0 2 4年4月V o l.3 8,N o.2(S u m.N o.1 8 6)引文格式:朱磊,冯达,朱奇伟,等.结合非对称卷积与特征蒸馏的图像超分辨率重建网络J.西安工程大学学报,2 0 2 4,3 8(2):9 3-1 0 0.Z HU L e i,F E NG D a,Z HU Q i w e i,e t a l.I m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n n e t w o r k c o m b i n i n g a s y mm e t r i c c o n v o l u t i o n a n d f e a t u r e d i s t i l l a t i o nJ.J o u r n a l o f X ia n P o l y t e c h n i c U n i v e r s i t y,2 0 2 4,3 8(2):9 3-1 0 0.收稿日期:2 0 2 3-0 6-0 7 修回日期:2 0 2 3-0 8-2 1 基金项目:国家自然科学基金(6 1 9 7 1 3 3 9);陕西省重点研发计划(2 0 1 9 G Y-1 3);陕西省自然科学基础研究计划(2 0 1 9 J Q-3 6 1)通信作者:朱磊(1 9 7 9),男,教授,研究方向为图像处理。E-m a i l:z h u l e i 7 9 1 0 1 41 6 3.c o m结合非对称卷积与特征蒸馏的图像超分辨率重建网络朱 磊1,冯 达1,朱奇伟2,赵 涵1,王倩倩1(1.西安工程大学 电子信息学院,陕西 西安 7 1 0 0 4 8;2.杭州昇擎科技有限公司,浙江 杭州 3 1 0 0 5 2)摘要 为了进一步提高单幅图像超分辨率(s i n g l e i m a g e s u p e r-r e s o l u t i o n,S I S R)轻量化网络的图像重建效果,基于轻量化网络R F D N,提出一种结合非对称卷积与特征蒸馏的图像超分辨率重建网络(a s y mm e t r i c c o n v o l u t i o n d i s t i l l a t i o n n e t w o r k,A C D N)。首先利用非对称卷积构建特征提取模块,在残差块中并联2个不同卷积核的非对称卷积,增强网络对特征的提取能力;其次利用均衡注意力机制与非对称卷积改进特征蒸馏模块,强化网络对高频信息的获取;最后在重建模块中加入均衡注意力机制进一步提高网络的最终重建性能。实验结果表明:与R L F N、S M S R等先进轻量化网络相比,提出的A C D N网络能在5个标准数据集上重建出纹理细节更丰富的高质量图像,重建图像的峰值信噪比和结构相似性指标均有提升,并在网络模型的参数量和性能上达到了更好的平衡。关键词 图像超分辨率;特征蒸馏;非对称卷积;注意力机制;R F D N网络开放科学(资源服务)标识码(O S I D)中图分类号:T P 3 9 1 文献标志码:AD O I:1 0.1 3 3 3 8/j.i s s n.1 6 7 4-6 4 9 x.2 0 2 4.0 2.0 1 2I m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n n e t w o r k c o m b i n i n g a s y mm e t r i c c o n v o l u t i o n a n d f e a t u r e d i s t i l l a t i o nZHU L e i1,F ENG D a1,ZHU Q i w e i2,ZHA O H a n1,WANG Q i a n q i a n1(1.S c h o o l o f E l e c t r o n i c s a n d I n f o r m a t i o n,X ia n P o l y t e c h n i c U n i v e r s i t y,X ia n 7 1 0 0 4 8,C h i n a;2.H a n g z h o u S h e n g q i n g T e c h n o l o g y C o.L t d.,H a n g z h o u 3 1 0 0 5 2,C h i n a)A b s t r a c t I n o r d e r t o f u r t h e r i m p r o v e t h e i m a g e r e c o n s t r u c t i o n e f f e c t o f s i n g l e i m a g e s u p e r-r e s o-l u t i o n(S I S R)l i g h t w e i g h t n e t w o r k,b a s e d o n l i g h t w e i g h t n e t w o r k R F D N,a n i m a g e s u p e r-r e s o l u-t i o n r e c o n s t r u c t i o n n e t w o r k c o m b i n i n g a s y mm e t r i c c o n v o l u t i o n a n d f e a t u r e d i s t i l l a t i o n w a s p r o-p o s e d.F i r s t l y,a s y mm e t r i c c o n v o l u t i o n w a s u s e d t o c o n s t r u c t a f e a t u r e e x t r a c t i o n m o d u l e,t h e a s y mm e t r i c c o n v o l u t i o n o f t w o d i f f e r e n t c o n v o l u t i o n k e r n e l s i n p a r a l l e l i n t h e r e s i d u a l b l o c k e n-h a n c e s t h e f e a t u r e e x t r a c t i o n c a p a b i l i t y o f t h e n e t w o r k.S e c o n d l y,t h e b a l a n c e d a t t e n t i o n m e c h a-n i s m(B AM)a n d a s y mm e t r i c c o n v o l u t i o n w e r e u s e d t o i m p r o v e t h e f e a t u r e d i s t i l l a t i o n m o d u l e f o r t h e a c q u i s i t i o n o f h i g h f r e q u e n c y i n f o r m a t i o n.F i n a l l y,B AM w a s a d d e d t o t h e r e c o n s t r u c t i o n m o d u l e t o f u r t h e r i m p r o v e t h e f i n a l r e c o n s t r u c t i o n p e r f o r m a n c e o f t h e n e t w o r k.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t c o m p a r e d w i t h a d v a n c e d l i g h t w e i g h t n e t w o r k s s u c h a s R L F N a n d S M S R,t h e p r o p o s e d A C D N c a n r e c o n s t r u c t h i g h-q u a l i t y i m a g e s w i t h r i c h e r t e x t u r e d e t a i l s o n f i v e s t a n d a r d d a t a s e t s,i m p r o v e t h e p e a k s i g n a l-t o-n o i s e r a t i o a n d s t r u c t u r a l s i m i l a r i t y i n d e x o f r e c o n s t r u c t e d i m a g e s,a n d a c h i e v e a b e t t e r b a l a n c e b e t w e e n t h e n u m b e r o f p a r a m e t e r s a n d t h e p e r f o r m a n c e o f t h e n e t w o r k m o d e l.K e y w o r d s s u p e r-r e s o l u t i o n;f e a t u r e d i s t i l l a t i o n;a s y mm e t r i c c o n v o l u t i o n;a t t e n t i o n m e c h a n i s m;R F D N n e t w o r k0 引 言 单幅图像超分辨率重建是指从一幅低分辨率(l o w r e s o l u t i o n,L R)图像中恢复出具有更好视觉效果的高分辨率(h i g h r e s o l u t i o n,HR)图像,目前广泛应用于遥感成像1、实时视频2、医学图像3等领域。图像超分辨率重建方法主要包括基于插值的方法4、基于重构的方法5和基于学习的方法6-8。近年来,卷积神经网络(c o n v o l u t i o n a l n e u r a l n e t w o r k,C NN)在不同的图像处理任务中取得了令人瞩目的成就9。基于深度学习的图像超分辨率重建方法相较于传统方法能从数据集中提取出更具表达能力的图像特征,在各种标准数据集上展现出更好的网络性能和重建效果。但是随着网络性能的提升,网络的计 算 代 价 也 随 之 提 升,不 利 于 方 法 的 实 际 运用1 0,这促使研究人员开发更有效的方法来完成超分辨率(s u p e r r e s o l u t i o n,S R)重建任务。文献1 1 首次将卷积神经网络与超分辨率重建结合提出S R C NN方法,仅通过3层卷积网络对输入的L R图像进行特征提取,学习从低分辨率图像到高分辨率图像的映射,取得的重建性能和视觉效果远超传统的图像重建方法。文献1 2 从网络结构设计的角度提出R F D N方法,采用通道分离的方式提取蒸馏特征,实现了更轻量化、更灵活的图像S R。文献1 3 提出轻量级晶格网络L a t t i c e N e t,设计了基于蝴蝶结构的晶格滤波器,并使用反向融合策略提取上下文信息,使网络的参数量减半后依然能达到同时期图像超分辨率网络的重建效果。文献1 4提出了超分辨率网络S M S R,对图像超分辨率重建的稀疏性问题进行研究,以改善网络的推理效率,在保证模型性能不变的同时,减少了模型的计算量。文献1 5 提 出了一种高 效的残差局 部特征网络R L F N,重新审视了损失函数,改变了特征提取器的结构,通过减少网络层数和层数之间的连接关系,使网络更轻巧高效。文献1 6 利用分组卷积和轻量级注意力机制来捕获通道之间的依赖性,在实现高分辨率图像重建的同时减小了网络参数量。尽管研究人员在图像超分辨领域的轻量化网络上已经取得了相当大的进步,但这些基于C NN的超分辨率重建方法都忽视了高频细节,没有充分利用残差特征,导致产生过度平滑的结果,因此图像的重建性能还需进一步提高。本文针对这些问题,提出一种结合非对称卷积与特征蒸馏的图像超分辨率网络A C D N。构建了非对称残差模块,充分提取图像的细节特征;构建了高效特征蒸馏模块,提高网络对高频信息的关注;构建了用于图像恢复的双路重建模块,进一步提升重建性能。1 超分辨率重建网络A C D N1.1 A C D N网络结构本文提出的A C D N网络主要分为浅层特征提取阶段、深层特征提取与融合阶段以及最终的图像重建阶段,网络结构如图1所示。49 西安工程大学学报 第3 8卷图 1 A C D N图像超分辨率重建网络结构F i g.1 N e t w o r k s t r u c t u r e o f A C D N i m a g e s u p e r-r e s o l u t i o n r e c o n s t r u c t i o n a l g o r i t h m 浅层特征提取阶段主要从低分辨率图像IL R中提取浅层特征F0,该过程公式为F0=Hc3(IL R)(1)式中:Hc3()为浅层特征提取模块,包含1个卷积核大小为33卷积层。深层特征提取与融合阶段将浅层特征F0作为输入,逐一细化提取的特征,该过程公式为Fk=Hk(Fk-1),k=1,n(2)式中:Hk表示经过第k个高效特征蒸馏模块;Fk-1和Fk分别表示第k个特征蒸馏模块的输入特征和输出特征。然后对高效特征蒸馏模块细化的特征和所有中间层特征进行融合,该过程公式为Fc=Hc3C o n c a t(F1,Fn)(3)式中:Fc表示融合特征;C o n c a t表示沿着通道维度的级联运算。图像重建阶段利用融合特征Fc输出高分辨率图像IS R,该过程公式为IS R=Hc3(fa u b(Fc)+fb i c(IL R)(4)式中:fa u b()表示注意力上采样模块;fb i c()表示双三次上采样操作。1.2 基于非对称卷积的高效特征蒸馏模块R F D N网络使用浅层残差块S R B构建了一种特征蒸馏残差块R F D B进行特征提取,受文献1 7和文献1 8 启发,A C D N网络提出一种高效特征蒸馏 模 块(e f f e c t i v e f e a t u r e d d i s t i l l a t i o n b l o c k,E F D B),如图2所示。图 2 高效特征蒸馏模块F i g.2 E f f e c t i v e f e a t u r e d i s t i l l a t i o n b l o c k 高效特征蒸馏模块E F D B利用非对称残差块(a s y mm e t r i c r e s i d u a l b l o c k s,A R B)进行深度特征的提取,并在特征融合阶段引入均衡注意力机制(b a l a n c e d a t t e n t i o n m e c h a n i s m,B AM)增强模型的表征能力。A R B由 非 对 称 卷 积 块(a s y mm e t r i c c o n v o l u-t i o n b l o c k s,A C B)、像素注意力(p i x e l a t t e n t i o n,P A)和局部残差连接3部分组成,如图3所示。图 3 非对称残差块F i g.3 A s y mm e t r i c r e s i d u a l b l o c k轻量级的像素注意力P A由一个11卷积和S i g m o i d激活函数组成,利用该注意力机制可以对特征中的每个元素执行关注操作,利用残差跳跃连接,可以在不增加网络参数的情况下学习残差特征。而非对称卷积块A C B具有尺度不变特征变换的特性,可以丰富图像特征空间,非对称卷积块A C B如图4所示。图 4 非对称卷积块F i g.4 A s y mm e t r i c c o n v o l u t i o n b l o c k在网络训练阶段用33、13和31的3个并行卷积核替代原始的33方形卷积核,通过叠加2个不同卷积核的非对称卷积提取不同维度的信息。同时,因为卷积之间具有可加性,所以在推理阶段将33、13和31的3个卷积核融合为标准的33卷积核,不会增加网络的推理时间。59第2期 朱磊,等:结合非对称卷积与特征蒸馏的图像超分辨率重建网络1.3 通道与空间双分支均衡的注意力模块注意力机制是通过对图像特征分配不同的权重,使网络关注更重要的信息,忽略无关信息,合理地分配计算资源,进一步改善图像细节,提升图像重建质量1 9。本文也在网络中加入了一种更高效的注意力机制,改善高级特征表示,采用如图5所示的平衡注意力机制B AM。图 5 平衡注意力机制F i g.5 B a l a n c e d a t t e n t i o n m e c h a n i s m 该注意力模型来自文献2 0,由平均池化的通道注意力模块(a v g p o o l c h a n n e l a t t e n t i o n m o d u l e,A C AM)和最大池化的空间注意力模块(m a x p o o l s p a t i a l a t t e n t i o n m o d u l e,M S AM)组成。A C AM的设计是为了抑制大尺度特征映射中的极端噪声,M S AM则是为了保留高频纹理细节。为了使这2个模块更加平衡并避免学习过程中的串扰,将A C AM和M S AM通过并联连接,该过程公式为Fo u t=A C AM(Fi n)MS AM(Fi n)Fi n(5)式中:表 示B r o a d c a s t乘 法 操 作;表 示H a d-a m a r d乘法操作。对于A C AM模块,采用平均池化操作提取通道信息,再通过一个包含两次卷积层和P r e L U层的多层感知器,最后经过一个S i g m o i d激活函数获得通道权重。该过程公式为A C AM(Fi n)=s i g m i o dHc3P r e L U(Hc3(A v g p o o l(Fi n)(6)对于M S AM模块,目的是找到对最终的HR重建贡献最大的侧面区域,并赋予它们更大的权重。因此采用最大池化操作提取空间信息,该过程公式为M S AM(Fi n)=S i g m i o dHc7M a x p o o l(Fi n)(7)1.4 融合注意力与上采样的双路重建模块在以往的先进S R网络中,重构模块主要由上采样层和卷积层组成,很少有研究者对上采样阶段的注意力机制进行研究2 1,所以本文构建了双路重建模块(d u a l-c h a n n e l r e c o n s t r u c t i o n b l o c k,D R B),如图6所示。图 6 双路重建模块F i g.6 D u a l-c h a n n e l r e c o n s t r u c t i o n b l o c k双路重建模块D R B由双三次上采样和注意力上采样分支(a t t e n t i o n u p-s a m p l i n g b r a n c h,AU B)组成。AU B模块由2个卷积层、最近邻上采样和B AM注意力组成。首先对高效特征蒸馏模块挖掘的特征Fn进行最近邻上采样,然后在2个卷积层中引入B AM注意力机制使图像具有更丰富的纹理细节,该过程公式为HAU B=HcHB AMHc(N e a r e s t(Fn)(8)式中:Fn为网络经过深层提取得到的特征;N e a r e s t表示最近邻上采样。D R B模块还使用双三次上采样提取低分辨率图像的尺度特征,并通过全局跳跃连接将尺度特征叠加到AU B模块的输出上,得到最终的高分辨率图像IS R,该过程公式为IS R=b i c u b i c(IL R)+c o n v(HAU B)(9)2 实验设置和结果2.1 实验环境与参数配置本文训练阶段采用高质量D I V 2 K2 2数据集,该数据集包含1 0 0 0张R G B图像图片,内容涵盖动植物、风景等多个场景,前8 0 0张图像用于模型训练,1 0 0张图像用于验证,1 0 0张图像作为测试。在 测 试 阶 段 采 用S e t 52 3、S e t 1 42 4、B S D 1 0 02 5、U r g a n 1 0 02 6和M a n g a 1 0 92 7为测试数据集,生成的 超分辨率图 像由R G B空 间 变 换 到Y C b C r空间,在Y单通道上分别评估峰值信噪比(p e a k s i g n a l t o n o i s e r a t i o,P S N R)和结构相似性指标(s t r u c t u r a l s i m i l a r i t y i n d e x m e a s u r e,S S I M)。网 络 运 行 在P y t o r c h框 架 下,使 用G P U(NV I D I A G T X 1 0 8 0 T i)进行训练与测试。在训练阶段随机对数据集进行9 0、1 8 0、2 7 0 的旋转和水平翻转实现数据增强,从低分辨率图像中随即裁剪出4 84 8的图像作为输入,最小的训练批次大小设置为1 6,采用L1损失函数和A D AM优化器进行模69 西安工程大学学报 第3 8卷型训练,其中1=0.9,2=0.9 9 9,=1 0-8。初始的学习率设置为51 0-4,每2 0 0个迭代周期学习率减半,一共运行1 0 0 0个迭代周期。2.2 与先进方法的结果比较为了验证本文A C D N网络的性能,将A C D N与6种先进的轻量化图像超分辨率重建网络进行定性客观比较和主观视觉效果比较,6种先进轻量化网络包括:B i c u b i c、S R C N N1 1、R F D N1 2、S M S R1 4、L a t t i-c e N e t1 3、R L F N1 5。同时为了使实验结果足够客观公正,对以上所有网络在统一的硬件平台上进行重新训练,并使用相同的测试方法进行指标计算。图7展示了A C D N网络与6种先进方法在各测试集上得到的视觉对比结果。图 7 A C D N与其他方法视觉对比F i g.7 V i s u a l c o m p a r i s o n b e t w e e n A C D N a n d o t h e r m e t h o d s 图7中,从数据集中具有丰富纹理细节的图像i m g 0 4 6、i m g 0 9 2、i m g 0 9 7和b a r b a r a可以观察到,传统方法B i c u b i c和S R C NN网络存在较严重的边缘模糊和明显的伪影,目前先进的轻量化网络在一定程度上缓解了边缘模糊和伪影的问题,重建了更多的纹理细节,但都产生了虚假信息。相比之下,本文所提出的A C D N网络能够恢复出更清晰、更精确的边缘,获得更好的图像重建结果。这些视觉对比结果表明,A C D N网络与以往的研究工作相比,能够重建更丰富的细节和更清晰的纹理,体现出更好的主观视觉效果。为了进一步验证本文所提网络的有效性,表179第2期 朱磊,等:结合非对称卷积与特征蒸馏的图像超分辨率重建网络给出了不同网络模型在5种基准数据集进行2、3、4倍放大后的平均P S N R和S S I M指标,展示了各个网络模型的参数量,并对每个测试数据集上性能指标最好的网络进行了加黑。表 1 不同方法在5种基准数据集上定量对比T a b.1 Q u a n t i t a t i v e c o m p a r i s o n o f d i f f e r e n t m e t h o d s o n t h e f i v e b e n c h m a r k d a t a s e t s方法尺度参数量/1 03S e t 5S e t 1 4B 1 0 0U r b a n 1 0 0M a n g a 1 0 9P S N R/S S I MP S N R/S S I MP S N R/S S I MP S N R/S S I MP S N R/S S I MB i c u b i c3 3.6 6/0.9 2 9 93 0.2 4/0.8 6 8 82 9.5 6/0.8 4 3 12 6.8 8/0.8 4 0 33 0.8 0/0.9 3 3 9S R C NN83 6.6 6/0.9 5 4 23 2.4 5/0.9 0 6 73 1.3 6/0.8 8 7 92 9.5 0/0.8 9 4 63 5.6 0/0.9 6 6 3R F D N6 2 63 7.9 6/0.9 6 0 43 3.4 6/0.9 1 6 53 2.1 4/0.8 9 9 03 1.8 4/0.9 2 5 63 8.6 1/0.9 7 6 8L a t t i c e N e t27 5 93 8.0 2/0.9 6 0 53 3.5 4/0.9 1 7 43 2.1 8/0.8 9 9 63 2.2 3/0.9 2 8 93 8.7 2/0.9 7 7 0S M S R9 8 53 8.0 0/0.9 6 0 13 3.5 5/0.9 1 7 73 2.1 7/0.8 9 9 33 2.1 9/0.9 2 8 43 8.7 6/0.9 7 7 1R L F N5 2 73 7.9 9/0.9 6 0 63 3.5 7/0.9 1 8 13 2.1 8/0.8 9 9 73 2.1 5/0.9 2 8 83 8.6 3/0.9 7 7 1A C D N7 4 33 8.0 9/0.9 6 0 73 3.6 2/0.9 1 8 43 2.2 1/0.8 9 9 93 2.3 2/0.9 2 9 73 8.7 8/0.9 7 7 2B i c u b i c3 0.3 9/0.8 6 8 22 7.5 5/0.7 7 4 22 7.2 1/0.7 3 8 52 4.4 6/0.7 3 4 92 6.9 5/0.8 5 5 6S R C NN83 2.7 5/0.9 0 9 02 9.3 0/0.8 2 1 52 8.4 1/0.7 8 6 32 6.2 4/0.7 9 8 93 0.4 8/0.9 1 1 7R F D N6 3 33 4.3 3/0.9 2 6 63 0.3 4/0.8 4 1 92 9.0 8/0.8 0 4 92 8.0 6/0.8 5 0 43 3.4 8/0.9 4 3 8L a t t i c e N e t37 6 53 4.3 2/0.9 2 6 43 0.3 1/0.8 4 1 12 9.1 0/0.8 0 4 92 8.1 0/0.8 5 1 33 3.5 1/0.9 4 3 1S M S R9 9 33 4.3 2/0.9 2 6 43 0.3 2/0.8 4 1 52 9.0 9/0.8 0 5 02 8.1 0/0.8 5 1 23 3.4 9/0.9 4 3 5R L F N5 3 43 4.3 7/0.9 2 7 13 0.3 3/0.8 4 2 22 9.1 1/0.8 0 5 82 8.1 1/0.8 5 1 53 3.5 4/0.9 4 4 1A C D N7 4 93 4.4 2/0.9 2 7 63 0.3 8/0.8 4 2 92 9.1 5/0.8 0 6 12 8.2 4/0.8 5 4 13 3.6 4/0.9 4 4 8B i c u b i c2 8.4 2/0.8 1 0 42 6.0 0/0.7 0 2 72 5.9 6/0.6 6 7 52 3.1 4/0.6 5 7 72 4.8 9/0.7 8 6 6S R C NN83 0.4 8/0.8 6 2 62 7.5 0/0.7 5 1 32 6.9 0/0.7 1 0 12 4.5 2/0.7 2 2 12 7.5 8/0.8 5 5 5R F D N6 4 33 2.1 5/0.8 9 4 42 8.5 4/0.7 8 0 22 7.5 4/0.7 3 4 82 5.9 8/0.7 8 2 13 0.3 4/0.9 0 6 4L a t t i c e N e t47 7 73 2.2 3/0.8 9 5 42 8.5 8/0.7 8 0 92 7.5 5/0.7 3 5 62 6.1 2/0.7 8 6 83 0.4 4/0.9 0 7 4S M S R1 0 0 63 2.1 1/0.8 9 3 22 8.5 4/0.7 8 0 42 7.5 3/0.7 3 4 92 6.1 1/0.7 8 6 83 0.4 3/0.9 0 7 2R L F N5 4 43 2.2 3/0.8 9 5 42 8.6 0/0.7 8 1 92 7.5 6/0.7 3 5 72 6.0 7/0.7 8 5 53 0.4 2/0.9 0 7 1A C D N7 5 83 2.2 6/0.8 9 6 32 8.6 2/0.7 8 2 52 7.5 8/0.7 3 6 72 6.1 7/0.7 8 9 13 0.5 3/0.9 0 9 3 注:表中“”代表方法不适用该计算结果。从表1可以看出,本文所提出的A C D N网络在2、3和4尺度上的5个标准数据集的P S N R值和S S I M值均高于其他方法。与2 0 2 2年最新的方法R L F N相比,R L F N去掉了特征蒸馏分支,仅通过堆叠C o n v-R e L U进行局部特征提取,并采用更大的通道数对网络性能进行补偿,这会使得网络的参数量更少。而A C D N采用渐进式特征提取与特征蒸馏方式提取更有效的特征,通过非对称卷积强化特征提取的能力,为网络带来额外的计算开支。因此A C D N在重建性能和评价指标上占有优势,但是网络参数量高于R L F N。本文还将A C D N与其他5个模型进行了复杂度的 比 较,在S e t 1 4的4尺 度 上 计 算 参 数 量、P S N R和S S I M,并采用浮点运算数(F L O P s)衡量A C D N与其他5种先进方法的推理效率,F L O P s使用尺寸为2 5 62 5 6的单张图像计算,实验比较结果如表2所示。表 2 A C D N与其他5种方法的复杂度比较T a b.2 C o m p l e x i t y c o m p a r i s o n o f A C D N a n d o t h e r f i v e m e t h o d s方法P S N RS S I M参数量/1 03F L O P s/1 09S R C NN2 7.5 0 0.7 5 1 3 86.4 3R F D N2 8.5 4 0.7 8 0 2 6 4 32 7.0 3L a t t i c e N e t2 8.5 8 0.7 8 0 9 7 7 74 9.6 4S M S R2 8.5 4 0.7 8 0 41 0 0 64 2.7 1R L F N2 8.6 0 0.7 8 1 9 5 4 43 0.8 1A C D N2 8.6 2 0.7 8 2 5 7 5 83 2.9 3由表2可知,相比于其他的优秀方法,A C D N实现 了 更 高 的P S N R和S S I M,仅 在 参 数 量 和F L O P s上略高于R F D N和R L F N。表明本文所提的方法可以更好地平衡网络性能和计算开销。2.3 消融实验结果为了验证本文所提出的非对称残差模块、高效特征蒸馏模块和双路重建模块的有效性,本文进行89 西安工程大学学报 第3 8卷了大量的消融实验,表3展示了各模块在S e t 5测试集上2倍超分结果的消融实验对比结果。表 3 不同模块在S e t 5的P S N R结果T a b.3 P S N R r e s u l t s f o r d i f f e r e n t m o d u l e s i n S e t 5实验S R BE S AA R BB AMD R BP S N R/d B13 7.9 6 323 8.0 4 233 8.0 3 943 8.0 6 753 8.0 9 4A C D N网络是基于R F D N网络的改进模型,因此实验1即是以R F D N作为基本框架得到的实验结果。与实验1相比,实验2和实验3的P S N R值有所提升,分别证明了非对称残差模块和均衡注意力模块在网络中的有效性。实验4将非对称残差模块和均衡注意力模块放在一起组成高效特征蒸馏模块,与之前的实验相比,P S N R值有所提高,这说明将2个模块放在一起使用对网络的提升效果更好。实验5与实验4相比,加入了双路重建模块,P S N R进一步提高,说明本文提出的双路重建模块可以有效地提升网络性能。消融实验充分验证了本文所提出的各个模块的有效性和互补性。3 结 语本文提出了结合非对称卷积和特征蒸馏的图像超分辨率重建网络(A C D N)。该方法通过将非对称卷积和像素注意力机制融入残差块中构建非对称残差模块,提取更加精细的特征;高效特征蒸馏模块结合均衡注意力机制,抑制特征图中的极端噪声的同时尽可能多地恢复高频纹理信息,保证网络性能的同时减少网络参数;最后通过双路重建模块进一步提升重建效果获取最终的S R图像。实验数据表明,本文方法与目前先进的轻量级超分辨率重建方法相比,在性能指标和视觉效果上具有更好的表现,且网络模型参数量较少,在边缘计算设备的部署方面有很大的应用价值。未来的工作中,在保持A D-C N网络性能的前提下,将考虑使用一些轻量化策略以减少A C D N的网络参数量,提高网络速度。参考文献(R e f e r e n c e s)1 朱福珍,刘越,黄鑫,等.改进的稀疏表示遥感图像超分辨重建J.光学精密工程,2 0 1 9,2 7(3):7 1 8-7 2 5.Z HU F Z,L I U Y,HUANG X,e t a l.R e m o t e s e n s i n g i m a g e s u p e r-r e s o l u t i o n b a s e d o n i m p r o v e d s p a r s e r e p-r e s e n t a t i o nJ.O p t i c s a n d P r e c i s i o n E n g i n e e r i n g,2 0 1 9,2 7(3):7 1 8-7 2 5.(i n C h i n e s e)2 GUO T A,D A I T,L I U L,e t a l.S 2 A:S c a l e-a t t e n t i o n-a-w a r e n e t w o r k s f o r v i d e o s u p e r-r e s o l u t i o nJ.E n t r o p y(B a s e l,S w i t z e r l a n d),2 0 2 1,2 3(1 1):1 3 9 8.3 李航宇,玄祖兴,周建平,等.信息蒸馏与异构上采样的眼底图像超分辨重建J.计算机工程与应用,2 0 2 2,5 8(2 3):2 3 8-2 4 4.L I H Y,XUAN Z X,Z HOU J