融入注意力机制的多尺度卷积图像去雾方法.pdf

融入注意力机制的多尺度卷积图像去雾方法*唐 剑,车文刚,高盛祥(昆明理工大学信息工程与自动化学院,云南 昆明 6 5 0 5 0 0)摘 要:图像的去雾问题是一项富有挑战性的视觉任务。以往的图像去雾方法往往过于依赖雾天图像退化的物理模型,且当前利用卷积神经网络进行图像去雾的模型较为复杂,基于此提出一种不依赖于物理模型的轻量级去雾网络MA D N e t。该网络主要由融入注意力机制的多尺度卷积模块构成,通过将有雾图像看成是清晰的无雾图像和雾度残留图像组成,让MA D N e t直接学习目标无雾图像和输入的有雾图像之间的雾度残留物,最后实现端到端的图像去雾。实验结果表明,MA D N e t在数据集S OT S和NH-HA Z E上的结构相似性和峰值性噪比均优于其它对比方法的,在真实场景中也能取得较好的去雾效果。关键词:图像去雾;轻量级网络;注意力机制;多尺度卷积中图分类号:T P 3 9 1文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 8.0 1 4A n i m a g e d e h a z i n g m e t h o d b a s e d o n m u l t i-s c a l e c o n v o l u t i o n w i t h a t t e n t i o n m e c h a n i s mT ANG J i a n,CHE W e n-g a n g,GAO S h e n g-x i a n g(F a c u l t y o f I n f o r m a t i o n E n g i n e e r i n g a n d A u t o m a t i o n,K u n m i n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y,K u n m i n g 6 5 0 5 0 0,C h i n a)A b s t r a c t:I m a g e d e h a z i n g i s a c h a l l e n g i n g v i s u a l t a s k.P r e v i o u s i m a g e d e h a z i n g m e t h o d o f t e n d e p e n d t o o m u c h o n t h e p h y s i c a l m o d e l o f i m a g e s d e g r a d e d b y f o g,a n d t h e c u r r e n t i m a g e d e h a z i n g m o d e l u s i n g c o n v o l u t i o n n e u r a l n e t w o r k i s m o r e c o m p l e x.T h e r e f o r e,a l i g h t w e i g h t d e h a z i n g n e t w o r k MA D N e t t h a t d o e s n o t d e p e n d o n p h y s i c a l m o d e l i s p r o p o s e d.T h e n e t w o r k i s m a i n l y c o m p o s e d o f a m u l t i-s c a l e c o n v o-l u t i o n m o d u l e w i t h a t t e n t i o n m e c h a n i s m.B y v i e w i n g f o g g y i m a g e s a s c o m p o s e d o f c l e a r i m a g e s a n d f o g r e s i d u e i m a g e s,MA D N e t d i r e c t l y l e a r n s t h e f o g r e s i d u e b e t w e e n t h e t a r g e t c l e a r i m a g e a n d t h e i n p u t f o g g y i m a g e,a n d f i n a l l y a c h i e v e e n d-t o-e n d i m a g e f o g r e m o v a l.T h e e x p e r i m e n t a l r e s u l t s s h o w t h a t t h e s t r u c t u r e s i m i l a r i t y a n d p e a k s i g n a l-t o-n o i s e r a t i o o f t h e p r o p o s e d m e t h o d a r e b e t t e r t h a n t h o s e o f o t h e r c o m p a r i s o n m e t h o d o n S OT S a n d NH-HA Z E d a t a s e t s,a n d i t c a n a l s o a c h i e v e b e t t e r f o g r e m o v a l i n r e a l s c e n e s.K e y w o r d s:i m a g e d e h a z i n g;l i g h t w e i g h t n e t w o r k;a t t e n t i o n m e c h a n i s m;m u l t i-s c a l e c o n v o l u t i o n1 引言雾霾天气条件下采集到的图像会发生图像模糊、色彩失真等现象,对于后续的视频监控、目标检测和智能驾驶等计算机视觉的高级任务都会造成一定干扰,因此对有雾图像进行清晰化处理已经成为一个亟需解决的研究课题。目前图像去雾方法大致可以分为3类:一是基于图像增强的去雾方法,二是基于图像复原的去雾方法,三是基于深度学习的去雾方法。基于图像增强的去雾方法一般不考虑雾天图*收稿日期:2 0 2 2-0 3-2 7;修回日期:2 0 2 2-0 5-3 0基金项目:国家自然科学基金(6 1 9 7 2 1 8 6);云南省重大科技专项计划(2 0 2 1 0 3 AA 0 8 0 0 1 5)通信作者:车文刚(w g c h e q q.c o m)通信地址:6 5 0 5 0 0 云南省昆明市呈贡区景明南路7 2 7号昆明理工大学信息工程与自动化学院A d d r e s s:F a c u l t y o f I n f o r m a t i o n E n g i n e e r i n g a n d A u t o m a t i o n,K u n m i n g U n i v e r s i t y o f S c i e n c e a n d T e c h n o l o g y,7 2 7 J i n g m i n g S o u t h R o a d,C h e n g g o n g D i s t r i c t,K u n m i n g 6 5 0 5 0 0,Y u n n a n,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第8期2 0 2 3年8月 V o l.4 5,N o.8,A u g.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 8-1 4 5 3-1 0像的成像原理,通过一定的手段提高图像的对比度,从而达到图像去雾的目的,这类方法实现简单,但是往往会造成图像细节信息丢失、色彩失真等问题。代表性方法有直方图均衡化1、同态滤波2、小波变换3和基于R e t i n e x理论的去雾方法4等。基于图像复原的去雾方法大都通过分析雾天图像的成像原理,建立相应的雾天图像退化模型,借助一定的先验知识和假设对未知参数进行求解,从而反推出无雾图像。此类模型中比较著名的是大气散射模型5,6,其描述如式(1)所示:I(x)=J(x)t(x)+A(1-t(x)(1)其中,x表示图像中的像素点位置;I(x)表示有雾图像;J(x)表示待恢复的无雾图像;t(x)=e-d(x)表示 介质透射 率,表 示 大 气 散 射 系 数,d(x)表示场景深度;A表示大气光值。O a k l e y等人7利用雷达设备获得场景深度进而得到待恢复的无雾图像。T a n8提出清晰图像比模糊图像具有更高的对比度的先验知识进行图像去雾。H e等人9提出暗通道先验方法估计介质透射率t(x)的值,但是该方法在包含天空区域的图像中,常常会出现光晕等现象。基于深度学习的图像去雾方法通过对大量图像数据进行学习,最后得到清晰的无雾图像。C a i等人1 0 首次提出用深度学习网络D e h a z e N e t进行图像去雾,通过网络对介质透射率t(x)进行估计,大气光值A的取值依然和传统方法一样,缺点是分别估 计2个 未知参数会 存在较大的 误差。R e n等人1 1提出了多尺度模型M S C NN(M u l t i-S c a l e C o n v o l u t i o n a l N e u r a l N e t w o r k)来预测有雾图像的介质透射率。L i等人1 2提出了一个重新构建大气散射模型的去雾网络AO D-N e t(A l l-i n-O n e D e h a z i n g N e t w o r k),相对于D e h a z e N e t,该网络有很大的改进,不需要分别估计t(x)和大气光值A。Z h a n g等人1 3受到密集连接网络的启发,提出了D C P D N(D e n s e l y C o n n e c t e d P y r a m i d D e h a z-i n g N e t w o r k),将大气散射模型嵌入到整个网络中,通过密集连接的编码-解码网络生成t(x),利用U-N e t(U-s h a p e d N e t w o r k)得到大气光值A。L i u等人1 4提出了一种由3个模块组成的端到端去雾网络G r i d D e h a z e N e t,通过使用基于注意力的多尺度估计,解决了多尺度方法中遇到的瓶颈问题,该网络有望适用于更广泛的图像复原问题。D o n g等人1 5提出了一种基于U-N e t体系结构,具有密集特征融合的多尺度增强去雾网络M S B D N(M u l t i-S c a l e B o o s t e d D e h a z i n g N e t w o r k w i t h d e n s e f e a t u r e f u s i o n)。Z h e n g等人1 6提出了一种多向导双边学习的图像去雾网络,该网络主要由3个深度卷积神经网络C NN(C o n v o l u t i o n a l N e u r a l N e t w o r k)组成,能够实现4 K分辨率图像的实时去雾。C h e n等人1 7提出了一个有原则的、从合成到真实的图像去雾网络P S D(P r i n c i p l e d S y n t h e t i c-t o-r e a l D e h a z i n g g u i d e d b y p h y s i c a l p r i o r s),并利用几个经典的物理先验以无监督的方式对网络进行优化。Wu等人1 8提出一种新颖的去雾网络A C E R-N e t,利用有雾图像和清晰图像的信息作为正负样本,通过对比正则化C R(C o n t r a s t i v e R e g u-l a r i z a t i o n)和高度紧凑的自编码器实现图像去雾。对目前单幅图像的经典去雾方法进行深入分析发现,当前利用深度学习进行图像去雾时存在2个问题:一是对雾天成像物理模型中的未知参数进行估计时不够准确且分开估计往往会带来误差堆叠,过度依赖于雾天成像的物理模型;二是目前基于深度学习的图像去雾方法往往参数比较多、模型较为复杂。因此,采用轻量级的网络架构进行图像去雾具有重要的现实意义,尤其对于一些实时任务十分重要。本文主要工作如下:(1)针对现有的图像去雾方法常常建立在大气散射模型之上,导致网络的学习会受到雾天图像退化物理模型的约束,本文将有雾图像看成由无雾图像和雾度残留图像组成,让网络直接学习图像的雾度残留物,基于此提出了一种不依赖于物理模型的去雾网络MA D N e t(M u l t i-s c a l e l i g h t w e i g h t c o n-v o l u t i o n n e u r a l D e h a z i n g N e t w o r k w i t h A t t e n t i o n m e c h a n i s m)。(2)现有的深度学习网络参数较多、模型较为复杂且忽略了不同尺度卷积核对网络性能的提升作用,考虑到雾在图像中的分布是不均匀的,应该具有多尺度特征,基于此提出了一种轻量级的融入注意 力 机 制 的 多 尺 度 特 征 提 取 模 块MC AM(M u l t i-s c a l e C o n v o l u t i o n m o d u l e w i t h A t t e n t i o n M e c h a n i s m)。2 MA D N e t网络结构为了避免估计大气散射模型中的未知参数带来的误差堆叠以及摆脱物理模型的约束,受到图像去雨研究中雨模型1 9和D e b l u r GAN2 0中利用深度残差思想直接将图像噪声剔除的启发,本文将有雾图像I(x)表示为2个部分:一是清晰的无雾图4541C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)像J(x),二是雾度残留图像D(x),用式(2)表示如下:I(x)=J(x)+D(x)(2)让卷积神经网络直接学习目标无雾图像和输入的有雾图像之间的雾度残留物D(x),最后实现端到端的图像去雾。本文提出的MA D N e t采用了编码-解码的思想,网络模型的结构如图1所示。网络模型主要包括3个模块:编码模块、特征提取模块和解码模块。编码模块采用3个卷积块组成编码器。第1个卷积块为33的深度卷积操作,对图像的R、G和B这3个通道分别进行卷积操作生成3幅特征图;第2个卷积块为11的普通卷积生成3 2个通道的特征图,由于第1个卷积块采用深度卷积,不能有效利用不同通道特征图在相同空间位置上的特征信息,11的普通卷积有利于信息的流通;第3个卷积块采用步长为2、卷积核为33的深度卷积执行下采样操作。特征提取模块由3个不同尺度的分支卷积组成,并且采用G h o s t N e t2 1中利用线性变换生成幻影图的思想,以生成更丰富的特征图。解码模块将输入的特征图经过一个卷积核为44、步长为2、填充为1的反卷积模块进行处理,之后利用金字塔场景解析网络P S P N e t(P y r a m i d S c e n e P a r s i n g N e t w o r k)2 2聚合不同区域的上下文信息,最后通过11的卷积输出3通道的特征图,获取到雾度残留图像,将输入的有雾图像逐像素相减,得到恢复后的无雾图像。F i g u r e 1 O v e r a l l s t r u c t u r e o f MA D N e t n e t w o r k图1 MA D N e t网络的总体结构2.1 多尺度卷积模块MC AM 尽管当前的C NN网络结构已经拥有非常大的感受野,但实际C NN的感受野要比理论的小得多2 3。随着研究人员对卷积方式的不断探索,有研究表明,较大的卷积核如552 4和772 5的卷积核,能够提升网络的性能和准确率。在金字塔卷积2 6的启发下,本文设计了一个改进的多尺度卷积模块MC AM。在多尺度卷积模块MC AM中,每一层特征图的通道数都控制为3 2,将3 2个通道特征图分别经过卷积核大小为33,55,77的深度卷积层分别得到1 6,8,8个特征图。不同尺寸的卷积核的感受野是不同的:当卷积核较小时,提取特征的感受野较小,卷积神经网络会倾向于提取局部的细节信息;当卷积核较大时,感受野较大,网络更倾向于提取图像的全局背景信息。通过使用3种不同尺度的卷积核,以提取更为全面的特征,最后将每个分支得到的特征图进行特征融合。G h o s t N e t2 1的核心思想是在深层卷积神经网络中,中间层的输出特征图通常会包含丰富甚至冗余的特征图,其中一些特征图可以通过对另一些特征图基于某种简单的操作变换获取,比如仿射变换和小波变换这些低成本的线性运算。G h o s t N e t通过对3个分支得到的特征图进行恒等映射和线性变换生成更丰富的特征图,从而减少不必要的计算。卷积本身是一种局部操作,往往会忽略很多重要的特征信息,采用注意力机制能够让网络忽略无关的特征信息而关注重要的特征信息,使得网络能够有效学习图像中的雾特征。虽然大部分注意力机制的使用会给卷积神经网络带来性能的提升,但是在轻量级网络中需要考虑注意力机制的计算开销对于整个网络的影响,如果加入注意力机制带来过高的复杂度,反而与轻量级的原则相背离,那么就应舍弃。目前,在小型网络中使用的注意力机制主要有S E(S q u e e z e-a n d-E x c i t a t i o n n e t w o r k)2 7、B AM(B o t t l e n e c k A t t e n t i o n M o d u l e)2 8和C B AM(C o n v o l u t i o n a l B l o c k A t t e n t i o n M o d u l e)2 9。C A(C o o r d A t t e n t i o n)3 0模块是一个轻量级的模块,对构建轻量级网络具有良好的性能且不会带来更多的参数。融 入 注 意 力 机 制 的 多 尺 度 卷 积 模 块MC AM结构如图2所示,通过在多尺度卷积模块中加入轻量级的注意力机制C A模块,利用注意力5541唐 剑等:融入注意力机制的多尺度卷积图像去雾方法F i g u r e 2 M u l t i-s c a l e c o n v o l u t i o n m o d u l e w i t h a t t e n t i o n m e c h a n i s m图2 融入注意力机制的多尺度卷积模块MC AM模块提取图像中的重要特征,再通过一个11的卷积操作生成最后的特征图。本文的初衷是设计轻量级网络进行去雾,在进行线性变换时考虑到采用较大的卷积核会导致过拟合和计算复杂度高,11的卷积核无法提取特征图上的空间信息,所以在计算幻影特征图时采用33的深度卷积核提取图像特征。在多尺度卷积模块中采用3种不同尺度的深度卷积操作类似于分组卷积操作,由于分组卷积没有充分利用通道组之间的相关性且在线性变换时采用的是深度卷积方式,没有充分利用通道间的信息,为了使得不同通道同一空间位置上的特征信息具有相关性,融入注意力机制的多尺度卷积模块MC AM采用11的卷积操作以便于通道组间的信息流通。在多尺度卷积模块中,每一层的特征图通道数都控制为3 2,使用11的卷积操作还能改变特征图的通道数量。F i g u r e 3 S t r u c t u r e o f P S P N e t图3 P S P N e t结构2.2 金字塔场景解析网络P S P N e t 在有雾图像中,雾的分布和场景较为复杂,有的区域雾的浓度较大,有的区域雾的浓度较小。考虑到雾在图像中分布不均匀的特性,解码模块将反卷积层输出的特征图输入到金字塔场景解析网络中,通过多尺度特征提取且融合不同级别的特征信息,从而提高网络对全局信息的提取能力。P S P-N e t的输入是上一层普通的卷积输出,分别通过卷积核大小为44,88,1 61 6和3 23 2的池化层进行处理,不同层级的池化聚合能够充分聚合上下文信息,为了保证全局特征的权重,在每个池化层之后使用11的卷积来降低通道的维度,同时减少计算量,上采样操作能够使每个池化层处理之后的特征图保持相同的尺度,最后将所有的特征图与输入特征图按通道维度进行融合,得到该模块的最后输出,P S P N e t的结构如图3所示。3 数据集与损失函数3.1 实验数据集和实验环境本文实验使用的数据集为R E S I D E(R E a l i s t i c S i n g l e-I m a g e D E h a z i n g)3 1。其中,将室外训练集OT S和室内训练集I T S混合在一起作为训练集;选取测试集S OT S中的5 0 0幅室内图像和5 0 0幅室外图像作为测试集A;从数据集R T T S中随机选取1 0 0幅真实 有雾 图 像 作 为 测 试 集B。R E-S I D E数据集假设雾在整个图像场景中的分布是均匀的,而在真实情况下采集到的有雾图像中雾的分布并不均匀,因此,为了进一步验证MA D N e t的去雾效果,本文引入一个非均匀的图像去雾数据集NH-HA Z E3 2作为测试集C。NH-HA Z数 据 集包含了5 5对户外场景的有雾图像和对应的无雾图像,利用专业的雾霾生成器生成非均匀的有雾6541C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)图像。本文的 实 验 训 练 在 服 务 器 上 进 行,服 务 器C P U型号为I n t e l(R)X e o n(R)G o l d 5 2 1 8,主频为2.3 GH z,1 6核3 2线程,内存为3 2 G B,显卡为NV I D I A T e s l a T 4,显 存 为1 6 G B,操 作 系 统 为U b u n t u 1 8.0 4.5,深度学习框架为P y T o r c h 1.6.0,P y t h o n版本为3.6.1 2,C UD A版本为1 1.1。本文的实验测试在本地台式机上进行,使用的操作系统为W i n d o w s 1 0,内存R AM为1 6 G B,处理器为I n t e l i 7-1 0 7 0 0 F的8核1 6线程的C P U,G P U为NV I D I A G e F o r c e R T X 2 0 6 0的独立显卡,显存为6 G B,使用深度学习框架P y T o r c h 1.7.1,C UD A版本为1 1.1,编程环境采用P y C h a r m,编程语言为P y t h o n 3.6.1 2。3.2 训练细节和损失函数本文实验使用A D AM3 3优化器来训练整个网络,1和2分别取0.9和0.9 9 9,卷积核的初始化设置为高斯分布,偏置初始化为0,网络的初始化学习率设置为0.0 0 0 1,并且采用余弦退火策略调整学习率。模型训练采用小批量训练的方式,b a t c h-s i z e设为8,一共训练1 0 0轮。在MA D N e t网络的训练过程中,为了使真实无雾图像和恢复的无雾图像的距离最小化,本文采用平滑L1损失函数和感知损失组成联合损失函数。平滑L1损失函数如式(3)和式(4)所示:Ls1=1NNx=1 3i=1S m o o t h L1(I i(x)-J i(x)(3)S m o o t h L1()=0.52,|1|-0.5,o t h e r w i s e(4)其中,N表示像素的总数;I(x)表示真实的无雾图像;J(x)表示恢复的无雾图像;i=1,2,3分别表示图像的R、G和B通道。感知损失与像素损失不同,利用从预训练好的卷积神经网络中提取的多尺度特征来衡量输入图像与真实的清晰图像之间的差异,本文实验选取预训练的VG G 1 6的前3层作为损失网络,感知函数定义如式(5)所示:Lp=3j=11CjHjWjj(J)-j(I)22(5)其中,j()表示输入图像到第j层网络输出特征的映射,Cj、Hj和Wj分别表示第j层特征图的通道数、高度和宽度。联合损失函数的表达式如式(6)所示:Lt o t a l=Ls1+Lp(6)其中,是感知损失的权重参数,在这里取=0.0 4。4 实验对比与分析为了验证MA D N e t的去雾效果,本节选取经典的去雾方法D C P(D a r k C h a n n e l P r i o r)9、D e-h a z e N e t1 0、AO D-N e t1 2和G r i d D e h a z e N e t1 4与本文的MA D N e t在测试集A上进行主观和客观分析,在测试集B上进行客观分析。由于测试集A和测试集B中的有雾图像中的分布都是均匀的,为了进一步验证MA D N e t的去雾效果,本节还在非均匀的测试集C上进行主观分析和客观分析。4.1 在合成数据集上的测试结果从测试集A中选取2幅室内有雾图像和4幅室外有雾图像用于主观质量评价,本文MA D N e t的与经典的去雾方法的去雾效果如图4所示。图4 a是合成的有雾图像,图4 g是对应的清晰图像。图4 b中D C P方法在第3行和第5行出现了颜色失真现象,且从第3、5、6行可以看出D C P在颜色比较均匀且雾的浓度较轻的区域取得了比较好的去雾效果,但是对于远处场景的去雾效果不好。D e h a z e N e t相比D C P能够取得较好的去雾效果,在细节的处理上有所改善,如图4 c中的第1行,但是存在去雾不够彻底且出现颜色偏深的特点,如图4 c中第3行。AO D-N e t去雾不够彻底,如图4 d中第3行,且室内图像的去雾效果不是很理想,如 图4 d中 的 第1行 和 第2行。G r i d-D e h a z e N e t和MA D N e t能够取得相对较好的去雾效果,但是G r i d D e h a z e N e t所恢复的图像也有瑕疵,在图4 e中第3行的边缘处去雾效果不佳,在图4 e第4行的路面上去雾效果显得不够自然。为了从客观的角度评价本文的MA D N e t网络模型的去雾效果的优劣性,表1展示了经典的图像去雾方法和本文提出的MA D N e t在测试集A上的峰 值 信 噪 比P S NR的 平 均 值 和 结 构 相 似 性S S I M平均值。从表1可以看出,D C P在测试集A上的峰值信噪比P S NR和结构相似性S S I M最低,这是由于采用传统的去雾方法去雾不够彻底所致;G r i d-D e h a z e N e t相比于前几种方法取得了较高的峰值信噪比和结构相似性,这是由于G r i d D e h a z e N e t采用了密集的残差模块,网络较为复杂,并且采用了一些优化策略,改善了图像的去雾效果;本文的MA D N e t在网络较为简单的情况下取得了较高的7541唐 剑等:融入注意力机制的多尺度卷积图像去雾方法F i g u r e 4 D e h a z i n g e f f e c t s o f s e v e r a l c l a s s i c a l m e t h o d s a n d MA D N e t o n t e s t s e t A图4 几种经典方法与MA D N e t在测试集A上的去雾效果峰值信噪比和结构相似性。从图4和表1综合分析可知,本文的MA D N e t在测试集A上无论是主观分析还是客观的定量分析均取得了较好的去雾效果。T a b l e 1 A v e r a g e v a l u e s o f P S N R a n d S S I M o f s e v e r a l c l a s s i c a l m e t h o d s a n d MA D N e t o n t e s t s e t A表1 几种经典方法与MA D N e t在测试集A上的P S N R平均值和S S I M平均值指标D C P D e h a z e N e t AO D-N e tG r i d-D e h a z e N e tMA D N e tP S NR/d B1 6.6 22 1.1 41 9.0 63 0.1 83 1.8 3S S I M0.8 1 70.8 4 70.8 5 00.9 8 20.9 8 44.2 在真实数据集上的测试结果真实场景中的有雾图像与清晰的无雾图像对是难以获取的,由于缺乏相应清晰的无雾图像,在真实数据集上只能对其进行主观分析。图5展示了MA D N e t和几种经典方法在测试集B上的去雾效果。分析图5可知,D C P对于户外场景中的有雾图像的去雾效果较差,在图5 b的第1行和第4行出现了伪影现象;D e h a z e N e t去雾不够彻底,且出现了光晕现象,如图5 c中的第1行所示,在图5 c第3行的图像中雾浓度较高的区域出现了较明亮的情况;AO D-N e t相比D C P和D e h a z e N e t能够取得较好的去雾效果且色彩比较饱和,但是存在去雾不够彻底的现象,如图5 d中的第1行、第3行和第4行;G r i d D e h a z e N e t在真实场景中取得了不错的去雾效果,但是也存在不足,如图5 e的第1行;对比其他方法,本文的MA D N e t具有良好的去雾效果,但是也存在去雾不彻底的情况,如图5 f中的第4行所示。(1)在数据集NH-HA Z E上的测试结果。本节在测试集C上从主观和客观2个角度进一步验证和分析。NH-HA Z E数据集由专业雾霾产生器生成的不均匀图像组成,现实生活中采集到的有雾图像中雾的分布往往是不均匀的,通过在测试集C上进行去雾效果验证对于去雾的实际应用是更贴切的。本节实验中没有采用NH-HA Z E3 1数据集中的图像作为训练集,通过在没有学习过的数据集上测试,更能体现本文MA D N e t的有效性。从测试集C中随机选择几幅有雾图像进行主观对比评估,MA D N e t网络模型的去雾效果与几种经典方法的去雾效果如图6所示。图6 a的有雾图像是由图6 g的清晰图像经过专业的雾霾机生成,更逼真地模拟了真实场景中的有雾图像。从图6 b中可以看到,D C P在雾浓度较高的区域出现了色彩失真的现象,颜色泛蓝。在图6 c中D e h a z e N e t1 0在雾浓度较大的区域出现泛白现象,去 雾 效 果 不 佳。图6 d的AO D N e t相 比D C P、D e h a z e N e t能够取得较好的去雾效果,但是经过去雾处理后图像中仍然存在大量的雾,在雾浓度较大的区域也出现偏蓝的特点。图6 e的G r i d-8541C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)F i g u r e 5 D e h a z i n g e f f e c t s o f s e v e r a l c l a s s i c a l m e t h o d s a n d MA D N e t o n t e s t s e t B图5 几种经典方法与MA D N e t在测试集B上的去雾效果F i g u r e 6 D e h a z i n g e f f e c t s o f s e v e r a l c l a s s i c a l m e t h o d s a n d MA D N e t o n t e s t s e t C图6 几种经典方法与MA D N e t在测试集C上的去雾效果D e h a z e N e t相比前3种方法能够较好地去雾效果,但是去雾不够彻底。图6 f是本文MA D N e t得到的图像,相比之下去雾处理后图像的清晰度得到了一定的改善,在雾浓度较大的区域也有偏蓝的特点,经过处理之后也存在残留雾。表2展 示 了D C P、D e h a z e N e t、AO D-N e t和9541唐 剑等:融入注意力机制的多尺度卷积图像去雾方法G r i d D e h a z e N e t与本文MA D N e t在测试集C上的平均P S NR值和S S I M值。T a b l e 2 A v e r a g e v a l u e s o f P S N R a n d S S I M o f MA D N e t a n d s e v e r a l c l a s s i c a l m e t h o d s o n t e s t s e t C表2 几种经典方法和MA D N e t在测试集C上的平均P S N R值和S S I M值指标D C P D e h a z e N e t AO D-N e tG r i d-D e h a z e N e tMA D N e tP S NR/d B1 2.9 1 3 1 2.3 7 91 2.3 9 41 2.3 2 01 3.4 5 0S S I M0.4 7 20.4 5 50.4 6 80.4 8 30.4 9 0 从表2可以看出,由于没有采用雾分布高度不均匀的图像样本作为训练集,导致各种方法在测试集C上的平均P S NR值和平均S S I M值都比较低。G r i d D e h a z e N e t的 平 均P S NR值 最 低,D e-h a z e N e t的平均S S I M值最低,MA D N e t的平均P S NR值和平均S S I M值都取得了相对最优,但是图像的去雾也不够彻底,平均P S NR和平均S S I M的值都很低,还有进一步提升的空间。(2)参数量对比。表3列出了G C AN e t(G a t e d C o n t e x t A g g r e-g a t i o n N e t w o r k f o r i m a g e d e h a z i n g a n d d e r a i n-i n g)3 4、G r i d D e h a z e N e t1 4、M S B D N1 5、F F A-N e t(F e a t u r e F u s i o n A t t e n t i o n N e t w o r k f o r s i n g l e i m-a g e d e h a z i n g)3 5和MA D N e t的的参数量以及在测试集A上的平均P S NR值、S S I M值和平均处理一幅图像所需要的时间。T a b l e 3 N u m b e r o f p a r a m e t e r s a n d a v e r a g e v a l u e s o f P S N R,S S I M,a n d r u n t i m e o f s e v e r a l m e t h o d s o n t e s t s e t A表3 几种方法的参数量以及在测试集A上的平均P S N R值、S S I M值和运行时间指标G C AN e tG r i d-D e h a z e N e tM S B D NF F A-N e tMA D N