宽型自注意力融合密集型残差网络的图像去雾.pdf

当前去雾算法无法很好解决不均匀雾霾图像去雾的问题，为此提出了一种宽型自注意力融合的条件生成对抗网络图像去雾算法.在算法中加入了宽型自注意力机制，使得算法可以为不同雾度区域特征自动分配不同权重；算法特征提取部分采用DenseNet融合自注意力网络架构，DenseNet网络在保证网络中层与层之间最大程度的信息传输的前提下，直接将所有层连接起来，获取更多的上下文信息，更有效利用提取的特征；融合自注意力可以从编码器部分提取的特征中学习复杂的非线性，提高网络准确估计不同雾度的能力.算法采用Patch判别器，增强去雾图像的局部和全局一致性.实验结果证明，算法网络在NTIRE 2020、NTIRE 2021和O-Haze数据集上的定性比较，相比于其他先进算法得到更好的视觉效果；定量比较中，相较于所选择先进算法的最好成绩，峰值信噪比和结构相似性指数分别提高了0.4和0.02.关键词：图像去噪；图像去雾；生成对抗网络；宽型自注意力机制；马尔科夫判别器中图分类号：TP394.1 文献标志码：A Wide Self-attention Mechanism Fusion Dense Residual Network Image DehazingWU Kaijun，DING Yuan（School of Electronic and Information Engineering，Lanzhou Jiaotong University，Lanzhou 730073，China）Abstract：The current defogging algorithm cannot solve the problem of uneven haze image defogging，so this paper proposes a wide self-attention fusion conditional generation against network image defogging algorithm.The wide self-attention mechanism is added to the algorithm，so that the algorithm can automatically assign different weights to the features of different haze regions.The feature extraction part of the algorithm adopts the DenseNet fusion self-attention network architecture.Under the premise of ensuring the maximum information transmission between the middle layers of the network，the DenseNet network directly connects all layers to obtain more context information and make more effective use of the extracted features.Fusion of self-attention can learn complex nonlinearity from the features extracted from the encoder part，and improve the ability of the network to accurately estimate different haze.The algorithm uses Patch discriminator to enhance local and global consistency of defogging images.The experimental results show that the qualitative comparison of the algorithm network on NTIRE 2020，收稿日期：2022-12-31基金项目：国家自然科学基金资助项目（61966022），National Natural Science Foundation of China（61966022）；甘肃省自然科学基金资助项 目（21JR7RA300），Natural Science Foundation of Gansu Province（21JR7RA300）；甘 肃 省 敦 煌 文 物 保 护 研 究 中 心 开 放 课 题（GDW2021YB15），Open Project of Dunhuang Cultural Relics Protection Research Center in Gansu Province（GDW2021YB15）作者简介：邬开俊（1978），男，山东莒南人，兰州交通大学教授，博士，博士生导师 通信联系人，E-mail：文章编号：1674-2974（2023）08-0013-10DOI：10.16339/ki.hdxbzkb.2023283湖南大学学报（自然科学版）2023 年NTIRE 2021 and O-Haze datasets has better visual effects than other advanced algorithms.In the quantitative comparison，compared with the best performance of the selected advanced algorithms，the peak signal-to-noise ratio and the structural similarity index increases by 0.4 and 0.02，respectively.Key words：image denoising；image dehazing；generating adversarial network；wide self-attention mechanism；Patch discriminator进入 21 世纪以来，随着社会工业化的不断发展，空气的污染也越发严重，大气中雾霾的出现频率也更加频繁.当今社会汽车尾气以及工业废气的过度排放导致雾霾天气频发，雾霾天气中悬浮的大量气状物质以及微粒会对光产生吸收和散射，导致成像设备所获取到的图像存在发白发暗、对比度降低、细节丢失和颜色偏移等情况，不利于图像的识别以及应用，雾霾天气不仅会影响拍摄图片的观感，更会对以图像处理为主要工作的计算机视觉系统产生严重的影响.过去图像去雾方法主要有两种：基于图像增强的去雾技术和基于图像复原的去雾技术.基于图像增强的去雾算法，主要采用现有的图像增强方法，简单的方法包括对雾图中的细节进行对比度与饱和度的增强，去除图像的噪声.这种去雾方式对于图像大面积泛白以及雾霾较深的情况处理效果并不理想，不能从根本上达到去雾的效果.汪秦峰1在基于直方图均衡化和Retinex的图像去雾方法中，针对Retinex算法在处理雾霾不均的图像时，图像的浓雾区域细节丢失的问题，提出了一种基于面积融合的分块Retinex算法，较好解决了图像浓雾区域细节丢失问题，同时避免了块效应.基于图像复原的方法主要通过物理模型，估计各种参数来修复雾图，反演求解清晰的图像.现在通过将机器学习加入算法中，对物理模型中的各种参数和先验知识进行更加科学的估计和参考来提高去雾的效果，其中具有较大影响力的算法是He等2提出的基于暗通道的图像去雾技术.之后改进暗通道的去雾技术不断出现，比如吴迪等3提出的基于暗通道的快速图像去雾方法研究，肖进胜等4提出的基于天空约束暗通道先验的图像去雾，以及杨红等5提出的基于暗通道的遥感图像云检测算法.上述传统图像去雾算法，在修复雾霾图像的过程中存在很大的局限性，鲁棒性差.基于深度学习的去雾算法主要是在CNN流行并成熟之后开始出现的算法，对比传统的图像去雾算法可以通过学习得到图像不同尺度的特征.在早期基于深度学习的去雾算法研究中，主要是利用卷积神经网络对大气散射模型中的参数进行估计.如 Cai 等6提出的去雾模型DehazeNet，对有雾图像的透射率等参数利用卷积神经网络直接估计，从而获得无雾图像.后期Ren 等7提 出 了 基 于 多 尺 度 卷 积 神 经 网 络 的 去 雾 算 法（MSCNN），可以通过获得不同尺度的特征，提高去雾后图像的精度；Yu等8提出的基于PatchGAN的图像去雾算法，在判别器部分采用Patch判别器，可以通过对比图像中更大的感受野，提高整体一致性.近几年出现了几种比较先进的图像去雾方法，如Das等9提出了一种快速的深度多补丁分层网络，通过聚合来自雾霾图像不同空间部分的多个图像补丁的特征，使用更少的网络参数来恢复非均匀雾霾图像；Singh等10提出了一种新颖的生成对抗网络架构，即反向投影金字塔网络（BPPNet），结合了对多层次复杂性的学习，同时通过UNet的迭代块保留空间上下文，并通过新颖的金字塔卷积块保留多尺度的结构信息.雾霾图像在不同雾霾浓度情况下提取到的特征应该具有不同的权重，然而当前去雾算法无法很好解决不均匀雾霾图像去雾的问题.综上，本文提出了一种宽型自注意力机制（Wide Self Attention，WSA）与DenseNet11网络结合的条件生成对抗网络（Conditional Generative Adversarial Networks，CGAN）12 图像去雾算法.文献 13 首次将SA引入GAN，极大提升了模型生成质量.本算法采用WSA可以有效对图像不同雾度的特征进行自动的权重分配，解决不同雾度特征的提取问题，更大的雾度区域给予更大的权重.DenseNet网络特点使得神经网络可以更深而不会使网络底部特征在高层消失，在不采用更多通道数的条件下获取到丰富的有雾图像上下文信息，从而降低了模型的参数个数及复杂度.二者结合有效提升了网络的恢复能力，使得网络取得了良好的去雾效果.14第 8 期邬开俊等：宽型自注意力融合密集型残差网络的图像去雾1 本文模型本节介绍本算法的去雾端对端模型，即宽型自注意力融合DenseNet残差网络.总体架构基于生成式对抗网络，提出宽型自注意力机制并融合密集型神经网络实现去雾模型构建.1.1 网络总体结构网络总体结构主要由特征提取和 WSA融合的生成器和判别器组成.首先将输入的雾霾图像送入生成器的编码器和解码器中，利用多层卷积和WSA提取特征，生成去雾图像；之后将生成器生成的去雾图像和真实清晰样本图像送入判别器进行判别，然后将信息反馈到生成器进行权重更新，通过生成器和判别器的对抗训练达到去雾的目的.下面探讨算法对于WSA的使用，加入WSA后模型性能的改变将在后面的消融实验中给出，整体结构如图1所示.1.2 宽型自注意力机制由于RGB空间R、G和B色之间存在高相关性，所以传统SA虽然可以极大提高生成图像质量，但是像素内部的高相关性会在学习中相互干扰，阻碍图像细节恢复；并且在特征学习中应考虑多尺度特征对结果产生的影响，进一步增强恢复效果.针对上述问题，在文献 14 基础上提出WSA降低这类影响，提高注意力特征图对总体特征和多尺度特征分析的影响，模块结构如图2所示，具体方法如下.1）由于R、G和B色之间存在高相关性，因此神经网络难以分割变化较小的不同位置特征.而YCbCr 颜色空间在图像处理领域通常用于分割在RGB颜色空间中难以分离的对象，其原理是降低像素内部的高相关性.对于雾霾图像，不同雾度区域的特征在RGB空间难以分割，而在YCbCr颜色空间就可以更好分割不同区域，达到增强特征捕获能力的目的.采用YCbCr空间代替RGB空间，进一步增强图图1 网络总体结构图Fig.1 Network structure diagram图2 WSA结构图Fig.2 WSA structure diagram15湖南大学学报（自然科学版）2023 年像本身的细节恢复，具体方式为()YCbCr=()0.2570.5640.098-0.148-0.2910.4390.439-0.368-0.071()RGB+()16128128（1）2）为了增强对雾霾图像不同雾度区域的特征捕获能力，在 SA 模块中加入 softmax 结构和 expend结构，通过增加模型宽度丰富细节信息，达到对注意力模块的加强14.3）为了关注不同尺度的信息，提升网络性能，首先，对输入特征分别进行33和55的卷积，获取不同尺度的特征，形成两条分支.其次，在不同分支上分别采用softmax结构和expend结构，捕获跨尺度特征.再次，对操作后的信息分别进行55和77的卷积，继续捕获多尺度特征.最后，将不同分支上注意到的信息经过softmax操作按元素相加，实现跨尺度信息交互.1.3 融合WSA生成器生成器的结构如图3所示.即（I）DenseNet网络模块，（）WSA模块.模型的卷积神经网络采用Tiramisu模型 15 代替了传统卷积模型.由于采用了密集块 16，所以增强了信息和梯度流.该模型的编码器有5个密集块且具有相同结构，解码器同样有5个密集块且具有相同结构，并且有一个15层的密集块作为瓶颈层.在编码器端，每个密集块后都有一个下采样（Transition Down，TD）层.TD 层 由 BatchNorm-Convolution-DropOut-AvgPool组成.类似地，在解码器端，每个密集块后面都有一个上采样（Transition Up，TU）层，且 TU层仅具有解卷积操作.图3给出了生成器的具体模型，下面探讨引入DenseNet网络和WSA的必要性.ResNet模型的出现是CNN历史的重要事件，通过引入残差连接建立前后层之间的联系.若采用ResNet网络也可以实现去雾模型的设计，但是在相同规模之下，ResNet参数和计算成本都更大.因此本算法采用DenseNet网络架构，二者的对比实验在之后的消融实验中给出.DenseNet网络在参数和计算代价相同的情况下可以获得更好的性能，层数更深，性能得到较大的提升.在传统的对抗网络模型中，生成器模型在特征提取中会均等地处理每个通道特征，但是在实际的雾霾图像中，雾霾浓度的分布是不均匀的，均等处理不同区域的特征会降低模型的泛化性，在无用的信息上浪费计算资源，所以在实际的训练中，应该赋予不同区域的特征不同的权重.引入WSA在特征提取的空间相关性中引入了非局部的思想，在特征提取过程中可以计算特征中像素之间的相关性，并根据特征相关性的大小增强特征信息，使算法根据不同区域的特征自动分配不同权重；并且通过多尺度的设计增强对跨尺度特征的提取与分析.将宽型自注意力模块WSA融合进每个密集块，如图4所示.将DenseNet模块输出特征送入注意力模块，再将注意力模块得到的输出特征与DenseNet模块的输出特征进行元素相加得到整个单一融合模块的输出.1.4 判别器算法所使用的判别器网络借鉴马尔科夫判别器（Patch Discriminator，PD）17的思想，此模型会对目标图像和生成器生成的图像进行逐块比较，而不是逐图3 WSA融合DenseNet网络结构图Fig.3 WSA mechanism fusion DenseNet network structure diagram16第 8 期邬开俊等：宽型自注意力融合密集型残差网络的图像去雾像素比较，提高对图像中内容的判别能力.当图像通过卷积神经网络时进行比较，网络在输出处的感知域大于一个像素，也就是对应于原始图像中的像素块，所以使用Valid填充用于控制的有效感知域.实验中使用的7070判别器，在最后一组特征图上进行逐像素比较判别，由于特征图上的有效感知域大于一个像素，因此它覆盖了图像的一部分，这样就可以消除了图像中的大量“伪像”.图5详细展示了判别器模型，它输入真实图像与生成器生成的图像，在后边加入WSA模块，在输出端输出一个3030矩阵，用来得出判别结果.1.5 损失函数1.5.1 条件对抗损失函数条件生成对抗网络损失如公式（2）所示，在本系统的模型中，执行一次生成器更新，然后每次迭代执行一次判别器更新，将结果乘以权重，然后将其加到总的损失当中.LAdv=E(x，y)log(D(x，y)+E(x，y)log(1-D(x，G(x，z)（2）式中：D为判别器；G为生成器；x为输入的雾霾图像；y为雾霾图像对应的清晰图像；z为生成器生成的图像；E为数学期望.使用对抗损失主要是为了减少标注的数据，为了让少量的标注能达到大量标注的效果，以便可以模拟各种噪声，本系统使用 dropout作为噪声源.具体的做法是在真实的数据中加入噪声，让有无标注的数据都在一起学习.1.5.2 Smooth L1损失函数使用加权的 smooth L1损失与对抗损失一起减少了输出图像中的“伪像”.在对目标图像和生成器生成图像的对比中，为了防止出现正负抵消的情况，使用L1损失函数，对像素之差取绝对值.但由于L1损失在0点的导数不存在，所以可能存在不收敛的情况，因此使用平滑之后的L1损失函数使其更加容易收敛.目标图像y和生成的图像G(x，z)之间的L1损耗计算如下：LL1=Ex，y，z|y-G(x，z)|1（3）1.5.3 感知损失函数感知损失是将真实的清晰图像卷积得到的特征与生成器生成的图像卷积得到的特征进行比较，使得图像的全局结构更加接近.生成的图像和目标图像通过不可训练的VGG-19网络传递.两个图像输出L2损失，之后通过Pool-4 层进行计算.感知损失的定义18如下：LVGG=1CWHc=1Cw=1Wh=1H|V(G(x，z)c，w，h)-V(yc，w，h)|22（4）式中：C、W、H分别为输出图像的通道、宽度和高度；c、w、h分别为三个整数，取值为 1，C、1，W、1，H；V为非线性CNN变换，由VGG网络执行.1.5.4 合并损失函数在算法中用于优化网络的损失函数包含三个分量，这些分量经过权重W加权相加得出总损失，如下式所示：Losstotal=WAdv LAdv+WL1 LL1+WVGG LVGG（5）式中：超参数WAdv、WVGG、WL1分别为三项损失函数LAdv、LVGG、LL1的 权 重，数 值 分 别 设 置 为 0.000 5、1、0.01.2 实验与结果2.1 数据集针对现有去雾领域文章在算法训练中采用的不图4 单一密集块融合自注意力机制结构图Fig.4 Single dense block fusion self-attention mechanism structure diagram leaky reluleaky relubatchnormbatchnormleaky reluleaky reluconvolutionconvolutionconvolutionconvolutionbatchnormbatchnormleaky reluleaky reluconvolutionconvolutionbatchnormbatchnormleaky reluleaky reluconvolutionconvolutionconvolutionconvolution输出结论输出结论wide self attentionwide self attention图5 判别器结构Fig.5 Discriminator structure17湖南大学学报（自然科学版）2023 年均匀雾霾图像数据不充足以及其他去雾文献中只采用人工合成雾霾图像且只存在均匀淡薄雾气的情况，本次实验没有采用在小规模成型不均匀雾霾数据集进行图像分割和增强的方法增大数据集，而是采用人工合成不均匀雾霾图像数据集的方法，在VOC数据集中采用引导滤波生成大量的不均匀雾霾数据，作迁移学习预训练网络模型参数.图6对引导滤波合成的雾霾图像与普通大气散射模型得到的雾霾图像进行了对比.从实验结果可以看出，在加入引导滤波之后，生成的有雾图像在不同区域雾霾浓度的变化上显然更加的自然.在算法中使用VOC标准数据集图像生成不均匀数据集，其中训练图像1 500对，测试图像20对；NTIRE-（2020+2021）和O-Haze标准数据集，其中训练数据80对，测试图像 10 对.由于 NTIRE-（2020+2021）和 O-Haze标准数据集数据量较小，因此进行图像增强，对其进行90、180、270的随机旋转、水平翻转和垂直翻转.2.2 训练细节网络模型训练使用Adam优化器19，初始学习率设置为 0.001，动量参数分别采用 0.9和 0.999，进行了100次迭代，前10次迭代学习率降为0.001快速接近最优点，第11到90次学习率为0.000 1，最后10次将学习率下降为0.000 01，提高了网络的收敛效果.实验在 Windows11 环境下进行，使用 Python 和 TensorFlow 搭建深度学习环境进行实验，硬件条件为AMD R7 5800H CPU，16 GB RAM，NVIDIA RTX 3070 GPU.2.3 实验结果对比本算法模型分别和文献中的其他先进方法模型在合成数据集、NTIRE-（2020+2021）和O-Haze标准数据集进行了定量定性的比较，对比算法细节如表1所示.2.3.1 性能评价指标在对模型的性能进行评估的过程中，主要采用峰值信噪比（PSNR）和结构相似性指标度量（SSIM）两个因素进行分析.PSNR主要是评价模型从输入图像中消除噪声的能力，也就是消除雾霾的能力；SSIM主要用于度量原始清晰图像和去雾图像的相似程度.PSNR、SSIM具体定义如下：MSE=1Mk Nkj=1Nki=1Mk(I(i，j)-J(i，j)2（6）PSNR=10 lg|(2n-1)2MSE|（7）式中：MSE为图像I和图像J之间的均方误差；M、N为图像大小，n为255.PSNR指数越高，图像重建质量越好，但是 PSNR 指数不直接反映人眼的直观视觉感受.SSIM=2xy+C12x+2x+C12xy+C22x+2x+C2（8）式中：x和y为图像块所有像素的均值；x和y为图像像素值的标准差；xy为x与y之间的协方差；C为常数.SSIM越大，两个图像间差异越小，更加符合人眼的直观感受.2.3.2 人工合成数据集测试本算法在合成数据集中的测试，平均 PSNR 和SSIM分别为25.79和0.92，见表2.从表2中可以明显看出，算法在PSNR和SSIM指数方面都优于所对比的先进算法，对实验数据的定性比较结果如图7所示，对于高亮部分本文模型的处理更符合人眼视觉体验.合成数据集主要用于迁移学习预训练网络权重，并不作为实验核心.2.3.3 标准数据集测试在 O-Haze 数据集上进行测试，平均 PSNR 和SSIM分别为24.36和0.89，见表2.从表2可以看出，本算法在PSNR和SSIM指数方面都优于所对比的先进算法.只有BPPNET算法的各个指数接近本算法，其他均显著低于本算法.在测试中没有采用I-Haze数据集，O-Haze数据集比I-Haze数据集更具有挑战性.实验在O-Haze数据集上的定性比较如图8所示.（a）清晰图像（b）普通方法（c）本文方法图6 不同方式合成有雾图像对比Fig.6 Comparison of hazy images synthesized by different methods18第 8 期邬开俊等：宽型自注意力融合密集型残差网络的图像去雾在 NTIRE-（2020+2021）数据集中测试，平均PSNR 和 SSIM 分别为 19.42和 0.84.在图 8的定性比较中也可以看出尽管雾霾非均匀，但是细节恢复还是较好的.但是，色彩的恢复还存在一些问题，这是因为：一方面受到NTIRE-（2020+2021）数据集雾霾浓厚且不均匀的影响，另一方面也在于模型存在进 （a）Hazy images （b）CVPR 16 （c）ICCV 17 （d）CVPRW 18 （e）BPPNET （f）Our model图7 合成数据集不同场景各算法对比Fig.7 Comparison of algorithms in different scenes of synthetic dataset表1 对比算法详情Tab.1 Comparison algorithm details方法名CVPR 16ECCV 16BPPNETCVPRW18CGANFDMHN方法特点CVPR 16采用了雾线思想，指出清晰图像中每种颜色簇在雾霾图的RGB空间中为一条线，使用这些雾线，可以通过物理模型恢复传输率图和无雾图像，达到去雾的目的ECCV 16采用多尺度的卷积神经网络2来学习有效的雾霾特征；首先用粗尺度网络估计场景透射图，然后用精细尺度网络细化BPPNET是一种新的生成式对抗网络架构，融合了对多层复杂性的学习，同时通过UNet迭代块保留空间信息，通过金字塔结构保留多尺度的结构信息CVPRW 18使用流行的密集块结构构造编码器，并且解码器基于一组残差和密集块，然后是金字塔池化模块以合并上下文信息CGAN提出了一种多级图像去雾算法.有雾图像通过生成网络生成由透射图和大气光值联合估计的图像，通过改进的大气散射模型计算去雾图像FSAD-Net基于循环结构，由四个模块组成：浅特征提取块、反馈块、多个高级残差块和重建块.FB被设计用于处理反馈连接，它可以通过利用跨阶段的深层特征的依赖关系来提高去雾性能评价算法可以识别雾霾图像的雾线并基于它们估计传输率，同时在正则化过程中考虑了估计方差.但是在使用中只有符合初始模型假设的雾霾像素才有助于估计传输率和影响最终结果ECCV 16原文中对夜晚雾霾情况处理不好，依赖于对透射图的估计，容易在错误估计的情况下产生不好的效果该方法使用堆叠的UNet块进行图像特征提取，使生成器学习不同的雾霾特征，而不会丢失局部和全局的结构信息，但是原始网络采用了4个迭代的UNet网络，网络参数量较大该算法使用密集块，使用感知金字塔深度网络进一步提高性能，但是无视了不同浓度雾霾的特点，对于浓厚雾霾其处理结果往往不理想CGAN的使用产生了更高的参数效率和性能，但是其在处理高分辨图像时会存在速度较慢的问题，并且没有摆脱使用大气散射模型，鲁棒性较差该方法在处理雾霾严重的高亮位置时存在不足.此外，其结果与相应的清晰图像相比仍存在颜色偏差来源Berman20Ren7Singh10Zhang21Gan22Das9表2 各算法去雾结果定量比较Tab.2 Quantitative comparison of dehazing results of each algorithmSynthetic datasetMetricPSNRSSIMO-HazeMetricPSNRSSIMNTIRE-（2020+2021）MetricPSNRSSIMCVPR 162020.770.65ECCV 16717.880.65CVPR 162014.670.65CGAN2120.710.73CGAN2116.710.61CGAN2115.370.65CVPRW 182224.180.89CVPRW 182223.980.75CVPRW 182219.180.69FDMHN925.120.90BPPNET1024.120.88文献 2319.220.81Our model25.790.92Our model24.360.89Our model19.420.8419湖南大学学报（自然科学版）2023 年步的空间.在结果中可以看出只有BPPNET与本算法效果接近，有些图像的色彩效果甚至好于本算法，但是在图像的细节处理方面对比，本算法还是有较大的优势.综合多个数据集定量比较结果，PSNR和SSIM值与所对比先进算法的最好结果平均有0.4和0.02的提升.2.4 消融实验为验证模型中模块以及所采用训练策略的有效性，通过以下不同模型状态进行消融实验：1）模型A，即基本模型（DenseNet+D）；2）模型B，即改进梯度更新策略（DenseNet+D+momentum）；3）模型C，即改进判别器（DenseNet+PatchD+momentum）；4）模型D，即 加 入 WSA 完 整 模 型（DenseNet+PatchD+momentum+WSA）.使用NTIRE-（2020+2021）+O-Haze数据集进行消融实验，验证模型在不同模块构成下的性能，结果如图9所示.（a）Hazy images （b）Clean images （c）ICCV 16 （d）CVPRW 18 （e）BPPNET （f）Our model图8 NTIRE-（2020+2021）+O-Haze不同场景各算法对比Fig.8 Comparison of algorithms in different scenes of NTIRE-（2020+2021）+O-Haze （a）Hazy images （b）Clean images （c）模型A （d）模型B （e）模型C （f）模型D图9 消融实验各模型结果对比Fig.9 Comparison of ablation model results20第 8 期邬开俊等：宽型自注意力融合密集型残差网络的图像去雾在考虑消融实验的过程中，考虑了WSA、PD以及训练过程中动量的引入对模型整体的影响，结果如表3所示.舍弃PD和WSA会对实验结果造成较大影响，舍弃WSA会导致图像色彩部分较为浓重，偏离图像原有的色彩；而舍弃PD则会直接影响去雾效果，导致去雾不充分的问题.是否在训练中加入动量对实验的结果影响并不大，不会降低性能.综合对比情况来看，PD和WSA会对实验最后的结果造成较大的影响，舍去该模块会存在去雾不彻底以及色彩失真浓重的情况.3 结 论本文提出的宽型自注意力机制融合DenseNet残差网络图像去雾算法可以实现端到端去雾，该网络不依赖于传统的物理模型，直接通过对抗学习清晰图像与雾霾图像的映射，达到去雾的目的.同时通过WSA自动分配区域特征权重，采用 DenseNet模型，获取更丰富的上下文信息，解决了传统算法不能对不同雾度区域进行差异化处理的问题，并且使网络底层信息不容易在传递中消失.在判别器中使用Patch判别器加快了网络的收敛速度，增强生成图像的局部和全局一致性.在NTIRE-（2020+2021）和O-Haze标准数据集上进行测试，对本算法模型与其他典型的去雾算法进行了定量和视觉比较，证明了本算法模型的性能在去雾的效果上有一定的优势，相较于对比的先进网络，本网络在峰值信噪比和结构相似性上分别得到0.4和0.02左右的提升，去雾之后的图像有了更丰富的视觉效果.本文还存在进步的空间，一是图像的色彩修复，进一步的研究方向是在网络归一化中添加具有颜色校正功能的归一化方法来提高去雾之后图像色彩的恢复程度；二是从实验分析可以看出WSA的加入对模型效果的提升具有很大帮助，并且不论雾霾浓度如何变化，总体效果都趋于提高，但存在的问题是提高的数值会随着雾霾浓度的升高而降低，因此后续WSA依然存在改进的空间.参考文献1汪秦峰基于直方图均衡化和 Retinex的图像去雾算法研究D 西安：西北大学，2016WANG Q F Image defogging，method based on histogram equalization and Retinex D Xian：Northwest University，2016（in Chinese）2HE K M，SUN J，TANG X OSingle image haze removal using dark channel priorJIEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33（12）：2341-23533吴迪，朱青松图像去雾的最新研究进展 J 自动化学报，2015，41（2）：221-239WU D，ZHU Q SThe latest research progress of image dehazingJ Acta Automatica Sinica，2015，41（2）：221-239（in Chinese）4肖进胜，高威，邹白昱，等基于天空约束暗通道先验的图像去雾 J 电子学报，2017，45（2）：346-352XIAO J S，GAO W，ZOU B Y，et alImage dehazing based on sky-constrained dark channel prior J Acta Electronica Sinica，2017，45（2）：346-352（in Chinese）5杨红，崔艳基于开运算暗通道和优化边界约束的图像去雾算法 J 光子学报，2018，47（6）：244-250YANG H，CUI YImage defogging algorithm based on opening dark channel and improved boundary constraintJ Acta Photonica Sinica，2018，47（6）：244-250（in Chinese）6CAI B L，XU X M，JIA K，et al DehazeNet：an end-to-end system for single image haze removal J IEEE Transactions on Image Processing：a Publication of the IEEE Signal Processing Society，2016，25（11）：5187-51987REN W Q，PAN J S，ZHANG H，et alSingle image dehazing via multi-scale convolutional neural networks with holistic edges J International Journal of Computer Vision，2020，128（1）：240-2598YU J H，LIN Z，YANG J M，et alFree-form image inpainting with gated convolution C/2019 IEEE/CVF International Conference on Computer Vision（ICCV）Seoul，Korea（South）：IEEE，2020：4470-44799DAS S D，DUTTA SFast deep multi-patch hierarchical network for nonhomogeneous image dehazing C/2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops（CVPRW）Seattle，WA，USA：IEEE，2020：1994-200110 SINGH A，BHAVE A，PRASAD D KSingle image dehazing for a variety of haze scenarios using back projected pyramid networkC/BARTOLI A，FUSIELLO A European Conference on 表3 各模型结构结果对比Tab.3 Comparison of model s