基于深度学习的图像去雾算法研究进展.pdf

DOI:10.20079/j.issn.1001-893x.220402002引用格式:李雅,王烈,滕思航,等.基于深度学习的图像去雾算法研究进展J.电讯技术,2023,63(7):1098-1108.LI Y,WANG L,TENG S H,et al.Research progress of image dehazing algorithms based on deep learningJ.Telecommunication Engineering,2023,63(7):1098-1108.基于深度学习的图像去雾算法研究进展李李 雅雅,王王 烈烈,滕滕思思航航,崔崔利利娟娟,蓝蓝峥峥杰杰(广西大学 计算机与电子信息学院,南宁 530004)摘 要:图像是信息的重要承载形式。雾霾的出现降低了图像采集设备采集到的图像质量,容易出现色彩暗淡、对比度和饱和度降低、细节信息丢失等问题,直接影响了有用信息的表达和利用。目前对图像去雾的研究多采用深度学习的方法,卷积神经网络代替了人工特征提取方式,取得了优于传统算法的去雾效果,但普遍存在着对真实世界雾霾图像和清晰图像对的依赖。无监督学习的方法带来了新的解决思路。从监督学习和无监督学习的角度对有代表性的深度学习图像去雾算法进行分类,归纳了常用的数据集、评价指标,概括分析了有影响力的去雾模型的核心思想,总结了各算法的优缺点和适用场景。针对目前工作存在的不足,探索了下一步研究的方向。关键词:深度学习;图像去雾;监督学习;无监督学习开放科学(资源服务)标识码(OSID):微信扫描二维码听独家语音释文与作者在线交流享本刊专属服务中图分类号:TP391 文献标志码:A 文章编号:1001-893X(2023)07-1098-11Research Progress of Image Dehazing Algorithms Based on Deep LearningLI Ya,WANG Lie,TENG Sihang,CUI Lijuan,LAN Zhengjie(School of Computer and Electronic Information,Guangxi University,Nanning 530004,China)Abstract:Image is an important form of information.The appearance of haze reduces the quality of images collected by image acquisition equipments.Problems such as dull color,reduced contrast and saturation,and loss of detail information are prone to occur,which directly affect the expression and utilization of useful information.At present,the researches on image dehazing mostly use deep learning methods.The convolutional neural networks replace artificial feature extraction methods and have achieved better dehazing effects than traditional algorithms.But there is widespread reliance on real-world haze image and clear image pairs.The methods of unsupervised learning bring new solutions.The representative deep learning image dehazing algorithms are classified from the perspective of supervised learning and unsupervised learning,and the commonly used datasets and evaluation indicators is summarized.The core idea of the influential dehazing models is summarized and analyzed.The advantages,disadvantages and applicable scenarios of each algorithms are summarized.In view of the shortcomings of the current work,the direction of further research is explored.Key words:image dehazing;deep learning;supervised learning;unsupervised learning8901第 63 卷 第 7 期2023 年 7 月电讯技术Telecommunication EngineeringVol.63,No.7July,2023收稿日期:2022-04-02;修回日期:2022-05-05基金项目:广西科技重大专项(桂科 AA21077007-1)通信作者:王烈0 引 言 图像去雾是近十年来计算机视觉领域的一个研究热点。雾或霾的形成取决于空气中悬浮粒子的类型、大小和浓度1。雾霾经常发生在相对干燥的空气中,当灰尘、烟雾颗粒被吸收和散射时,当大气条件阻挡了烟雾和其他污染物的悬浮时,它们就会聚集并形成一层低悬的覆盖物,损害能见度2-4。雾霾的存在会降低依赖于清晰图像的应用系统的可靠性,如交通监控系统、自动驾驶系统、目标检测、遥感成像、水下成像、卫星云图等5。颜色或对比度的变化对物体识别或监控系统有很大影响。在雾、霾等恶劣环境下拍摄的图像,受到大气散射的作用,导致对比度下降,给机场跑道异物检测等工作造成不利影响6。据不完全统计,在恶劣天气条件下,由于能见度差导致的交通事故时有发生,警示了我们进行图像去雾处理的必要性7。退化的图像需要去雾,图像去雾就是从被恶劣天气条件造成的自然模糊景观中恢复出清晰场景的过程8。传统的图像去雾算法一般依赖于手工先验,当场景条件不满足这些先验时,此类算法往往会输出不真实的结果,导致最终恢复图像质量不理想。为了解决这个问题,随着深度学习在计算机视觉领域取得的巨大成功,研究者们提出了大量基于卷积神经网络的图像去雾方法。卷积神经网络被用来估计传输映射或直接预测清晰的图像,已被证明是有效的,并优于基于先验的方法,具有显著的性能提升。然而,基于深度学习的方法需要依赖大量真实的有雾图像和无雾图像进行训练。一般来说,在现实世界中获取大量的地面真实图像是不切实际的。因此,大多数去雾模型都依靠合成的雾霾图像数据集进行训练,往往仅在合成数据集上取得良好的性能,在真实有雾图像上的去雾效果并不理想。本文的目的在于探讨基于深度学习的图像去雾领域的发展现状,针对有代表性的去雾算法,深入挖掘这一领域存在的问题与挑战。1 基础知识 基于深度学习的图像去雾算法大多涉及一个基础物理模型 大气散射模型。该模型解释了雾霾的生成过程。大多方法通过大气散射模型反演计算,实现图像去雾。1.1 大气散射模型 McCartney 等人9最早提出基于 Mie 散射的大气散射模型,Nayar 等人10据此推导得出雾天大气散射模型,如图 1 所示。大气散射模型由两部分组成:一是大气悬浮颗粒物对入射光的直接衰减;另一个是环境光和悬浮颗粒之间的相互作用,经过多次反射和散射后,悬浮颗粒最终到达成像设备的环境光部分。两者共同描述大气散射模型,深层次解释了图像的雾化过程11。图 1 大气散射模型 该模型有效的前提是场景中的雾是均匀分布的。公式表述如下:I(x)=J(x)t(x)+A(1-t(x)。(1)式中:I(x)表示观测到的有雾图像;J(x)表示待恢复的无雾图像;A 表示全局大气光;t(x)表示传输矩阵,且 t(x)有如下定义:t(x)=e-d(x)。(2)式中:表示大气散射系数;d(x)表示相机到物体的距离。在晴朗无雾天气下,接近于 0;在有雾天气下,0,此时该系数成为雾图生成的影响因子。图像去雾的求解过程就是利用已知的 I(x)求解未知的 J(x)的过程,对两个未知参数 A 和 t(x)的测量是图像去雾的关键所在。1.2 常用数据集 在现实生活中,由于场景的变化和其他因素(如光照等大气条件)影响,通常无法真正捕获具有理想基本事实的大规模数据集。目前能搜集到的真实雾霾图像存在数据量少、场景单一等缺陷。因此,大多数方法都是先收集一些清晰的图像,然后利用带有手工参数的大气散射模型在含有标注的深度信息的清晰图像上渲染雾度,合成相应的雾霾图像。如基于 NYU2-Depth12和 Middlebury Stereo13合成的 D-Hazy14,是目前使用广泛的去雾数据集。类似 的 数 据 集 还 包 括 HazeRD15、RESIDE16。RESIDE 是一个新的大规模雾霾图像数据集,其中9901第 63 卷李雅,王烈,滕思航,等:基于深度学习的图像去雾算法研究进展第 7 期训练集包括室内合成雾霾图像集 ITS、室外合成图像集 OTS,测试子集包括合成目标测试集(Synthetic Objective Testing Set,SOTS)和 混 合 主 观 测 试 集(HTTP Strict Transport Security,HSTS)。另一种方法是由人工雾霾机器创建真实雾霾,生成雾霾图像,如I-HAZE17、O-HAZE18、N-HAZE7、NH-HAZE19、Dense-HAZE20等。I-HAZE、O-HAZE 都是日间图像去雾的基准数据集,而 N-HAZE 适用于夜间图像去雾方法的基准测试。NH-HAZE 数据集是由 NTIRE 2020 非均匀图像去雾挑战赛提供的,该数据集包含 55 对高分辨率的雾霾-清晰图像对。Dense-HAZE 数据集的雾霾场景密集且均匀,是针对当下去雾算法缺乏真实雾霾图像和清晰图像对作为参考而提出的。各数据集简介如表 1 所示。表 1 用于图像去雾的数据集数据集来源数量类别发表年份/年NYU2-Depth12合成1 449 以上室内场景2012D-Haze14合成1 400 以上室内场景2016HazeRD15合成15室外场景2017RESIDE15合成、真实13 990以上室内、室外 2019I-HAZE17人工雾霾机器合成35室内场景2018O-HAZE18人工雾霾机器合成45室外场景2018N-HAZE7人工雾霾机器合成室内、室外 2020NH-HAZE19人工雾霾机器合成55室外场景2020Dense-HAZE20人工雾霾机器合成33室外场景20191.3 评价指标 为了衡量一幅图片的复原质量以及评价算法的处理效果,通常需要一定的标准来确保公平性。图像的复原质量最直观的感受就是人眼的视觉效果。很长一段时间里,人眼的主观感受仍然是去雾质量评判的标准21。主观评价只涉及人的定性评价,它使用人作为观察者来判断图像的优缺点。这样的方法虽然简单直观,但不足以全面衡量图像去雾算法的性能,因此,更具科学性和数据分析性的客观评价指标应运而生。去雾研究中最常用的客观评价指标是结构相似性(Structural Similarity,SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio,PSNR),且这两种指标都采取了全参考评估方法。也就是说,复原后的图像以原始清晰图像作为依据,逐项对比分析,从而得出评分结果。PSNR 得分越大,表示图像失真程度越小。SSIM 分别从亮度、对比度、结构三方面度量图像相似性,得分越大,表明图像的结构一致性能力越强,保留的图像原始信息越多。2 深度学习图像去雾算法 由于海量有标记的训练数据集的出现、GPU 的支持,卷积神经网络应运而生,人们看到了它巨大的算力。许多研究者将卷积神经网络应用于图像去雾领域,取得了丰硕的成果。近年来,基于深度学习的图像去雾方法占据了主导地位。在这类方法中,神经网络自动从训练数据集中学习图像的先验,并保存在网络权值中。其与传统的基于先验的方法主要区别通常在于学习目标和具体的网络结构。按照网络受训练的方式不同,本文将深度学习图像去雾算法从监督学习和无监督学习的角度进行综述。两种训练方式的不同之处在于是否需要提供成对的雾霾-清晰图像对。2.1 有监督学习 2.1.1 基于大气散射模型 基于大气散射模型的图像去雾算法,利用神经网络对模型参数进行估计,最后将其代入模型求解得出去雾后的图像。早期的方法大多采用两步式分别估算传输图和大气光,且神经网络只对传输图进行学习。Cai 等人22提出了称为 DehazeNet 的可训练端到端网络,用于估计媒介传输图,随后将输出的媒介传输图通过大气散射模型恢复出无雾图像。DehazeNet 整体上由特征提取、多尺度映射、局部极值和非线性回归这 4 部分组成。实验结果表明 DehazeNet 实现了高效和显著的去雾效果。但该网络仍有待改进的空间,大气光不应被视为一个全局常量,应该和传输矩阵一起在网络中学习。Ren 等人23通过学习雾霾图像与其对应的传输图之间的映射关系,提出了一种用于单幅图像去雾的多尺度卷积神经网络(Mutil-scale Convolutional Neural Network,MSCNN)。该网络结合了粗尺度和细尺度网络来估计传输图。粗尺度网络首先估计场景传输的整体结构,将输出作为附加信息传递给细尺度网络,由细尺度网络对局部结果进行细化。多尺度 CNN 从雾霾图像中学习到的有效特征用于对传输图进行估计,该算法处电讯技术 2023 年理速度有了明显提升。然而,由于没有采用学习的方法联合估计大气光和传输图,大气光的估算存在较大偏差,图像去雾质量下降。已有研究表明,两步式估计方法存在很大的误差和局限性,因此联合学习传输图和大气光是更为可行的方法。基于此,王高峰等人24提出了一种基于 DehazeNet 的改进算法,在估计传输图的基础上,同时准确输出大气光值。通过在传输图估计部分引入深度可分离卷积,大幅减少计算量和模型参数,进而提升运算效率。考虑到大气光值是全局相关的,因此为增大视觉感受,在大气光值估计部分采用扩张卷积。该网络能够保留较多的图像原始信息,相较于 DehazeNet 去雾效果更彻底。但是在雾浓度较大时,去雾效果仍旧不理想。Zhu 等人25受可微编程的启发,将大气散射模型转化为一种新的生成对抗网络(DehazeGAN),该网络可以同时自动地从数据中学习 A 和 t(x)这两个参数以及学习雾霾图像和清晰图像之间的映射,从而生成具有地面真实色彩和结构的清晰图像。他们提出的是一种整体的方法,通过优化最终去雾质量和保留感知细节,可以同时学习包括恢复图像在内的这些参数。该方法还是第一个将对抗学习引入单幅图像去雾的工作。此后,Zhang 等人26提出了一种不同的端到端联合优化图像去雾体系结构,称为密集连接的金字塔去雾网络(Densely Connected Pyramid Dehazing Network,DCPDN)。该网络结构具有多层金字塔池化模块,用于精准估计传输映射,同时通过一个 U-Net27架构来估计大气光。在此基础上,提出了一种新的边缘保持损失函数,用于优化 GAN 网络,通过联合鉴别器来优化和鉴别整个学习过程,以更好地利用传输映射和去雾图像之间的结构相关性。该网络将大气散射模型完全嵌入到整个优化框架中,联合学习传输映射、大气光和去雾图像。上述以大气散射模型为基准的监督学习去雾算法的准确性过度依赖于大气散射模型参数的估计,存在不稳定性。此类算法的分析对比如表 2 所示。表 2 基于 ASM 的有监督学习去雾算法对比分析算法优点缺点适用场景数据集客观评价指标发表年份/年DehazeNet22以更高的精度计算传输图,雾浓度升高时,性能没有明显下降大气光的估计存在较大偏差,很难去除天空区域的雾霾有相 似 深 度信息 的 薄 雾场景爬取网络图片基于雾霾 形 成 模 型28合成训练集MSE、PSNR、SSIM、WPSNR2016MSCNN23多尺度网络精准估计传输图,模型更好泛化到真实场景没有采用学习的方法估计大气光;不适用于去除夜间雾霾图像适用 于 日 间雾天图像,不受 场 景 的约束训练集:NYU Depth验证集:Middlebury stereoPSNR、SSIM、运行时间2016改进DehazeNet24能够保留更多的图像原始信息,去雾较干净处理浓雾效果不理想薄雾场景RESIDE-ITS 以及搜集来的雾天图像PSNR、SSIM2021DehazeGAN25可以同时学习包括恢复图像在内的这些参数,恢复的天空区 域 图 像 不 含雾霾复原图像的色彩可能会过度增强,亮度过高天空 区 域 雾霾残留图像HazeCOCO:由 SUN-RGBD+NYU-Depth+COCO 合成PSNR、SSIM、运行时间2018DCPDN26整体优化大气散射模型,网络从图像中学习结构关系透射图和大气光的估计不准确时,可能会引入伪影和颜色失真;时间一致性能力较差浓雾 和 团 雾图像 NYU-depth2数据集;基 于 Middlebury stereo 和 Sun3D 合成数据集SSIM20182.1.2 不基于大气散射模型 研究发现,基于大气散射模型的图像去雾算法有效的前提是大气条件是均匀的,这有一定的局限性。现实生活中,很多因素都会导致不均匀的大气条件,如强光源的影响、自然条件下产生的不均匀雾霾等等。因此,大气散射模型在图像去雾算法设计中的作用有望进一步考量。Ren 等人29提出了一种由编解码器组成的门1011第 63 卷李雅,王烈,滕思航,等:基于深度学习的图像去雾算法研究进展第 7 期控融合网络(Gated Fusion Network,GFN),采用了一种新的基于融合的策略,从原始模糊图像中通过白平衡、对比度增强和伽马校正得到三个输入,只保留每部分最有用的特征。该网络不明确估计传输图和大气光,因此可以在不受场景传输和大气光限制的情况下恢复清晰的图像,在最终的恢复结果中可以避免传输估计误差带来的伪影。然而,此算法在处理浓雾图像时会失败,原因是由于浓雾的影响,大气光不再是一个常量。Li 等人30将传输矩阵 t(x)和大气光 A 两个未知参数整合起来,数学建模为K(x)表示,提出了一种轻量级的 CNN 网络,称为一体化去雾网络(All-in-One Dehazing Network,AOD-Net)。它是根据重新表述的大气散射模型设计的,如公式(3)所示,其中 b 代表偏置。该模型绕过了传输图和大气光的估计,这种重新表述实际上使大气散射模型完全多余。J(x)=K(x)I(x)-K(x)+b,(3)K(x)=1t(x)(I(x)-A)+(A-b)I(x)-1。(4)AOD-Net 首次优化了从雾霾图像到清晰图像的端到端管道,而不是中间参数估计步骤。这种新颖的设计使得 AOD-Net 模型很容易嵌入到其他的深度模型中,以进行高级图像处理任务。然而,尽管AOD-Net 实现了快速去雾,但去雾后的图像容易出现细节模糊、存在雾霾伪影和图像偏暗等问题。基于此,李永福等人31提出了一种改进的 AOD-Net 的航拍图像去雾算法,分别从网络结构、损失函数、训练方式三个层次进行了改良。用全逐点卷积代替传统卷积,构建多尺度网络,提升网络对细节雾气的处理能力;用复合损失函数代替均方误差损失函数,以优化去雾图像的视觉效果;最后,用分段训练方式代替单一损失函数训练方式,进一步提升图像质量。所提算法相较 AOD-Net,在图像去雾效果、多项客观评价指标上有了较大提升,但去雾速度有所下降,在浓雾和强光源图像上的表现仍旧不理想。但不可否认,综合主客观评价、算法处理速度以及在雾天航拍图像中的目标检测效果,该算法在航拍图像去雾领域具有一定的优势。注意力机制在图像处理领域具有良好的表现,运用广泛。Liu 等人32提出了一种基于注意的网格网络(GridDehazeNet),采用可训练的预处理模块以生成更灵活和特征更相关的学习输入,注意力机制使得网络可以更好地利用这种学习输入。在网格网络上实现了多尺度估计,有效规避了编解码器网络和传统的多尺度估计方法的瓶颈问题。该网络不依赖于大气散射模型,即使在合成图像上取得的去雾效果也能优于现有的依赖模型的去雾方法。Qin 等人33提出了一种端到端的特征融合注意网络(Feature Fusion Attention Network,FFA-Net)。该网络架构引入了通道注意和像素注意两大机制,将注意力集中在更重要的通道信息和厚雾像素上。通过权重机制,FFA-Net 更加关注厚雾区、高频纹理、色彩保真度等有效信息。此算法的特征融合注意网络提高了特征神经网络的表达能力,在图像细节和色彩保真度恢复方面具有一定的优势34。针对 GFN存在的不足,范新南等人35提出了一种结合注意力机制的多尺度特征融合网络,加入了特征注意力模块,使得网络更加关注细节信息和重要特征,对浓雾区域给予了更多关注,因此去除浓雾的效果较 GFN更好。兰云伟等人36利用 CNN 设计了一个基于双尺度特征融合的单幅图像去雾网络。该网络包括特征提取和特征融合模块,通过堆叠残差密集块提取局部特征,堆叠包括空间注意机制的特征提取块提取全局特征。引入通道注意机制和卷积操作进行特征融合,获取了丰富的图像结构和色彩信息。考虑到浅层网络的特征容易丢失的问题,通过门控融合网络进一步融合三层不同深度的特征图。该算法有效解决了去雾不彻底、去雾后的图像色彩失真问题。大多数去雾方法都是在合成的雾霾图像上训练一个模型,由于域偏移,此类模型不能很好地泛化到真实的雾霾图像上。Li 等人37提出了一种半监督去雾模型,该模型同时在合成和真实雾霾图像上进行训练。但是,仅仅应用真实的雾霾图像进行训练并不能真正解决域偏移问题。为此,Shao 等人38提出了一种领域自适应(Domain Adaption,DA)的去雾方法,该方法由一个图像转移模块和两个图像去雾模块组成。具体地说,首先应用双向转移网络,通过将图像从一个域转移到另一个域来弥合合成域和真实域之间的差距;然后,使用转移前和转移后的图像来训练具有一致性约束的两幅图像。该算法解决了大部分去雾方法在合成数据集上表现优秀却不能很好地泛化到真实场景的问题。类似地,Qu 等人39提出了一种不依赖于大气散射模型的增强型像素到像 素 的 去 雾 网 络(Enhanced Pix2pix Dehazing Network,EPDN),将图像去雾问题转化为图像和图像之间的转换问题。该网络结构中包括三部分:一电讯技术 2023 年个嵌入的生成器、多尺度鉴别器和增强器。受视觉感知的全球第一属性40的启发,这种网络结构的设计能够产生具有更多细节的感知愉悦的图像。随着研究的深入,人们发现尽管现有算法能够明显提升图像去雾的性能,但应用于真实雾霾场景时仍存在着图像的颜色退化、失真、雾霾残留等问题。真实世界中的雾霾是非均匀分布的,各个区域的雾霾浓度也有较大差异,因此去雾模型应该更注重联合处理不均匀的雾霾和不同场景深度之间的退化。基于此,文献41提出了快速的深度多补丁层次去雾网络(Deep Multi-patch Hierarchical Network,DMPHN),通过聚合不同空间层次多个图像区域的特征来恢复非均匀雾图,此算法在不同雾霾环境中表现稳健,且模型只有 21.7 MB,网络参数少。这个工作把去模糊领域的多补丁层级网络应用于非均匀图像去雾,在 NTIRE2020 非均匀去雾挑战赛上斩获了最快的去雾处理速度。受文献41工作的启发,文献42产生了一种创新的想法:聚合 DMPHN 和DMSHN 两大结构,充分利用多补丁网络获取的局部化信息和多尺度网络获取的全局化信息,通过层级融合模块、扩张卷积以及频域损失对算法进行优化。算法实现快速去除图像中的非均匀雾气的同时,去雾效果有了明显提升。但是由于网络中引入了更多的层级结构,不可避免地增加了模型复杂度,算法运行效率较 DMPHN 有所下降。此类算法的分析对比如表 3 所示。表 3 不基于 ASM 的有监督学习去雾算法对比分析算法优点缺点适用场景数据集客观评价指标发表年份/年GFN29获得的特征相关性更高;模型能够消除图像光晕的影响图像输入可能会由于预处理而产生颜色失真;处理浓雾能力有限背景鲜艳的薄雾和团雾场景基于 NYU2 深度数 据 库 构 建 训练集;RESIDE 数据集上测试PSNR、SSIM302018AOD-Net30模型轻量级,方法简 单,运 行 速 度很快倾向于输出低亮度图像,天空区域仍有雾霾对复原图像对比度要求不高而对去雾速度有较高要求的场景基于室内 NYU2深度数据库自制合成数据集;Middle-bury stereo 数据集MSE、PSNR、SSIM、运 行时间2017改进的AOD-Net31对航拍雾图去雾效果 自 然,视 觉 效果好对景深处雾霾去除效果差航拍有雾气图像的去除NYU2 合成雾数据集;RESIDE-OTSPSNR、SSIM2021GridDehazeNet32学习后的输入提供多样性增益,生成的去雾图像没有主要的伪影/失真天空区域、边缘处有雾霾残留均匀薄雾、浓雾RESIDEPSNR、SSIM、运行时间2019FFA-Net33图像细节恢复效果好,色彩保真度接近地面真实值密集去雾情况表现欠佳浓雾区域和细节纹理丰富的区域RESIDEPSNR、SSIM2020文献35色彩保持度良好,有效去除各种浓度的雾气景深处仍有雾气残留雾浓度较高且细 节 丰 富 的图像训 练 集:RESIDE-ITS、RESIDE-OTS测 试 集:RESIDE-SOTS、MSDPSNR、SSIM2022文献36更好地恢复图像的亮度、色彩和对比度,去除浓雾效果佳;算 法 复 杂 度较低对真实有雾图像去 雾 能 力 有 待提高均匀薄雾训 练 集:RESIDE-ITS、RESIDE-OTS测 试 集:RESIDE-SOTS、HAZERDPSNR、SSIM、模型参数量、浮点运算数2021DANet38模型基于合成域和真实域,高效恢复无雾图像去雾后的图像对比度较低背景鲜艳的薄雾和浓雾场景训 练 集:RESIDE(ITS、OTS、URHI)测 试 集:RESIDE-SOTS、HazeRDPSNR、SSIM20203011第 63 卷李雅,王烈,滕思航,等:基于深度学习的图像去雾算法研究进展第 7 期表 3(续)算法优点缺点适用场景数据集客观评价指标发表年份/年EPDN39嵌入式 GAN 与增强器联合训练,从颜色和细节两方面增强去雾效果网络的交替迭代造成了训练的困难,模型复杂度较高;对严重雾霾场景不够鲁棒非常适用于恢复室内雾霾场景的真实色调RESIDEPSNR、SSIM、PI(感 知 指数)2019DMPHN41模型轻量且高效,实 现 快 速 去 雾处理多个层级间特征融合质量不高实时视频去雾,非 均 匀 图 像去雾NH-HAZE、Dense-HAZEPSNR、SSIM、运行时间2020文献42去 雾 效 果 较DMPHN 提 升,算法鲁棒性提高相较 于 DMPHN,模型复杂度增加,算 法 运 行 时 间增加实时去雾,非均匀图像去雾NH-HAZE、Dense-HAZEPSNR、SSIM、运行时间20212.2 无监督学习 由于收集和制作真实场景下大规模的雾霾图像数据集是一项困难且难以完成的工作,无监督学习的方法避免了这一复杂劳动,因而成为更为可行的替代方法43。文献44认为有效且实用的去雾模型应该能够在不使用成对监督的情况下学习从雾霾图像到清晰图像的映射。Goodfellow 等人45提出的生成对抗网络(Generative Adversarial Network,GAN),最大的优点在于它具有无监督特性,将其应用于图像去雾领域,充分发挥优势,取得了以下研究成果。Yang 等人44为图像去雾问题提供了一个新的视角,与普遍的从雾霾图像中恢复清晰场景不同的是,提出的解纠缠去雾网络(Disentangled Dehazing Network,DDN)不追求真实的图像复原结果,而试图生成视觉上令人愉悦的无雾图像。该方法引入基于物理模型的解纠缠和重构机制,通过对抗训练学习执行两大机制,从而生成感知无雾图像。Wei 等人46总结了基于先验的和基于学习的去雾算法的缺陷,以无监督的方式将这两类去雾算法集成在一起,提出了一种用于单幅图像去雾的端到 端 生 成 对 抗 网 络(Single Image Dehazing Generative Adversarial Network,SIDGAN)。该网络的新颖之处在于没有采用现有的损失函数,而是采用了由暗通道先验衍生出来的颜色一致性损失和感知损失相结合进行训练。Engin 等47人通过聚合循环一致性损失和感知损失,利用 CycleGAN 体系结构引入 Cycle-Dehaze 网络。这是一种端到端的用于单幅图像去雾问题的增强型 CycleGAN 模型,采用无监督的方式训练。此外,该方法不依赖于大气散射模型参数的估计。针对 Cycle-Dehaze 网络去雾后的图片比较模糊,且出现了颜色失真的情况,付星堡等人48提出了一 种 改 进 型 的 CycleGAN 网 络。该 网 络 对CycleGAN 的生成器进行了改进,利用级联的残差块和残差密集块提高图像内容特征和风格特征的提取能力,分别利用 CBAM 和 CAM 注意力模块对提取的特征进行加权融合,最后利用拉普拉斯金字塔重建去雾图像,有效解决了传统 CycleGAN 去雾后颜色 失 真 的 问 题。同 样 地,丁 泳 钧 等 人49在 CycleGAN 的基础上通过引入颜色损失和特征损失进一步改进了该网络,改进后的网络解决了去雾过程中图像失真的问题,更好地保留了图像的颜色和细节信息,提升了图像质量。Chen 等人50基于 GAN,提出了一种端到端门控上 下 文 聚 合 网 络(Gated Context Aggregation Network,GCANet),独特之处在于采用了平滑扩展技术,以帮助消除广泛使用的可忽略额外参数的扩展卷积所造成的网格伪影。该网络对于输入的有雾图像,编码部分首先将其编码为特征图,然后通过聚集更多的上下文信息和融合不同层次的特征来增强图像。该方法虽然简单,但与以往的图像去雾算法相比有很大的优势,且泛化能力强,应用于图像去雨任务也能获得不错的效果。针对自然雾霾场景中雾浓度级别的不同,Cong等人51提出了一种基于 StarGAN52离散的雾霾等级去雾网络(Discrete Haze Level Dehazing Network,DHL-Dehaze)。该方法推翻了将雾霾图像简单地归为一个域的说法,而将去雾问题视为多域图像到图像的转换问题。除此之外,DHL-Dehaze 还是一个完整的端到端深度网络,不需要大气散射模型来估计参数或成对数据来训练模型。此类算法的分析对比如表 4 所示。电讯技术 2023 年表 4 无监督学习去雾算法对比分析算法优点缺点适用场景数据集客观评价指标发表年份/年DDN44利用解纠缠机制使重构 图 像 更 具 吸引力生成的感知无雾图像和地面真实情况可能不符不追求复原细节的图像训练集:D-HAZY测试集:HazyCityPSNR、SSIM、CIEDE20002018SIDGAN46对各种真实场景具有很强的鲁棒性,能够生成色彩和细节更加真实的图像采取的先验在真实场景中易失效导致算法失败真实环境下不同程度的雾霾场景训练集:RealHaze、RESIDE-RTTS测 试 集:RESIDE(OTS、HSTS)PSNR、SSIM2021Cycle-Dehaze47引入循环机制,实现 了 比 CycleGAN架构 更 高 的 图 像质量雾霾浓度增加,性能下降丰富纹理信息的室内图像NYU-Depth、I-HAZE、O-HAZE PSNR、SSIM2018文献48有效 解 决 了 传 统CycleGAN 带 来 的模糊和失真等问题算法复杂度较高,运行效率较低色彩较丰富的图像训 练 集:RESIDE-ITS、RESIDE-OTS测 试 集:RESIDE-SOTS、RESIDE-URHI、MSDPSNR、SSIM2021文献49更好地还原图像的细节特征和颜色信息,保真度较高去 雾 速 度 有 待提高均匀浓雾NYU-depth-v2PSNR、SSIM、运行时间2021GCANet50解决了网格伪影,去雾结果保持了图像的亮度,模型具备通用性数据集适用性低,应用场景受限浓雾和团雾图像;图 像 去 雨任务RESIDE-SOTSPSNR、SSIM2019DHL-Dehaze51有效去除多种不同雾霾级别的图像,很好 地 应 对 浓 雾条件多雾级大数据集的缺失,导致本算法只能在合成数据集上验证不同雾霾级别的真实图像基 于 NYU-Depth和 DIML/CVL 数据集合成两个具有多个雾度图像的大规模 数 据 集:MUL-NYU-HAZE、MUL-DIML-HAZEPSNR、SSIM、CIEDE200020203 研究展望3.1 基于大气散射模型的算法大气散射模型已被证明作为去雾的关键环节是有效的,但是也有研究表明,大气散射模型只是雾霾形成过程的近似,现有的物理模型基于大气中悬浮粒子具有空间不变性的假设,与真实的雾霾情况有较大差距。所以此类去雾算法应用于真实雾霾环境中会有较大局限性,性能往往会下降。因此下一步的工作可以对大气散射模型的准确性作更全面的调查。3.2 针对域偏移问题的算法此类算法直面当今图像去雾问题的痛点:在合成雾霾图像数据集上训练的模型不能很好地泛化到真实雾霾场景中。可见,使用真实雾霾图像数据训练模型是基于深度学习的图像去雾领域亟待解决的问题。但是由于大规模真实雾霾图像数据集的缺失,导致此类算法不能很好地推广。目前迫切需要具有成对真实雾霾图像的大型和可靠的数据集。3.3 针对算法能处理的雾密度问题考虑去雾算法的适用性问题,目前的去雾算法都存在局限性,雾浓度越高,去雾质量越差,尤其是在浓雾条件下会失效。去雾技术应用场景越来越广泛,交通监测、无人驾驶、实时检测等场景对图像和视频去雾要求较高,因此去雾技术应在不同场景下自适应,自主作出调整。现实环境中的雾密度更接5011第 63 卷李雅,王烈,滕思航,等:基于深度学习的图像去雾算法研究进展第 7 期近非均匀分布的,然而针对非均匀去雾的成果颇少,迫切需要更多的研究。3.4 更加轻量级的快速深度学习图像去雾模型随着深度学习的发展,模型变得越来越复杂,随之而来的模型参数也越来越多,对于模型训练的硬件要求也越来越高。利用神经网络中的模型压缩技术实现更高效的图像去雾算法是实现轻量级的有效途径。考虑到目前去雾算法普遍存在去雾效率低,在一些对实时性要求较高的场合不适用的问题,今后的研究可以从降低算法复杂度、减少内存消耗、节约计算资源的角度出发,使用硬件加速进程,如FPGA 加速。4 结束语 本文从有监督学习和无监督学习的角度对近几年经典的深度学习图像去雾算法进行了综述。监督学习去雾算法存在必须使用成对数据集来训练这一明显缺陷,且基于 ASM 的算法的去雾效果过度依赖于模型的准确性,限制了该类算法的普及;不基于ASM 的监督学习去雾算法虽然也具备一定的恢复性能,但依旧存在着对真实场景缺乏鲁棒性的问题。无监督学习去雾算法降低了模型训练的门槛和避免了数据集收集的复杂劳动,已被证实是更为可行的替代方法。图像去雾领域未来研究中值得注意的问题有提升算法鲁棒性和普适性、把更多关注点投入到非均匀图像去雾、降低算法复杂度、提高运行效率等。参考文献:1 SUJEESH K J,SHINY B,SUGATHAN P.Review p