结合线性景深和自适应雾浓度的去雾算法_张帅.pdf

：结合线性景深和自适应雾浓度的去雾算法张帅，杨燕，林雷（兰州交通大学 电子与信息工程学院，甘肃 兰州 ）摘要：针对图像去雾中由于景深 和 大 气 光 估 计 不 准 确 等 问 题，导 致 军 事 监 测、目 标 检 测、导 航、无人驾驶等系统成像设备获取到的 图 像 质 量 下 降，提 出 一 种 结 合 线 性 景 深 估 计 和 自 适 应 雾 浓 度 估计的去雾算法。首先，依照景深与 亮 度 分 量 和 饱 和 度 的 关 系，利 用 双 滤 波 优 化 二 者 高 亮 区 域，结合线性转换建立线性模型估计景深。然后，提取纹 理 特 征 构 造 雾 浓 度 模 型 求 取 自 适 应 散 射 系 数，通过所求景深与自适应散射系数得到透射率。最 后，根 据 对 雾 图 是 否 含 有 天 空 区 域 的 判 决，采 用两种不同的大气光估计方法。实验 结 果 通 过 与 不 同 去 雾 算 法 定 性 和 定 量 分 析，所 提 出 的 方 法 在保留深度边缘、颜色质量及细节方面具有良好的有效性和鲁棒性，图像恢复质量也相对较佳。关键词：图像去雾；景深估计；线性模型；散射系数；雾浓度；大气光中图分类号：文献标识码：文章编号：（），（，）：，：；引言雾天天气的出现使得采集到的图像具有质量下降、可辨识度差等问题，因此，在恶劣天 气下 提升有雾图像的质量和增强系统的鲁棒性具有重要的科学意义和广泛的应用价值。随着国内外学者对去雾方法的不断研究，现其处理方法大致可分为 基 于 图 像 复 原与 基 于 深 度 学 习 这光 电 子 激 光第 卷 第期 年月 ：收稿日期：修订日期：基金项目：国家自然科学基金（）、甘肃省高等学校产业支撑计划项目（）和兰州交通大学研究生教改项目（）资助项目两类。基于图像复原的方法主要是利用先验规律并结合大气散射模型分析图像的退化原因，得到 无雾图像的同时更好地保留图像的细节信息。利用该类方法得到的无雾复原结果色彩还原度较 高，更贴近无雾条件下的真实场景。例如，等通过大量的实验提出的暗通道先验算法，能 够有 效复原出无雾图像，并且符合 物理 规 律。但 利用 该算法求得的天空区域透射率过小，导致含有天 空或过亮 区 域 的 图 像 产 生 颜 色 失 真 的 现 象。等针对非局部图像去雾过程中易丢失图像边缘信息，提出了一种非局部先验算法，但该算法在天空与非天空过渡区域易出现过饱和现 象。等提出的利用分段函数代替最小值滤波的方法，改善了传统方法易在景深处突变的问题。等提 出 了 一 种 利 用 差 分 先 验 的 去 雾 算法，通过设计一个度量函数评估局部 雾 霾 斑块 的雾霾级别达到去雾的目的，但该方法在薄雾场 景下容易出现去雾过度的 问题。然 而，上 述 技术 在场景深度区域获取透射率时会产生一些伪影，或者是求取透射率计算复杂度较高，导致最终恢 复的无雾图像效果不佳。近年来，随着深度学习的发展，慢慢也将训练学习融入到去雾当中。如 等 提出了一种多阶段空间变异的递归神经网络，它通 过 分 布过 滤雾霾，并以端 到 端 的 方 式 达 到 除 雾 的 效 果。等 提出了一种特征融合注意力网络，利用这种网络可以直接完成有雾图像至无雾图像的转 换。等 提出了一种 仿 射双 边 网 络，通 过 多引导双边学习高清图像的方法，仿射 图 像 的高 质量特征，以此达到去雾的目的。但是，深度学习的方法在去雾问题上也充满了不确定性。由于运用深度学习处理有雾图像时缺少大量真实的场景图进行训练，使用的大多是合成图像，从而造成此类方法去雾效果不稳定，在部分真实场 景 下 去雾 不彻底。针对现有算法存在的去雾效果不理想，色彩差异严重等问题，本文结合双滤波操 作 利 用景 深与亮度和饱和度之间的关系构造两种不同的线性模型并进行融合得到景深估计，然后 通 过 雾浓 度设定自适应散射系数，进而得到透射率粗略估计。同时，为了改善雾图大气光值求取不准确的问题，采用双选大气光的方法，根据判断雾 图 是 否含 有天空区域进行大气光的求取，获取更精准的大 气光，改善图像的视觉效果，最后依照大气散射模型获得清晰复原图像。大气散射模型在计算机视觉领域，通常利用大气散射模型对有雾图像进行复原处理，数学模型如下：（）（）（）（），（）式中，（）表 示 雾 天 场 景 下 获 取 到 的 有 雾 图 像，（）为所 求 的 无 雾 复 原 图 像，表 示 大 气 光 值，（）表示透射率。其中，当空气中含有分布均匀的悬浮粒子时（）可以表示为：（）（），（）式中，为大气散射系数，（）为场景信息。根据大气散射模型，结合式（）可得无雾图像（）为：（）（）（），），（）式中，表示透射下限，设为，防止分母趋于。本文算法本文提出的结合线性景深估计和自适应雾浓度分布 的 去 雾 算 法 流 程 如 图所 示。具 体 步 骤 为：）通过景深与亮度和饱和度的关系，利用双滤波优化并结合线性转换构造线性模型估计景深；）基于图像纹理特征设定雾浓度影响因子求取雾图的雾浓度分布，构造雾浓度模型得到自适应散射系数，并结合景深获取透射率；）提出不同的大气光求取方法，结合细化透射率与大气散射模型得到无雾图像。线性景深估计 等通过对大量雾图进行实验研究，发现图像的场景深度、雾浓度和亮、饱和度之差存在一种线性关系，如式（）所示：（）（）（）（），（）式中，（）表示雾浓度，（）表示亮度分量，（）表示饱和度分量。图表示了景深与雾浓度、亮度、饱和度的关系，由式（）与图可知景深与亮度呈正相关关系，与饱和度呈负相关关系。因此，可将式（）改写为：（）（）（）（）。（）由于有雾图像中可能会含有纯白或过亮区域，而这些区域通常含有较高的亮度值与较低的饱和度值，会影响景深的准确估计。因此，本文采用最小滤波和引导滤波相结合的双滤波操作对亮度与饱和度进行处理，使得在去除图像中亮斑的同时，避免了二者出现块状效应，（）（）（），（）（）（）（），（）光 电 子 激 光 年第 卷图本文算法流程图 图亮度、饱和度与景深的关系：（）有雾图像；（）亮度、饱和度与景深的关系 ：（）；（）式中，为滤波窗口，表示引导滤波。根据式（），场景深度与亮度和负饱和度呈正相关关系，因此，景深与亮度和饱和度可近似表示为：（）（），（）（）（），（）式中，、表示斜率，、表示截距。由于存在两种未知参数，求解方程较为困难，因此本文利用线性转换原理，使景深由自变量转换为因变量，亮度、饱和度由因变量转换为自变量，构造二次函数并取分段区域近似表示式（）、（），以消减未知数。二次函数曲线如图曲线所示，取坐标轴（），（）；（），（）。图中的 表示（）与（）的最小值，表示（）与（）最大值。当 时，；时。由于式（）、（）中存在两个未知数，导致曲线弯曲程度不定，所以在 ，范围内用斜线表示式（）、（）两个线性分段函数。图线性变换曲线：（）亮度变换曲线；（）饱和度变换曲线 ：（）；（）根据图曲线，可求得分段区域内（）（）（）、（）（）（）。其中，、表示（）与（）的最大值与最小值，因此，（），（），将二者视作为亮度与饱和度系数，结合式（）中景深与亮度饱和度差值成正相关关系，本文定义一种新的景深模型（见图），即：（）（）（）（）（）。（）第期张帅等：结合线性景深和自适应雾浓度的去雾算法图雾图及其特征求取：（）雾图；（）细化后亮度分量；（）细化后饱和度分量；（）景深估计 ：（）；（）；（）；（）自适应雾浓度分布在有雾图像中，根据在空中的介质悬浮粒子的混乱程度，人眼能直观观察到雾浓度的分布情况。大多数情况下，混乱程度越高，雾浓度分布越浓密，从而使得景深处的图像亮度升高，饱和度降低，所以，雾浓度与景深呈正相关关系。此外，当在一些景深雾浓处，由于纹理特征较为模糊，其纹理信息通常不可见。基于这一观察，本文结合上一节所得景深估计与图像的纹理特征构造一种自适应雾浓度分布模型。首先，利用高斯金字塔 来求取图像的纹理特征。对有雾图像进行降阶采样，自底向上构成塔状模型，以此模拟人眼的模糊观察程度，并将最终上采样结 果 作 为 有 雾 图 像 的 纹 理 特 征（）。具 体 步骤为：）求取有雾图像的灰度图，并对灰度图做高斯模糊处理，窗口大小为 ；）对模糊后的图像进行降阶采样，大小为原来尺 寸 的，并 对 下 采 样 图 像 继 续 做 高 斯 模 糊处理；）对第）步模糊处理后的图像同样进行降阶采样，大小为原来尺寸的；）对第）步得到的模糊图像进行升阶采样，尺寸大小恢复为原有雾图像尺寸，将得到的升阶采样结果定义为纹理特征（）。因此，基于景深和纹理特征的雾浓度分布估计模型为：（）（）（），（）式中，为纹理特征对雾浓度的影响因子，其取值越大，求得的雾浓度越高，图中纹理信息越不明显。若想得到准确的雾浓度分布，需对该影响因子进行估计。图选取一幅雾图观察其在不同取值下估计出的雾浓度分布及相应取值下的图像复原结果。从图可以看出，影响因子的准确选取对雾浓度的估计至关重要。以取.为例，此时景深与纹理特征的权重比为，含雾的景深不可见区域占全图的，可见纹理特征占；而当取.时，占比分布恰恰相反。可以得出结论，当景深递增，纹理特征越来越不明显时，此时式（）中景深的权重占比小于纹理特征，即影响因子变大。因此，景深与影响 因 子 在 所 定 义 的 雾 浓 度 模 型 中 也 呈 正 相 关关系。图不同下所求雾浓度分布及复原结果：（）雾图；（）（）分别取、时得到的雾浓度分布情况；（）（）（）（）所对应的复原结果 ：（）；（）（），；（）（）（）（）光 电 子 激 光 年第 卷本文利用景深的平均信息来拟合纹理特征在不同雾浓度区域的分布情况，并选用指数函数方便函数可控。引入不同区域下图像块中的像素个数，从而获得不同区域下的纹理特征信息占全局纹理特征信息的大小，以此得到影响因子函数的准确估计，（）（），（）式中，（）表示影响因子估计函数，表示不同区域图像块中的像素个数，表示取均值。利用对数函数近似表示景深由近至远的变化，代表雾浓度的递 增，取 ，目 的 是 防 止 对 数 运 算 趋 于 负无穷。此外，因为雾的存在是感知景深的基本线索，在雾浓度的估计过程中需要保留部分远处的雾，以获得更好的视觉效果，所以，本文对所求得的（）值进行分段阈值处理。设定固定阈值为，当（）时，将其定义为浓雾区域，此时（）；当（）时，雾浓度随景深的变化而变化，此时（）保持不变。将分段阈值处理后求得的雾浓度定义为（），因此（）映射到（）的操作过程为：（）（）（）（），（）（）。（）图为不同值下得到的去雾结果，根据该复原结果，本文选取.。此外，为了使雾浓度更加平滑，本文采用引导滤波对所求雾浓度进行细化。图不同值的去雾结果 透射率估计 等为了避免散射系数选取错误，从而导致透射率估计出现偏差，将选取为定值（通常设置为），但由式（）可知，散射系数决定了去雾的强度，且随着的增大，透射率随之减小。本文选取了各种不同的取值及对应的透射率和复原图，如图所示。图不同下的透射率及复原结果：（）、（）；（）、（）；（）、（）：（），（）；（），（）；（），（）从图中可以看出，随着的增大，图像去雾效果也愈加明显。但当值取值较小时，图像远景区域存有残雾；取值较大时，远景区域的雾气虽得到了较好的消除，但近景区域却出现颜色失真。由此可得出结论：与景深呈正相关，根据式（）与式（），景深与雾浓度也呈正相关，可进一步推出与雾浓度呈正相关。因此，本文结合上一节所得雾浓度，提出一种根据雾浓度分布的自适应散射系数模型：（）（），（）式中，为常数，用来调整的取值。从不同值复原图中可以看出，值越小，图像残雾越多，去雾越不彻底；值越大，图像残雾越少，去雾越彻底。但当过大时，会使图像饱和度过高，从而产生失真现象。因此经过实验（见图），本文选取。结合式（）、（）、（）可得到透射率的粗略估计（）：（）（）（）（）（）（）。（）由于估计散射系数时加入了纹理特征，在求取透射率时可能会产生纹理效应，因此本文引入正则第期张帅等：结合线性景深和自适应雾浓度的去雾算法化迭代优化方法对其进行细化。首先，引入加权函数（，）：（，）（）（），（）式中，（）和（）是图像中两个相邻像素的透射率。为了得到最小化代价损失函数，利用 范数约束透射率，从而优化粗略透射率与细化透射率之间的关系：（）（）（），（）式中，左 项 为 数 据 项，右 项 为 范 数，为 一 组 算子，为正则化系数。设定辅助变量，采用分裂变量的方法，构造新的代价函数对式（）进行最小化：（）（）（），（）对上式进行偏导取，可求取细化透射率（）。其中参数的缩放因子为 ，迭代范围在到 内进行。最终细化结果如图所示。图不同取值的去雾效果：（）雾图；（）；（）；（）；（）；（）；（）：（）；（）；（）；（）；（）；（）；（）图透射率细化结果：（）雾图；（）粗略的介质传输率；（）迭代一次后的效果；（）迭代两次后的效果；（）迭代三次后的效果；（）复原结果 ：（）；（）；（）；（）；（）（）双选大气光恢复图像的视觉效果取决于大气光的选取。本文根据图像是否含有天空区域提出一种双选大气光的求取方法。针对含有天空的有雾图像，为保证感官效果，大气光的估计区域应尽可能地选择在天空，因此，本文对有雾图像的天空区域进行提取。依据麻雀搜索算法，结合目标函数寻找最佳分割阈值，精准地分割出天空，并将天空的像素均值作为大气光。首先，引入 非广延相对熵函数，以完成对有雾图像进行自适应阈值分割：（）（）（），（）式中，参数称为 相对熵的非广延指数，和为两个离散的有限概率向量。根据麻雀搜索算法的寻优准则可知，最佳阈值的选取应满足个分割阈值，使式（）值最小。因此，最佳分割阈值的集合获取函数即为麻雀搜索函数的适应度目标函数：（）。（）对有雾图像进行单阈值分割后的结果如图 所示，其中麻雀搜索适应度函数的种群数量与迭代次数均为（由麻雀算法获得的最优阈值为 ，相对熵值为 ）。迭代次数在 次左右适应度值趋于平衡，说明寻优结束已找到最佳分割阈值。分割后在非天空可能存在纯白物体会影响大气光的选取，所以保留最大连通区域。将分割后的天空区域光 电 子 激 光 年第 卷表示为 ），因此，大气光值可以表示为式（）：（）（），（）式中，表示 三通道，是 （）中值为的像素数。在含有天空区域的雾图中，天空到非天空区域像素灰度变化较为明显，采用单阈值分割就能清晰分割出天空区域。如图 所示，不含天空区域图像随景深增加雾浓度也随之递增，导致图像像素灰度变化不稳定，因此分割不含天空区域的雾图需采用多阈值分割。以此可判断雾图是否含有天空区域：对不含天空区域的雾图单阈值分割后，将分割结果的像素灰度级概率分布与原始图像进行一致性测试时，麻雀搜索无法达到 最小相对熵值，导致适应度函数无法迭代，分割结果为黑色图像，此时默认图像不含天空。当图像不含有天空时需要重新估计大气光，对于不含天空图像，本文在四叉树估计的基础上进行改进。选取景深图像作为四叉树分割对象，避免选定大气光求取区域时存在高亮噪声等产生的影响如图 所示。具体步骤为：）本文将所求景深图分为个矩形区域。计算图 天空区域分割：（）雾图；（）粗分割；（）精细分割；（）适应度函数 ：（）；（）；（）；（）图 不含天空雾图分割：（）雾图；（）单阈值适应度函数；（）双阈值适应度函数；（）单分割；（）双分割 ：（）；（）；（）；（）；（）第期张帅等：结合线性景深和自适应雾浓度的去雾算法每个区域的像素平均值减去该区域的标准差，将其记为该区域的得分；）标记出得分最高的区域，将该区域等比划分为个小的区域；）重复）、）步骤，直到所选区域面积点处于景深较远处且小于 个像素点时，大气光值求取范围选定为该区域，记为 ；）在选定的区域中求取该区域的平均值 （）作为大气光值。图 不含天空雾图的大气光选取：（）四叉树大气光选取位置；（）本文算法大气光选取位置；（）等复原结果；（）本文算法复原结果 ：（）；（）；（）；（）实验仿真及分析为了验证本文算法的性能，本文选取了几组有雾图像并从主观与客观评价以及测试集验证个方面上与其他几种算法进行比较与分析。主观评价如图 所示，本文选取、等的算法进行去雾效果对比。针对浓雾图像，等算法整体呈现过饱和现象；等的算法与 等的算法复原结果均留有不同程度的残雾；等算法与 等算法则出现较为严重的去雾不彻底现象；本文算法较为准确地估计图像的雾浓度，在浓雾图像处理上复原效果较好。在薄雾图像的处 理上，等、等、等算法均出现了颜色失真，尤其是 等算法出现了整体色彩偏移的现象，等与 等算法也由于透射率估计过小的问题出现了不同程度的去雾过度现象；等算法在薄雾图像的处理上较为良好，但在景深突变处仍留有部分残雾；等算法复原结果存在锐化过度的现象。从含有天空的场景恢复对比可以看出除 等和等的算法外，其余算法复原天空均出现了颜色失真的情况；等的算法在天空与非天空交界处出现了明显的白边，这是由于等的暗通道先验在天空区域不适用的原因；等和等所提出的算法虽然在天空区域恢复较为自然，但在非天空区域去雾不彻底的现象较为明显，与等人相反，该现象是由于在透射率估计上过大所造成的。由此看出本文算法在含有天空区域的雾图中表现良好，间接说明本文算法的可行性。图 图像复原效果的对比：（）雾图；（）；（）；（）；（）；（）；（）：（）；（）；（）；（）；（）；（）；（）光 电 子 激 光 年第 卷 客观评价主观评价只体现在视觉方面，相较于主观评价更需要从理论的客观角度进行对比。因此，本文依据无参考图像质量评估 方法，选 取直方 图 相 似 度 、平均梯度、饱和像素数占比与运行时间对主观评价中所选图像进行分析。如下式所示：（），（）（），（），（）式中，和分别表示有雾图像与无雾图像的直方图分布，为处复原图像与原有图像的平均梯度比，为复原图像的可见边集合。其中直方图相似度 、平均梯度越大越好，饱和像素数占比与运行时间越小越好。实验对比数据如图 所示（图中数据为平均值）。可以看出：本文算法在直方图相似度、归一化平均梯度、饱和像素数占比上获得了较为可观的成绩。但对于运行时间，由于本文引入群体智能算法，导致算法在对分割阈值寻优时耗费了些许时间，仅优于 与 算法。综合各个指标分析，并结合算法在主观评价上的表现，本文在去雾算法上有一定的优图 真实雾图客观评价：（）；（）；（）；（）：（）；（）；（）；（）势性。测试集验证针对合成测试集的部分，本文随机挑选了幅合成 雾 图 在 等 算 法、等 算 法、等 算法，这种数据驱动算法与本文算法的复原效果下对合成图像进行验证对比，对比效果如图 所示。可以看出本文算法在处理合成图像时天空区图 不同算法对合成图像的去雾效果：（）雾图；（）；（）；（）；（）；（）：（）；（）；（）；（）；（）；（）域色彩鲜亮，非天空区域细节信息明显，去雾效果良好。客观评价指标如表所示（表中数据为均值）。采用峰值信噪比（，）和结构相似性（，）来衡量各算法对合成图像复原效果的优劣程度。两者数值越大表明效果越好。可以看出本文算法在深度学习领域广泛使用的合成图像复原效果上与真实图像较为相似，评价指标也较为可观。表 测试集评测指标 结论本文从景深与亮度和饱和度的关系出发，利用双滤波处理的亮度、饱和度构造景深的线性模型与雾浓度模型分别估计了场景深度与散射系数，从而得出粗略的透射率估计。对于大气光的选取，本文针对雾图是否含有天空区域提出了两种不同的估计方法。实验结果表明，本文算法能适应多种场景下的雾图复原，且色彩鲜亮，明亮度适宜。尤其在直方图相似度、归一化平均梯度、饱和像素数占比、峰值第期张帅等：结合线性景深和自适应雾浓度的去雾算法信噪比、结构相似性等指标上有明显优势。参考文献：，（）：，：，：，：，：（），：，：，（）：，（）：，：，：，（）：刘策，杨燕基于自适应小波融合的单幅图像去雾算法光电子激光，（）：，（）：李雅梅，吴光英，张旭佳基于双通道及图像质量评价模型的去雾方法 光电子激光，（）：，：，：，：，（）：，（），：，：，（）：，：，（）：，（）：，：，（）：作者简介：杨燕（），女，博士，兰州交通大学教授，硕士生导师，主要从事数字图像处理、智能信息处理及语音信号处理方面的研究 光 电 子 激 光 年第 卷