一种面向城市道路的视觉图像去雾方法.pdf

第 卷 第 期贵州大学学报（自然科学版）年月 （）文章编号 （）：一种面向城市道路的视觉图像去雾方法向巍，钟魁松，张振博（贵州交通职业技术学院，贵州 贵阳 ；贵州大学 机械工程学院，贵州 贵阳 ）摘要：针对雾天环境的城市道路下自动驾驶车辆视觉感知效果不佳的问题，提出一种基于大气光值的快速图像去雾改进算法，并验证了算法的有效性。首先，制定了大气光动态估算策略，并设计了大气光动态估算的自适应触发函数，通过大气散射模型进行了大气光的估计；其次，利用最小滤波技术获取了雾天图像的暗通道图，并估算了对应的投射图像；再次，制定了大气光计算策略，并优化了去雾系数；最后，利用直方图均衡化算法抑制了残余噪声，进一步提升了无雾图像的对比度。实验结果表明，所提算法相比 、等在 和 性能指标上都有所提升，拥有更好的细节恢复能力和处理性能，更有利于交通信息的提取。关键词：自动驾驶；图像去雾；大气散射模型；动态大气光；暗通道；直方图均衡中图分类号：文献标志码：环境感知技术是自动驾驶领域的重要组成部分 ，尤其是随着近年来图像处理技术和计算机硬件技术的飞速发展，基于视觉的环境感知技术也有了较为广泛的应用。但视觉环境感知技术对环境可视条件依赖较高，尤其是在我国西南地区频繁的雨、雾等不利视觉条件下，自动驾驶车辆的视觉感知效果不甚理想。因此，针对雾天的图像恢复技术也是环境感知领域面临的难题之一 。目前针对视觉图像的去雾，按照方法机制主要分为三大类 。第一类是基于图像增强的方法，通过去除噪声、增强对比度等方法以达到恢复图像的目的，如直方图均衡化、小波变换、同态滤波等算法 。第二类是基于物理模型的方法，利用大气散射模型对图像进行恢复。如 等 提出的暗通道先验去雾算法，该方法效果良好，但针对天空区域存在较为严重的颜色失真，不适合非均匀天空条件的情况。针对这一问题，等 再次引入了引导滤波器，该算法在一定程度上解决了天空颜色失真的问题，有效提升了运行效率，但存在去雾不彻底的问题。文献 提出雾的浓度与景深变化的关系较大，即浓度越高景深越大，图像的亮度和饱和度相差也越大，基于该发现的颜色衰减先验去雾算法针对单图像去雾取得了较好的效果，但其中的重要参数对景深依赖较高，因此泛化能力不强。文献 提出了一种基于伽马校正先验（，）的去雾算法，采用全局搜索策略，泛化能力强。第三类是基于神经网络的去雾算法，其内涵是使用神经网络建立一个端到端的网络模型，通过有雾图像恢复出无雾图像。目前基于该方法的去雾算法主要有 种思路：一种是使用卷积神经网络（，）生成大气散射模型的某些参数，再利用大气散射模型来恢复图像 ；另一种是使用对抗神经网络（，）直接根据模糊图像生成无雾的清晰图像 。文献 首次提出了一种名为 的去雾网络，经过 的深层架构估算出有雾图像的透射率，代入大气散射模型恢复出无雾图像。文献 提出了一种利用叠加条件 的去雾网络，可对 各颜色通道独立恢复，具有较好的泛化性。基于神经网络的去雾方法具有效率高的特点，但由于缺乏真实的训练数据或者先验参数，一定程度限制了其去雾性能。本文立足于此前的工作基础 ，利用大气散射模型的最小滤波技术与限制，对大气散射模型参数重新进行了优化，提升了算法性能，同时引入了收稿日期：基金项目：贵州省科技厅重大专项资助（黔科合重大专项字 号）作者简介：向巍（），男，副教授，研究方向：汽车检测与运用，：通讯作者：张振博，：限制对比度的直方图均衡算法并重新设计了对比度增强模块，提升了去雾图像的对比度，并将本文算法在无参考评价指标下进行了测试。算法原理在车辆行驶过程中，短时间内相同场景的光照变化不大，近似认为该条件下大气光值不变。该假设条件下，基于大气散射模型的连续图像去雾算法可在同场景下短时间内变化不大的图像帧上动态估计大气光值。由于大幅减少了大气光值估计频率，此方法可节省处理时间，且对雾天图像的恢复影响不大。在此设计一个自适应触发函数，当触发条件成立时对图像帧进行大气光值估算。为了避免场景过度平缓而导致触发函数失效，规定触发条件未达成的情况下，每 强制触发计算大气光值并迭代至下一轮，再依次进行透射图估计和无雾场景的恢复，最后对图像帧进行自适应直方图均衡处理，以提高图像的对比度和亮度，改善图像质量。算法流程如图 所示。图 算法流程图 自适应触发函数理想状态下同场景连续帧之间的图像特征变化不大，常见相似评价指标有均方误差（，）、均方根误差（，）、结构相似性（）、峰值信噪比（，）和通用质量指标（，）等，其中 计算速度快且算法简单，适用于视频图像中前后两帧的相似度评估，其数学表达如下所示：，（，）（，）（）式中：、分别为图像的长、宽；为当前帧图像；为上一帧图像。为了进一步探索真实的雾天交通图像特征，针对自建雾天数据进行了相似度实验，其中场景 均采用了 的城市道路、高速公路等场景下多个时段的真实雾天交通视频，涵盖了城市道路、高速公路等多个场景，统计所得数据如表 所示。表 同场景下的图像帧的 相似度统计 场景均值方差（）表 是 个场景下的图像相似数据，对比多组数据可直观得出同场景的 均值一般不大于 。受数据启发，选用该数据为自适应触发函数阈值，并设计自适应触发函数如下所示：，（，），（）式中：，为当前帧的相似估计值；为近 帧的相似均值；为相似度阈值，经上述分析，取常数 ；为近 帧相似度的方差；为相识度方差阈值，取常数 。当 则触发函数，对当前帧进行大气光值估算，则反之。第 期向巍 等：一种面向城市道路的视觉图像去雾方法 大气光估计在计算机视觉和计算机图形中，大气散射模型广泛用于定义有雾图像的基本描述，如下所示：（）（）（）（）（）式中：（）为有雾图像；（）为去雾图像；（）为透射率；（）（）为直接衰减项；为大气光值；（）为自然光在空气介质的作用下所受到的强度影响。空气介质相同且均匀分布的情况下，（）可定义为（）（）式中：为大气散射系数，天空绝对清晰时，否则；（）为图像深度。根据式（），可得（）（）（）（）透射图估计 暗原色先验理论 等 通过大量实验，发现了在多数的非天空局部区域里，总存在至少有一个颜色通道数值很低的像素，即暗原色先验理论，数学定义如下：（）（，（）（）式中：为 （）的暗原色通道；为 （）的每个通道的分量值；为滤波窗口遍历图像时选定的区域；、分别为 （）在 个颜色通道下对应的分量；，为作用于所有像素；（）为最小值滤波器；（）为以像素 为中心的最小值滤波器的滤波窗口。此处 （）根据局部像素的大小取不同的值，即（）像素 像素 像素 （）通过暗通道图从有雾图像中获取大气光值，从暗通道中按亮度从大到小取前 的像素，在这些像素的位置中，于 （）中寻找对应的具有最高亮度的点的值作为大气光值，表达式如下：，（）（）（）由于在实际雾天环境中大气光的光照强度在每一帧中的变化不会太快，因此不需要计算每一帧的大气光值。针对这一特性，本文采用跳帧估算大气光值的策略，如每秒 帧的视频图像下，每隔 帧（）逐次计算大气光值。此方法在一定程度上节省大量的计算时间，提高视频去雾的实时性。基于引导滤波的透射图估计大气光值已知时，对式（）作变换，输入帧的每个像素都除以大气光值，可得（）（）（）（）（）假设局部 （）连续，且每个窗口内透射率为常数珓（），则式（）可变换为 （）（）珓（）（）（）珓（）（）式中，为所求的无雾图像。根据暗原色先验理论，得 （）（，（）（）由此可以推导出：珓（）（）（）（）珓（）即为透射率的预估值，使用引导滤波 能够有效保持边缘，使图像细节平滑，且能快速处理。文献 使用暗通道先验完全去雾后，天空区域往往会出现较大面积的纹理、分块及光晕等现象。为避免这一现象，本文取去雾系数 ，即在保证去雾质量的前提下保留一定的雾。经验证，该方法有效规避这一问题，同时也有利于感受景深存在，避免图像失真，以便进行下一步操作。无雾图复原由式（）所示的大气散射模型整理得到的无雾图像复原公式如下所示：（）（）（）（）将式（）和式（）代入式（）即可求得无雾图像。对比度增强经过上述方法处理后的图像虽然质量有所提升，但由于保留了一定的雾，图像仍存在对比度不足、暗淡等缺点，在此对图像进一步做限制对比度自适应直方图均衡处理 ，以突出图像的特征和细节。直方图均衡化是一种根据色彩通道的值对像素进行分散以获得更好的图像对比度的图像处理技术 ，可有效提升去雾后图像的对比度和亮度。贵州大学学报（自然科学版）第 卷本文为了突出道路特征，提高图像的局部对比度，采用自适应直方图均衡，即将图像分成若干块，分块进行直方图均衡化处理。同时为了限制对比度调整过大，造成图像失真，对局部对比度进行限制，设置 颜色对比度阈值，即限制对比度自适应直方图均衡。对比度增强模块算法流程如下：输入：（）预处理：颜色通道分离 对比度增强：实例化自适应直方图均衡化函数，限制对比度系数 ，窗口尺寸 ：各颜色通道的自适应直方图均衡化 ：颜色通道合并 输出：（）实验与分析为验 证 本 文 算 法 的 增 强 效 果，分 别 采 用 、等算法与本文算法在相同实验条件下进行实验。实验平台参数：（），专业工作站版操作系统，实验环境为 。本文算法最小值滤波器半径为 ，引导滤波器的窗口尺寸为 ，去雾系数 ，颜色对比度阈值为 ，像素均衡化网格大小为 ，采用 数据集进行去雾测试，其中 包含了 张真实雾天图像，覆盖了交通、景观等多种自然场景。对去雾后的图像在 模型下进行交通参与者的目标检测实验，各算法对应的去雾效果和颜色分布直方图如图 所示，目标检测效果如图 所示。（）（）（）（）（）（）（）图 不同算法的去雾效果与颜色分布直方图对比 由图 可知：去雾效果微弱，图像质量提升不明显；在效果上略胜于 ，但图像质量提升依然不明显；算法处理后的图像暗部对比度不高，细节等特征不清晰，且天空区域有光晕；算法色彩对比度不高，整体颜色失真，去雾效果较差，且道路等细节特征不突出；处理后的图像整体亮度不高，且图像色调过度不佳，存在晕影的现象；相比而言，本文算法处第 期向巍 等：一种面向城市道路的视觉图像去雾方法（）（）（）（）（）（）（）图 不同算法去雾图像的目标检测对比 理后的图像亮度、对比度提升明显，图像细节清晰，道路及车辆特征明显，且最大程度保留了真实色彩。通过对比各算法图像的颜色直方图分布可知：原图像颜色分布呈频率稀疏、频段区间窄，且主要在频段分布上较为极端，而对理想图像的颜色直方图分布特点则是频率密集、频段区间宽，主要分布于中频区间；在颜色频率上相对原始图像密集一些，但依然与之差别不大；相对前者而言，和 则在颜色频率和频段上都有提升，所得颜色直方图频率更加密集，频段也有了扩展；受算法自身局限性的影响，的光晕实质上是一种高频色调，所体现的颜色直方图频率分布也主要集中于高频；处理后的图像频段也有相应的扩展，并且主要偏向于中频，但是由于频率分布稀疏，所对应的图像对比度也不高；本文算法对应的图像颜色直方图无论是在频率、频段和分布上，相比较其他几种算法都更接近于理想分布状态，频率主要集中在中间频段且逐渐向两端递减，在低中、中高频段过度也较为平滑，基本没有上述算法的断崖式的变化，频率分布均匀且密集，在颜色区间上较为全面，因此图像对比度更好，细节信息也更为丰富。并且，由图 可知：和 在检测精度上相比原始图像提升不大，和 算法增强后的图像检测精度有所提升，则在包含天空的交通场景下检测效果不佳，而本文算法在检测精度上相对较高，在一些小目标上也略胜一筹。因此，增强后的图像对目标检测等下游算法也更加友好。由于道路环境复杂多变，无法获取无雾条件下某位置的标准图像，因此图像评价的全参考（如 等）指标不适用。本文采用 、和 等无参考的客观评价指标进行验证，表 为本文算法与其他几种算法在 数据集下的评价数据，其中最优数据用粗体标出，次优数据用下划线标出。表 无参考图像评价下的算法对比 算法 原雾图 本文 由表 可知：本文算法处理后的无雾图像在各评价指标下都表现很好，在 和 方面表现最优，且与次优数据对比明显，虽然在 评价下不及 ，但二者相差甚小，依然有着较好的数据表现。为进一步验证算法性能，针对不同算法下，分辨率为 、的真实雾天视频分别进行了去雾试验，视频时长分别为 、，所得性能数据如表 所示。由表 可知：在 分辨率下，本文算法性能是 的 倍，的 倍；在 分辨率下，较 提升了 倍，较 提升了 倍；相比其他 种算法中性能最优秀的 算法，在分辨率降低 倍的情况下，算法性能提升了 倍，而本文算法在同样的实验条件下的性能提升了 倍，性能优势依旧明显。相比其他几种算法而言，本文算法拥有更好的图像处理性能。贵州大学学报（自然科学版）第 卷表 视频去雾的性能数据对比单位：算法分辨率 本文 结论本文基于动态大气光的暗通道先验理论和直方图均衡化算法，改进了一种快速、有效的图像去雾方法，在 、等无参考指标下有着很好的图像性能。在暗通道先验去雾的基础上优化了去雾系数，较好地规避了天空区域的问题。对去雾图像进行了限制对比度的直方图均衡化处理，增强了道路与背景的对比度，凸显了道路信息，更有利于交通目标等信息的提取，对自动驾驶系统做出正确决策具有较大的指导意义。同时，基于大气散射模型的去雾方法，自适应地动态估计大气光值，节省了大量的时间，拥有更好的图像处理性能。参考文献：，：，：，（）：，：，：，：，（）：，（）：，（）：，（）：，：，：，：，（）：，（）：，：，：，（）：，：?，：，：，：，：，（）：，：钟魁松，冯治国，张振博，等雾天道路下智能车视觉图像实时快速去雾研究 汽车技术，（）：，（）：毕秀丽，邱雨檬，肖斌，等基于统计特征的图像直方图均衡化检测 计算机学报，（）：第 期向巍 等：一种面向城市道路的视觉图像去雾方法 ，（）：，“”，（）：，（）：，：，（）：（责任编辑：周晓南），（，；，）：，：；贵州大学学报（自然科学版）第 卷