基于暗通道的图像去雾改进算法.pdf

第 36 卷 第 5 期 武汉纺织大学学报 Vol.36 No.5 2023 年 10 月 JOURNAL OF WUHAN TEXTILE UNIVERSITY Oct.2023 _ _ *通讯作者：*通讯作者：罗维平（1967-），女，教授，硕士生导师，研究方向：智能控制及嵌入式系统、检测与大数据技术及应用、智能电网与新能源技术.基金项目：基金项目：湖北省数字化纺织装备重点实验室开放课题（DTL2022001）.基于暗通道的图像去雾改进算法 吴子凡a，罗维平*b（武汉纺织大学 a.机械工程与自动化学院；b.湖北省数字化纺织装备重点实验室，湖北 武汉 430200）摘 要：针对传统暗通道去雾算法对有雾图像处理后存在的颜色偏差问题和在天空区域与非天空区域上去雾的效果存在较大差异的问题，提出一种基于暗通道的图像去雾改进算法。该算法在大气光值与透射率值的计算上进行了相应的改进，首先通过暗通道相关的概念及其原理的计算得到原始输入图像的暗通道图，通过计算的最优阈值将原始图像分为天空区域和非天空区域两部分，然后在两部分不同的区域上分别使用不同的方法得到大气光值的估计值并且计算出透射率的值，再将得到的初始去雾图像通过导向滤波对得到的图像进行去噪，最后得到清晰的去雾图像。实验结果显示：本算法更能有效地展示图像的真实情况，避免其他环境因素的干扰，具有一定的优越性。关键词：暗通道；图像去雾；天空分割；引导滤波 中图分类号：TP391 文献标识码：A 文章编号：2095414X(2023)05004706 0 引言 雾天是最常见的恶劣天气，会降低图像的视觉质量，不仅对人类的视觉感知，而且对一些高级视觉任务都有不利影响，例如目标检测、图像分类、视频监控等，严重影响户外视觉系统的性能。在多雾天气条件下，由于大量颗粒物滞留在空气中对光线产生一些作用，户外拍摄的图像大多会受到天气的影响，这会影响获取和分析图像的正常信息，从而导致图像特征的提取不准确。同时，雾天会给人们的外出带来一些不便，并会对道路行人检测、道路标志识别、自动驾驶等产生一些影响。雾和霾经常一起出现，雾一般指的是雾气，是小水滴悬浮在空中，使得地面的能见度下降，但会随着太阳的出现而减小，但是霾是空气中的小颗粒形成的气溶胶系统，并不会随着太阳光的出现而消散，这将导致能见度降低和边缘信息的减少。获取到的图像不够清晰，主要细节极大可能会丢失，从雾天获得的图像中恢复出原始清晰图像，提高视觉系统的鲁棒性是去雾的主要目的，为了保证去雾图像预处理工作更好地进行，研究人员陆续提出了一些图像去雾的方法10,14,19。该方法是一种对图像进行预处理的方法，其目的是为了达到某些特定的要求，对原始图像进行去雾处理，使其特征信息表达得更加清晰。He等1提出了一种暗通道先验的图像去雾算法，通过分析大量室外无雾图像的特征，从而去除单一输入图像的雾。该方法去雾简单而且很有效，但在少数特定的场景使用时仍会失效，并且在有雾图像存在天空或大面积白色背景时，对透射率的估计会不准确，从而导致模型无效等问题。司振惠等2在先验的基础上对有雾图像进行去雾之前对原始图像进行了图像增强的预处理操作，最后得到的去雾图像具有很强的实用性。孙曦等3提出了一种使用了残差注意力机制方法的去雾方法，在真实数据集和虚拟数据集上都取得了较好的效果，并在去雾效果和处理时间上实现了平衡，但在面对天空区域和雾浓度不均匀的图像时会出现图像颜色的偏差和失真现象。张宏等4对暗通道先验进行了改进，提高大气光值估计值的精度的同时对亮度进行了均衡化和增强处理，使去雾后的图像细节丢失和对比度较低等问题得到了解决。基于此，本文在暗通道去雾的基础上进行改进，将天空区域分割成两部分并分别进行处理，相比于原始的暗通道去雾，本文大大减少了对天空区域去雾时出现的颜色失真和细节丢失等问题，并通过更加准确的计算透射率使去雾后的图像细节特征更加明显、对比度增强17、视觉效果也得到了改善。武汉纺织大学学报 2023 年 48 1 相关理论及方法 从雾天获得的图像主要会受大气光值和透射率两方面的影响。图像去雾可以分为图像增强和图像退化两种方法，前者的典型方法基于小波变换、偏微分方程、Retinex 等5-7，该方法的主要作用是调节图像的对比度和亮度，使图像的清晰度得到改变。为达到相应的要求，该方法通常需要对多种图像处理算法进行组合。后者的典型方法基于大气散射模型、神经网络的去雾、暗通道先验的去雾等8-9。该方法是通过图像退化的程度建立与之对应的数学模型，恢复出图像的细节信息并从图像中提取所需要的特征信息，使被雾气影响的图像得到恢复。而图像增强是忽略图像退化的过程，通过组合多种图像增强的方法来恢复出清晰的原始图像。图像复原则需要通过图像退化的过程模拟出图像退化的逆过程，通过对图像进行逆过程处理的方法得到清晰的去雾图像16。两种方法最终都使原始图像得到了恢复，并使图像的质量得到了提高，本文采用方法主要基于图像退化的方法。1.1 大气散射模型 大气散射模型表达式可以用下式表示：I(x)=J(x)t(x)+A 1 t(x)（1）式(1)中：I(x)表示输入的原始图像；J(x)表示处理后得到的清晰图像；A表示大气光值；t(x)表示透射率，透射率可以由以下表达式表示：t=e?(?)（2）式(2)中：表示大气散射系数；d(x)表示深度。在参数中最终要求得的参数为J(x)，而已知的参数有I(x)，故还需要计算出A和t(x)的值。在已知I(x)的前提下，对A和t(x)的值进行估计，将估计的值代入到大气散射模型中进行计算就能得到需要的无雾图像。而对这些参数的估计，就需要使用暗通道的相关原理。1.2 暗通道概念及原理 暗通道是指在一幅清晰的图像中，除了纯白区域或者天空区域以外的区域中，R、G、B 三个值中会有一个值是最低的，在此基础上提出了此模型，即对一幅清晰的图像，定义暗通道：?0 （3）如果一幅图像中 R、G、B 三个颜色通道的像素值都较高，图像的显示就会偏白色。在除了三个颜色通道的像素值都较高的区域和天空区域以外的区域中，把 R、G、B 三个值中最低的一个通道以特定的方式组合，就构建了一幅暗通道图。由于这些值是由大气光值决定的，故可以用来对透射率进行较为准确的估计，从而可以得到我们所需要的清晰无雾图像。定义暗通道的公式：?()=min?(?)(min?,?,?()（4）式(4)中?表示的是 R、G、B 的三个通道，通过(1)式化简推导出J(x)，对等式同时取最小值可以得到：min?(?)?()?=()min?(?)(?()+(1 ()?（5）从而得到清晰的去雾图像J(x)。2 算法流程 由于暗通道只能估计出非天空区域的透射率，故对天空区域的去雾效果不佳，天空区域还是存在图像模糊和颜色失真等现象，在现实情况中，图像中会出现很多类似于天空区域的远景部分，所以对天空区域的去雾很有必要。因此,本文将图像分解为天空区域和非天空区域通过不同的方法来分别进行处理。2.1 不同区域的分割 通过在暗通道图像中设置一个临界阈值 R，通过该阈值来区分天空区域与非天空区域。即：J?=?J?暗通道 RJ?暗通道 R （6）其中J?表示图像中天空区域的暗通道，J?表示图像中非天空区域的暗通道。在文献11中，通过多种数值计算的方法可以得到效果最佳的临界阈值 R11。2.2 天空区域去雾 针对天空区域的去雾处理13，本文使用了颜色衰减先验的方法12。通过图像的亮度、深度与饱和度之差存在的正相关关系，于是有：()=?+?()+?()+()（7）式(7)中，()表示饱和度；()表示亮度；()表示深度；?、?、?表示不同的系数；()表示随机误差，为随机值。令()N(0,?)，即有:()(?+?()+?(),?)（8）式(8)中，()和()表示的亮度和饱和度为已知参数，?、?、?、?为未知参数，故()表示的深度值无法通过上式计算得到。这里假设联合概率密度函数的每个像素出错概率相互独立，有：第 5 期 吴子凡，等：基于暗通道的图像去雾改进算法 49 =(?)?|(?),?,?,?,?)（9）式(9)中，n 表示像素总数，L 表示似然函数，结合公式(7)和公式(9)，可以得到：201220()exp()22iiinidgu xv xL（10）采用最大似然估计求取?，有：?=?(?(?+?(?)+?(?)?（11）将未知参数?，?，?通过梯度下降法进行估计，有：?=?(?(?+?(?)+?(?)?=?(?)(?(?+?(?)+?(?)?=?(?)(?(?+?(?)+?(?)（12）从而?，?，?变为已知参数，将其代入式(7)中可以推导出()的值，再将()的值带入到(1)式和(2)式中透射率()即可得到求解。2.3 非天空区域去雾 非天空区域的去雾可以在暗通道先验原理1的基础上进行一些改进，本文通过计算得到的透射率大气光值时做了一些改进，优化了大气光值估计值的计算，后续的处理则保持暗通道先验去雾的处理方法不变。通常情况下，上文大气光值 A 在式(1)中代表的是已知参数，但是其值通过对原始图像的暗通道进行相应的处理也能够得到。先从原始图像的暗通道图中提取出前 0.1%的像素并按亮度的大小排列，然后将原始图像I(x)输入到排列后的像素位置中，会出现一个亮度最高的位置，将该位置像素点的值即为 A 的值。将式(5)两边同时除以该方法得到的 A 值可以得到：min?(?)(?(?)?)=()min?(?)?(?)?+(1 ()（13）对于式(13)两边再次取最小值，得：min?min?(?)(?(?)?)=()min?(min?(?)(?(?)?)+(1 ()（14）由于得到的暗通道图像较为稀疏，所以大部分的数值为零或者趋向于零，由此得出：?()=min?(min?(?)?()0（15）但是通过后期效果图进行对比，实际上将上面得到的大气光值直接作为先验大气光值并不是特别合理，可能会使大气光值的估计值与实际值之间出现较大的误差。这里通过对天空区域与非天空区域的大气光值求平均，故先验大气光值由求得的平均值来表示，这样更为合理并且结果更为准确。即全局大气光值为：(1)darkdarkmedianmedianAxJx I （16）其中，?表示天空区域暗通道图像中的像素值的中间值；?表示非天空区域暗通道图像的像素值的中间值；表示天空区域的权重系数；=n/N，其中 n 表示天空区域像素的总数，N 表示图像像素的总数。用此方法得到的全局大气光值作为先验大气光值比原暗通道先验的取值更精确，且鲁棒性更强。2.4 引导滤波 上文得到的去雾图像中可能会存在噪声并出现细节丢失的现象，使图像的清晰度降低，基于此，本文通过引导滤波对去雾后的图像进行去噪处理。在引导滤波18的模型中，最关键的模型是局部线性模型，其模型简图如图 1 所示。图 1 局部线性模型简图 局部线性模型可以理解为某个函数上部分相邻的点可以组成一条直线并用相对应的线性函数表示，这样某些复杂的函数就可以用多个由线性函数组成的分段函数来表示，要获取原函数某一点的函数值时，只需将该点的横坐标带入线性分段函数相应的截断，即能获得该点的函数值。这里以二维函数图像为例，由上述原理可知该函数满足的线性关系在一个二维窗口内可以表示为：?=?+?,?（17）其中，q 表示输出图像；I 表示引导图像；i 和k 表示像素的索引；?和?表示当窗口的中心位于k 时该函数的系数。然后需要对线性函数的系数进行求解，即使线性函数输出的函数值与真实的函数值之间的误差最小，推导得到等价于使下式的值最小：(?,?)=(?+?)?+?)?（18）其中，表示正则化参数，p 表示需要进行滤波的图像。为了防止 a 的值过大，这里加入了正则武汉纺织大学学报 2023 年 50 化系数来对其进行调节控制，其是调节滤波器滤波效果的重要参数。通过最小二乘法进行计算推导，最终可以得到：?=?|?|?=?（19）其中，?表示 I 在窗口 w_k 中的均值；?表示 I 在窗口 w_k 中的方差；|表示窗口 w_k 中像素的数量；?表示待滤波图像 p 在窗口 w_k 中的均值。本文方法流程如图 2 所示。图 2 算法流程图 3 实验结果及分析 为了检验本文改进方法的有效性，在实验过程中分别选取多幅存在天空区域和不存在天空区域的图像进行测试，并分别与普通暗通道去雾和文献15的结果进行对比。实验平台为 64 位 windows10操作系统的计算机，显卡为 NVIDIA2080Ti，软件 平台为 PyCharm2022.164。3.1 实验结果 将本文算法在真实单图像去雾数据集RESIDE上与暗通道、DehazeNet 进行对比20，部分实验结果如图 3 所示。由图 3 可知，暗通道去雾在不存在天空区域时，受背景影响去雾不够彻底，在存在天空区域时，天空区域颜色失真较为严重。与暗通道 原图 暗通道 文献15 本文 图 3 不同算法的去雾效果对比图 第 5 期 吴子凡，等：基于暗通道的图像去雾改进算法 51 去雾相比文献15的去雾效果更好并且没有出现颜色失真的现象，但在对天空区域去雾时存在部分细节丢失的情况。综上可知本文提出的改进算法在图像中取得了较好的去雾效果，本文的改进暗通道去雾方法在能见度和对比度上效果更好，并且能够在颜色不失真的情况下最大程度去除雾气。特别是对非天空区域的去雾效果比传统的暗通道去雾更加明显，而且去雾更加彻底。3.2 实验结果分析 将三种不同方法在真实单图像去雾数据集RESIDE 上进行实验对比，该数据集包括合成和真实世界的模糊图像，RESIDE 包含了五种不同类型的图像，每种类型的图像有其特定的应用场景及都有着各自的训练或评估目的。这里选取了峰值信噪比(PSNR)作为主要的评价标准，并将结果与原图进行对比，比较对应的 SSIM 值，原始图像各方法在合成数据集 RESIDE 上测试的和的值如表 1 所示。通过比较分析可知本文提出的方法运行时间不仅大大减少而优于传统的去雾算法，在图像失真程度以及图像还原程度上也优于传统的去雾算法，提升了去雾性能。表 1 PSNR 与 SSIM 结果对比 方法 RESIDE PSNR SSIM 暗通道 23.14 0.8328 DehazeNet 27.79 0.9078 本文 31.5834 0.9171 4 结论 图像去雾的目的是达到某些特定的要求，对原始图像进行去雾处理，使其特征信息表达的更加清晰。本文在原始暗通道去雾算法上进行了改进，首先通过暗通道相关的概念及其原理的计算得到原始输入图像的暗通道图，通过计算的最优阈值将原始图像分为天空区域和非天空区域两部分，然后在两部分不同的区域上分别使用不同的方法得到大气光值的估计值并且计算出透射率的值，再将得到的初始去雾图像通过导向滤波对得到的图像进行去噪，最后得到清晰的去雾图像。相比于原始方法，本文方法在大气光值的计算方法和准确率上精度更高，使得最后求得透射率的值更加准确，解决了相应的颜色失真或色彩偏差的问题，从而能够达到更好的去雾效果。通过在合成数据集 RESIDE 上进行实验并与不同的去雾方法进行对比，结果表明本文方法具有较好的去雾性能并有效解决了颜色失真的问题。参考文献:1 HE K M,SUN J,FELLOW,et al.Single image haze removal using dark channel priorJ.IEEE Transactions on Pattern Analysis&Machine Intelligence,2011,33(12):2341-2353.2 司振惠，于萍，王岩.基于暗通道的单图像融合去雾算法J.计算机应用与软件，2022，39（8）：240-245.3 孙曦,于莲芝.基于残差注意力和半监督学习的图像去雾算法J.电子科技，2022，36（9）：1-8.4 张宏,张玉伦,邓旭,等.基于改进暗通道先验的图像去雾算法J.计算机仿真，2022，39（4）：150-155.5 蒋华伟，杨震，张鑫，等.图像去雾算法研究进展J.吉林大学学报(工学版),2021,51(4)：1169-1181.6 TANRT.Visibility in bad weather from a single imageC/CVPR2008:Proceeding of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Washington，DC:IEEE Computer Society,2008.1-8.7 陶海威，王毅，沈燕飞，等.基于暗通道先验的图像去雾算法改进研究J.软件导刊，2016，15(5)：30-34.8 魏红伟,田杰,肖卓朋.图像去雾算法研究综述J.软件导刊，2021，20(8)：231-235.9 冯燕茹.双视觉注意网络的联合图像去雾和透射率估计J.光学精密工程,2021,29(4)：8-13.10 栾中,尚媛园,舒华忠，等.基于SLIC和SVR的单幅图像去雾算法J.东南大学学报（自然科学版），2018，48(1)：26-28.11 王娇.一种改进的基于暗通道先验的快速去雾算法J.现代电子技术,2019,42(22):63-68.12 Zhu Q,Mai J,Shao L.A Fast Single Image Haze Removal Algorithm Using Color Attenuation PriorJ.IEEE Transactions on Image Processing,2015,24(11):3522-3533.13 吴宏锷，胡双年.基于天空区域改进的暗通道先验算法研究J.实验技术与管理，2019，36(9)：120-123 14 王小霞，黄颖雯，谭庭均，等基于Retinex的汽车牌照图像去雾研究J.内蒙古农业大学学报（自然科学版），2018，39(1)：64-70 15 Cai B L,Xu X M,Jia K,et al.DhazeNet:An end-to-end system for single image haze removelJ.IEEE Transaction on Image Processing.2016,25(11):5187-5198.16 Sebastian S C,Ivan C A,Arrrguin R,et al.Single image degazing using a multilayer perceptronJ.Journal of Electronic Imaging,2018,27(4):1-11.17 Zuiderveld K.Contrast limited adaptive histogram equalizationM.Graphics gems IV.Academic Press Professional,Inc.1994.474-485.18 He K,Sun J,TangXo.Guided image filteringJ.IEEE Transactions on Pattren Anaalysis and Machine Inteligence,2013,35(6):1397-1409.19 Galdran A.Image dehazing by artificial multiple-exposure image fusionJ.Singnal Processing,2018,149:135-147.武汉纺织大学学报 2023 年 52 20 Hautire N,Tarel J P,Aubert D,et al.Blind contrast enhancement assessment by gradient rayioing at visible edgesJ.Image Analysis and Stereology,2008,27(2):87-95.Image Defogging Improved Algorithm Based on Dark Channel WU Zi-fana,LUO Wei-pingb(a.School of Mechanical Engineering and Automation;b.Hubei Key Laboratory of Digital Textile Equipment,Wuhan Textile University,Wuhan Hubei 430200,China)Abstract:Aiming at the problem of color deviation after traditional dark channel defogging algorithms process foggy images and the significant difference in defogging effects between sky regions and non sky regions,an improved dark channel based image defogging algorithm is proposed.This algorithm has made corresponding improvements in the calculation of atmospheric light value and transmittance value.Firstly,the dark channel map of the original input image is obtained through the calculation of the concept and principle of dark channel correlation.Through the calculation of the optimal threshold value,the original image is divided into two parts,namely,sky region and non sky region.Then,different methods are used to obtain the estimated atmospheric light value and calculate the transmittance value on two different regions,respectively,Then,the obtained initial defogging image is denoised through guided filtering to obtain a clear defogging image.Experimental results show that this algorithm can more effectively display the true situation of the image,avoid interference from other environmental factors,and has certain advantages.Key words:dark channel;image defogging;sky segmentation;guided filtering（责任编辑：周莉）