基于改进双直方图均衡化的舰载图像去雾方法.pdf

总第352期1引言近年来，我国海军信息化的建设非常迅速，对舰载视频传输、处理技术提出了更高的要求。海面空气湿度大，容易产生雾气，致使监控设备采集的视频图像质量降低，使得船员、视频采集设备通过人眼视觉或计算机视觉获得海上航行信息不准确，直接影响了正常的军事侦查和海上目标的识别、跟踪。因此，对舰载图像的实时去雾研究有着迫切需要1。收稿日期：2023年4月6日，修回日期：2023年5月6日基金项目：国防科技创新特区重点项目（编号：20-163-00-TS-012-017-01）资助。作者简介：赵玉普，男，硕士，工程师，研究方向：图形图像处理、边缘计算。童文滔，男，硕士，研究员，研究方向：图像处理与显示、综合电子信息系统。付念，男，硕士，工程师，研究方向：图形图像处理、边缘计算。基于改进双直方图均衡化的舰载图像去雾方法赵玉普童文滔付念（武汉数字工程研究所武汉430205）摘要舰载图像具有大面积同色高亮区域，现有直方图均衡化在舰载图像去雾时存在亮区过度增强现象。针对这一问题，论文提出一种基于改进双直方图均衡化的舰载图像去雾算法，首先对归一化直方图中小于1的部分gamma校正，并设置过度增强阈值T对较大的直方图数据限制，然后以中位数像素作为分割点，计算左、右子直方图的灰度分布概率直方图并获得映射表；最后将两映射表合并，获得去雾后图像。实验结果表明，以论文自制舰载图像数据集为测试集，相比于基于灰度图像均值分割的直方图均衡化和等面积的双直方图均衡化，论文算法平均亮度误差分别缩短了46.27和7.10，结构相似性分别提高了0.25和0.16，可以有效改善现有直方图均衡化在对舰载图像去雾时的亮区过度增强问题。关键词舰载图像去雾；双直方图均衡化算法；gamma校正；过度增强阈值；中位数像素中图分类号TP391DOI：10.3969/j.issn.1672-9730.2023.10.027Shipborne Image Defogging Method Based on Improved DoubleHistogram EqualizationZHAO YupuTONG WentaoFU Nian（Wuhan Digital Engineering Institute，Wuhan430205）AbstractShipborne images have large areas of bright areas with the same color.The existing histogram equalization has thephenomenon of over enhancement of bright areas when ship borne images are defogged.In order to solve this problem，this paperproposes a shipborne image defogging algorithm based on improved double histogram equalization.First，part of the normalized histogram that is less than 1 is corrected for gamma，and the excessive enhancement threshold T is set to limit the larger histogram data.Then，the median pixel is used as the segmentation point to calculate the gray distribution probability histogram of the left andright sub histograms and obtain the mapping table.Finally，the two mapping tables are merged to obtain the defogger image.The experimental results show that the average brightness error of the algorithm in this paper is shortened by 46.27 and 7.10 respectively，and the structural similarity is improved by 0.25 and 0.16 respectively，compared with the brightness preserving bi-histogram equalization and dualistic sub-image histogram equalization method，using the self-made shipboard image dataset as the test set，whichcan effectively improve the over enhancement of the bright area of the existing histogram equalization when defogging shipboard images.Key Wordsship borne image defogging，double histogram equalization，gamma correction，excessive threshold enhancement，median pixelsClass NumberTP391舰 船 电 子 工 程Ship Electronic Engineering总第 352 期2023 年第 10 期Vol.43 No.10126舰 船 电 子 工 程2023 年第 10 期目前，图像去雾领域主流去雾方法分为两个方向：基于大气散射模型的图像复原算法和基于图像增强的图像去雾算法2。基于图像增强的去雾算法包括同态滤波、小波变换、Retinex理论、直方图均衡化等方法3，其中，同态滤波通过对雾天图像进行高斯滤波以及对数变换的处理，抑制低频信号，从而达到还原图像细节的效果，突出了被雾气抑制的细节，达到图像去雾的目的4；小波变换通过增强不同规格下图像的分布特征，达到雾天图像的去雾处理5；Retinex理论是通过从雾天图像中分离出反射分量，以实现去雾6；直方图均衡化应用范围较广，该方法通过将小区域内所划分的直方图转换到全局区域范围内做均衡化处理7，从而提高图像对比度达到雾天图像去雾效果8。直方图均衡化是最经典的图像对比度增强算法，且衍生出了许多改进算法，如局部直方图均衡化、双直方图均衡化等，算法简洁，计算量不大，容易满足实时性要求，但其存在失真问题。基于大气散射模型的图像复原算法包括暗通道先验理论（Dark Channel Prior）9及其衍生算法，暗通道先验理论由何凯明教授于2009年cvpr2009会议时提出，作者根据对5000多幅无雾图像的暗通道图数据观察发现：约75%的像素值为0，且90%的像素点具有非常低的值，且集中在 0，16，因此，可以基于此统计学知识还原原始图像的颜色和受雾气影响的能见度，同时，通过图像中雾的浓度，可以估计物体到图像拍摄位置的距离，但此方法也存在一定缺陷，暗通道先验基于了一种先验统计，是一种统计结果，如果目标场景内存在和大气光的雾气浓度、颜色等类似的区域，那么由于前提条件就不成立，此时将无法获得满意的效果，且该方法计算量较大，实时性较低。具体到舰载图像领域，舰载图像具有整体亮度高、存在大面积海域或天空的特点，现有基于大气散射模型的图像复原算法如暗通道先验法在目标场景内存在和大气光类似的背景情况下，去雾效果较差，且实时性较差。现有基于图像增强的图像去雾算法，亮区和暗区没有分别处理，容易出现亮区过度增强，暗区增强不够的问题。因此，提出一种适用于舰载图像雾气大，亮度高的特点的图像去雾方法极为必要。直方图均衡化（Histogram Equalization，HE），也称为灰度级均衡，其算法的核心思想是计算原始图像的灰度概率密度函数，计算其概率密度中值，并基于此中值，重新计算原始像素任意一像素点的灰度值，使得图像灰度更加均匀的分布在中值附近，以获得对比度增强的图像，但此方法容易导致图像一些细节消失和其他退化现象。为了克服传统直方图均衡化的缺点，Kim等提出了基于灰度图像均值分割的直方图均衡化算法10（Brightness Preserving Bi-Histogram Equalization，BBHE）。该算法的主要思想是保持图像的亮度，并以此为前提，增强图像对比度。其方式是，首先，该算法计算原始图像的灰度概率密度函数，计算平均灰度值，以平均灰度值为界限，将输入图像分解为两个子图像。然后，该算法对两个子图像进行直方图均衡。Wang等提出了等面积的双子图像直方图均衡化算法11（Dualistic Sub-Image Histogram Equalization method，DSIHE），该算法与基于灰度图像均值分割的直方图均衡化算法类似，其区别在于，该算法同样首先排列原始图像的灰度分布直方图，取原图像的像素中值，以该值直方图分割分割点，将原始图像分割为两个子图像，该算法能更好地保持图像亮度和信息熵。受这些思想的启发，本文提出一种基于改进双直方图均衡化算法的舰载图像去雾方法。实验证明，该算法应用在针对舰载图像去雾时具有很好的去雾效果。2相关工作介绍BBHE算法步骤如下：假 设 Xm代 表 输 入 图 像 X 的 灰 度 均 值，且XmX0，X1.XL-1。根据输入图像的均值，输入图像可以划分为两个子图像XL和XU，如下所示：X=XLXU（1）XL=X(ij)|X(ij)XmX(ij)X（3）假设子图像XL由X0，X1.Xm组成，另一个子图像的组成为Xm+1，Xm+2.XL-1，然后分别定义子图像 XL和 XU的概率密度函数 PL（Xk）和 PU（Xk）。PL(Xk)=nkLnL，k=0，1，2，m（4）PU(Xk)=nkUnU，k=m+1，m+2，L-1（5）nkL和nkU分别代表左右两个子图像 XL和 XU处于第k级灰度数值上的像素点重复个数，以及nL和nU分别代表左右两个子图像 XL和 XU的总像素个127总第352期数，即nL=k=0mnkL，nU=k=m+1L-1nkU，n=nL+nU。因此子图像XL和XU的累计概率密度函数可以定义如下：CL(x)=j=0kPL(Xj)（6）CU(x)=j=m+1kPU(Xj)（7）根据式（6）、（7）得到的累计概率密度函数，对左右子图像的累积概率密度函数的直方图做均衡化处理，公式如下：fL(x)=X0+(Xm-X0)CL(x)（8）fU(x)=Xm+1+(XL-1-Xm+1)CU(x)（9）经过式（8）、（9）处理后，左右两个子图像完成了均衡化，得到的两个增强后的子图像组成了最终的输出图像Y：Y=Y(ij)=fL(XL)fU(XU)（10）经过上述处理，基于灰度图像均值分割的直方图均衡化算法在增强图像对比度的同时，保持灰度图像的亮度均值12。但对于整体亮度高、存在大面积海域或天空的舰载图像来说，基于灰度图像均值分割的直方图均衡化算法的灰度均值偏大，将导致较暗区域过度增强。DSIHE步骤如下：假如Xe代表输入图像X的灰度分割值，且XeX0，X1.XL-1。根据输入图像的中位数像素，可以将输入图像可以划分为左右两个子图像XL和XU，如下所示：X=XLXU（11）XL=X(ij)|X(ij)XeX(ij)X（13）假设子图像XL由X0，X1.Xe-1组成，另外一个子图像的组成为Xe+1，Xe+2.XL-1，然后分别定义子图像XL和XU的概率密度函数PL（Xk）和PU（Xk）。类似于BBHE算法，分别独立对子图进行直方图均衡化处理13：fL（x）=X0+（Xm-X0）CL（x）（14）fU（x）=Xm+1+（XL-1-Xm+1）CU（x）（15）基于式（14）、（15），对左直方图和右直方图均衡化处理，得到的左右两个增强后的子图像，由子图像组成了最终的输出图像。该算法能更好地保持图像亮度和信息熵。但因为未对过亮区域限制，因此仍然存在过度增强的问题。3基于改进双直方图均衡化算法的舰载图像去雾方法3.1改进双直方图均衡化算法针对现有双直方图均衡化算法在对舰载图像去雾处理时容易出现亮区过度增强的现象，本文提出一种基于中位像素分割的双直方图均衡化算法。算法步骤如下：步骤1：将输入图像的直方图进行均值归一化处理，即将直方图除以像素总数N后乘以图像的灰度级数，如式（16），其中，h（i）为原输入图像的直方图，L为灰度级个数，N为像素总数，i为具体的灰度级，hm（i）为均值归一化后的直方图：hm(i)=h(i)NLi0L-1（16）步骤2：对归一化直方图中小于1的部分进行gamma校正，并通过设置过度增强阈值T对较大的直方图数据进行限制，减小直方图中数量最多像素的影响，防止过度增强，对归一化直方图中小于1的部分进行gamma校正，gamma1，gamma值越小，则保留的细节越多，越突出，gamma校正的公式如下，式中hg（i）为gamma校正后的直方图：hg(i)=hm(i)gammahm(i)1，公式如下：hg(i)=T，hg(i)Thg(i)其他（18）其中，hg(i)为gamma校正后的直方图。步骤 3：计算输入图像直方图的中位数像素Gmedian，并根据中位数像素将原始直方图分为左、右两个子直方图。步骤4：根据公式pL(i)=hg(i)NL，0iGmedian和pR(i)=h(i)NR，GmedianiL-1，分别计算左、右两个子直方图的灰度分布概率直方图pL(i)和pR(i)，其中，NL和NR分别表示左、右两个子直方图的总像素数，L表示图像总灰度级数个数。步骤5：根据公式：cdfL(i)=i=0ipL(i)，0iGmedian（19）赵玉普等：基于改进双直方图均衡化的舰载图像去雾方法128舰 船 电 子 工 程2023 年第 10 期cdfR(i)=i=Gmedian+1ipR(i)GmedianiL-1（20）计算左、右两子直方图的累积分布直方图 cdfL（i）和cdfL（i）。步骤6：根据公式：tabL(i)=round(GmediancdfL(i)0iGmedian（21）tabR(i)=round(Gmedian+1+(L-Gmedian-2)cdfR(i)GmedianiL-1（22）round代表四舍五入取整，计算左、右两个映射表tabL（i）和tabR（i），并根据公式tab=tabLtabR将左、右两个映射表合并获得最终的映射表，并根据映射表对原图像进行映射，获得去雾后的舰载图像。本文提出的图像检索方法流程图如图1所示。3.2基于改进双直方图均衡化的舰载图像去雾算法性能分析改进双直方图均衡化的舰载图像去雾算法首先通过对归一化直方图中小于1的部分进行gamma校正，并通过设置过度增强阈值T对较大的直方图数据进行限制，然后通过根据中位数像素将原始直方图分为左、右两个子直方图的方式，进而分别计算左、右两个子直方图的灰度分布概率直方图；再计算左、右两子直方图的累积分布直方图；最后将左、右两个映射表合并后获得最终的映射表，并根据映射表对原图像进行映射，获得去雾后的舰载图像。分析改进双直方图均衡化的舰载图像去雾算法原理可以得出，该去雾算法有以下优点。1）减小过度增强。将输入图像的原始图像直方图做均值归一化处理，并对归一化直方图中小于1的部分进行gamma校正，并通过设置过度增强阈值T对较大的直方图数据进行限制，减小直方图中数量最多像素的影响，防止过度增强，保护细节；2）保真性强，突出舰船目标物的增强。通过根据中位数像素将原始直方图分为左、右两个子直方图的方式，使得舰载图像中舰船目标物尽可能地分在左直方图，也就是暗区，海面及天空等高亮目标尽可能分在右直方图，也就是亮区，分别增强图像的亮区和暗区，限制过亮区域的增强，使得图像暗区与亮区区分度更大，避免了亮区暗区被同时同比例的增强的情况发生，从而增强了保真性，突出了暗区，更加突出舰船目标物，更适用于图像高亮区域大的舰载平台。图1基于改进双直方图均衡化的舰载图像去雾方法上述两个特点使得改进双直方图均衡化的舰载图像去雾算法可以有效解决现有高速去雾算法亮区和暗区没有分别处理容易出现舰载图像亮区过度增强和暗区增强不够的问题，使得舰载图像保真性高，去雾效果好。4实验及结果分析4.1测试软件开发平台和运行环境舰载图像去雾测试软件使用Visual Studio 2017作为编译环境；使用的图像处理开发库为opencv3.3.1；操作系统为Windows10professional版本。运行程序的服务器基础硬件配置为Intel Corei7-9700处理器，DDR4 16GB内存，1TB固态硬盘及2TB机械硬盘。4.2测试数据集目前，虽然图像去雾领域数据比较多，但是舰载图像去雾领域的通用数据集较少，大多数研究者自制相关数据集。129总第352期本文图像自制了舰载图像去雾数据集，该数据集共计 100 张雾天舰载图像图像，分辨率为 640640，图像包含了雾天条件下军舰、普通舰船、海平面、礁石等多目标，用以测试不同算法去雾的效果。4.3测试指标本文采用峰值信噪比（peak signal-to-noise ratio，PSNR）、平均亮度误差14（Absolute Mean Brightness Error，AMBE）、结构相似性（Structural Similarity，SSIM）衡量各类去雾算法的性能指标15。AMBE用来衡量不同方法在保持原始图像亮度方面的表现，它代表输入图像和输出图像的平均亮度之间的绝对差，AMBE的计算公式为AMBE=|E(I)-E(O)|（23）其中E（I）和E（O）分别表示输入图像和输出图像的平均亮度，数值越小，亮度保存效果越好。PNSR是指增强后图像引入的噪声量，即给定包含M*N个像素的输入图像I（I，j）和输出图像O（I，j），计算O与I间的PSNR的公式为PSNR=10log10(L-1)2MSE（24）其中均方误差（Mean Squared Error，MSE）的计算公式为MSE=i=1Mj-1NI(ij)-O(ij)2MN（25）PSNR值越高，图像处理中引入的噪声越低，得到的图像质量越好。SSIM用来度量两幅图像间的结构相似性，其计算公式为SSIM(x，y)=(2IO+C1)(2IO+C2)(I2+O2+C1)(I2+O2+C2)（26）其中I和O是图像I和图像O的平均值，I和O是图像I和图像O的协方差，C1和C2是常数。SSIM指数越高，输入输出的图像结构相似度越高16。另外，本文提出的改进双直方图均衡化的舰载图像去雾算法的设计目标之一是提高舰载图像去雾的实时性，因此本文增加处理时间（ProcessingTime，PT）作为测试指标。4.4实验测试为验证本文算法对舰载图像的去雾效果，本文设计实验分别对原始直方图均衡化算法（HE）、等面积的双子图像直方图均衡化算法（DSIHE）、基于灰度图像均值分割的直方图均衡化算法（BBHE）和本 文 算 法（Contrast Enhancement Using RestrictedHighlighting Bi-Histrogram Equalization，RHBHE）在舰载图像去雾数据集做去雾测试，其中本文算法增强阈值取 T=5.71 时，平均亮度误差、峰值信噪比、结构相似性可以取得较为均衡的效果，最终实验结果对比时，T取5.71。表1所示为上述去雾算法在舰载图像去雾数据集中测试图像去雾测试的测试结果，包括平均亮度误差、峰值信噪比、结构相似性和运行时间的平均值。可以得出结论，经典HE算法，在针对舰载图像去雾时，受大量同色亮区影响较大，AMBE、PSNR、SSIM均为较差。BBHE算法在增强图像对比度的同时，保持灰度图像的亮度均值，但对于整体亮度高、存在大面积海域或天空的舰载图像来说，基于灰度图像均值分割的直方图均衡化算法的灰度均值偏大，将导致较暗区域过度增强，因此，其AMBE最大，亮度保持能力较弱，其PSNR性能较好，并未引入太多噪声，其 SSIM 性能一般，图像有一定失真。DSIHE算法因为将双直方图分割点按等面积划分，对同色亮区起到了一定程度的限制，AMBE取得较优异的效果，SSIM 性能相比经典 HE 和BBHE算法也有一定改善，但其仍存在一定的过度增强，其PSNR性能较为一般，引入了一定噪声。本文算法RHBHE相较于经典HE、BBHE、DSIHE，对过亮区域限制十分有效，AMBE、SSIM均有较大改善，PSNR弱于BBHE。从运行时间上来看，四种算法差别不大，主要耗时均在于帧缓存，其余计算耗时不大，均有较好的实时性。分析实验结果可知，本文算法RHBHE，可以有效解决现有高速去雾算法亮区和暗区没有分别处理容易出现舰载图像亮区过度增强和暗区增强不够的问题，使得舰载图像保真性高，去雾效果好，且在实时性方面与HE、DSIHE、BBHE差距较小，可以满足舰载图像去雾实时性的要求。表14种算法去雾指标结果对比指标AMBEPSNRSSIMPT4种去雾算法去雾指标平均值HE48.7212.950.1737.05msDSIHE29.6614.290.4139.18msBBHE68.8318.020.3238.73msRHBHE22.5616.350.5741.29ms赵玉普等：基于改进双直方图均衡化的舰载图像去雾方法130舰 船 电 子 工 程2023 年第 10 期5结语舰载图像具有整体亮度高、存在大面积海域或天空的特点。针对直方图均衡化算法处理舰载图像时容易出现过度增强的问题。本文在对现有算法的缺陷分析后，提出了RHBHE算法，RHBHE算法将通过设置过度增强阈值T对较大的直方图数据进行限制，防止过度增强，通过根据中位数像素将原始直方图分为左、右两个子直方图的方式，使得舰载图像中舰船目标物尽可能地分在左直方图，即暗区、海面及天空等高亮目标尽可能分在右直方图，限制了过亮区域的增强。上述两个特点使得改进双直方图均衡化的舰载图像去雾算法可以有效解决现有高速去雾算法亮区和暗区没有分别处理容易出现舰载图像亮区过度增强的问题。参 考 文 献1赵红，李春艳，王宁，等.改进暗通道先验的海上图像去雾算法 J.舰船科学技术，2021，43（10）：163-168.2王帆.基于暗通道先验的图像快速去雾及增强算法研究 D.兰州：兰州交通大学，2016.3王印龙.单幅图像去雾算法研究 D.西安：西安电子科技大学，2014.4董静薇，赵春丽，海博.融合同态滤波和小波变换的图像去雾算法研究 J.哈尔滨理工大学学报，2019，24（1）：66-70.5管庆吉.基于自适应小波融合的图像去雾方法研究D.长春：东北师范大学，2016.6杨万挺，汪荣贵，方帅，等.滤波器可变的Retinex雾天图像增强算法 J.计算机辅助设计与图形学学报，2010（6）：965-971.7刘振宇，江海蓉，徐鹤文.极端天气条件下低质图像增强算法研究 J.计算机工程与应用，2017，53（8）：193-198，245.8姜柏军，钟明霞.改进的直方图均衡化算法在图像增强中的应用 J.激光与红外，2014，44（6）：702-706.9Sun X，Sun J，Zhao L，et al.Improved algorithm for single image haze removing using dark channel priorJ.Journal of Image and Graphics，2014.14（1）：381-385.10陈永亮.灰度图像的直方图均衡化处理研究 D.合肥：安徽大学，2014.11戴声奎，钟峥，黄正暐.基于最大熵模型的双直方图均衡算法 J.电子学报，2019，47（3）：678-685.12董丽丽，丁畅，许文海.基于直方图均衡化图像增强的两种改进方法 J .电子学报，2018，46（10）：2367-2375.13Tan S F，Isa N.Exposure Based Multi-HistogramEqualization Contrast Enhancement for Non-Uniform Illumination Images J.IEEE Access，2019：70842-70861.14郭璠，蔡自兴.图像去雾算法清晰化效果客观评价方法 J.自动化学报，2012，38（9）：1410-1419.15谢立，熊刚，于波，等.基于暗通道先验的大气退化图像去雾新方法 J.控制工程，2020，27（2）：1410-1419.16韩昊男，钱锋，吕建威，等.图像去雾方法质量评价J.光学精密工程，2022，30（6）：721-733.Cambridge：Cambridge University Press，2014.9Weixiao Meng，Enxiao Liu，Shuai Han et al.Research andDevelopment an Satellite Positioning and Navigation inChinaJ.IEITC Transactions on Communications，2012（11）：3385-3392.10张爱兵.基于QPSK调制的遥感卫星数传系统的仿真与优化 D.西安：西安电子科技大学，2004.11刘佳娟，王康谊.北斗短时 PMF-FFT 捕获算法分析J.电子世界，2015（18）：122-123.12梁晨，李秋实.北斗抗干扰导航定位技术研究 J.工程技术：引文版，2016（5）：11.13王晓君，张伟，杜萌萌.北斗卫星导航系统的应用及其抗干扰技术 J.电子设计工程，2012，20（4）：42-43.（上接第86页）131