基于图像融合的水下光照不均匀图像增强算法_李广豪.pdf

基金项目:国家自然科学基金项目(60875025)收稿日期:2021-07-19 修回日期:2021-07-23 第 40 卷 第 4 期计 算 机 仿 真2023 年 4 月 文章编号:1006-9348(2023)04-0330-06基于图像融合的水下光照不均匀图像增强算法李广豪,席志红(哈尔滨工程大学信息与通信工程学院,黑龙江 哈尔滨 150001)摘要:在水下探测过程中,环境光照条件多变,采集的图像中由于光照不均匀,会导致一些重要的细节信息无法被表达甚至丢失,严重影响了图像的视觉效果及其用途。针对上述问题,提出一种改进的水下融合算法,将自适应伽马校正算法,MSRCR 算法,CLAHE 算法,锐化算法和水下图像融合增强算法相结合。通过自适应伽马校正算法改善图像光照不均匀区域;通过 CLAHE 扩大局部对比度,降低噪声;利用 MSRCR 算法弥补由于局部对比度增大造成的颜色失真;利用图像锐化弥补伽马校正造成的细节损失;通过图像融合算法融合不同图像的优势。实验结果表明,文中算法可以较好地解决光照不均匀和色偏的问题,改善图像的对比度,提升图像整体的视觉效果。关键词:光照不均匀;图像融合;伽马变换;限制对比度的直方图均衡;锐化中图分类号:TP317.4 文献标识码:BImage Enhancement Algorithm of Underwater UnevenIllumination Based on Image FusionLI Guang-hao,XI Zhi-hong(College of Information and Communication Engineering,Harbin Engineering University,Harbin Heilongjiang 150001,China)ABSTRACT:In the process of underwater detection,the illumination conditions of the environment are changeable.Due to uneven illumination,the important details cant be expressed or even lost,which seriously affects the visualeffects and uses of the images.To solve the above problems,an improved underwater image fusion algorithm is pro-posed,which combines adaptive gamma correction algorithm,MSRCR algorithm,CLAHE algorithm,sharpening al-gorithm and underwater image fusion enhancement algorithm.The adaptive gamma correction algorithm is used to im-prove the uneven illumination area;CLAHE is used to enlarge local contrast and reduce noise;the MSRCR algorithmis used to compensate for the color distortion caused by the increase of local contrast.The detail loss caused by gam-ma correction is compensated by image sharpening.The advantages of different images are fused by the image fusionalgorithm.The experimental results show that the algorithm can solve the problem of uneven illumination and color de-viation,improve the contrast of the image and enhance the overall visual effect of the image.KEYWORDS:Uneven illumination;Image fusion;Gamma transform;CLAHE;Sharpening1 引言水下探测严重依赖获取的水下图像的质量,由于水下环境复杂,水体会对光产生散射和吸收效应,使光在水下严重衰减,从而获取的水下图像质量往往较差。为了能获得高质量的水下图像,水下图像增强是必不可少的处理环节。2003年,Chambah1等人针对水下图像的偏色问题,通过颜色恒常理论提出了一种基于非监督式的增强算法,使后续特征提取式的效率大大增加;2007 年,Iqbal2等人提出的 RGB 和 HIS色彩空间的滑动直方图拉伸连续在两个色彩空间中进行均衡化处理,有效解决了水下图像的偏色和低对比度等问题;2012 年,Ancuti3等人提出了一种基于图像融合的水下图像增强算法,解决了水下图像的偏色和视觉模糊等问题,同时可避免图像中出现伪影和色晕现象。2017 年,余义德4等人提出了限制对比度自适应的颜色校正模型,较好的提高了水下图像的视觉效果和对比度。2018 年,王永鑫等5提出了一种基于同态滤波的水下图像增强与色彩校正模型,可以033有效保证水下图像的清晰度和色彩恒定性。2020 年 5 月,林森6等人提出了一种基于多输入融合对抗网络的增强算法,其生成网络采用编码解码结构,通过卷积层滤除噪声,利用反卷积层恢复丢失的细节并逐像素进行细化,该算法改善后的水下图像色彩鲜明并且对比度提升。自适应伽马校正算法7对于空气中光照不均匀图像有较好的校正效果,但是水下环境复杂,无法直接应用于水下。本文提出一种改进的水下融合算法,将自适应伽马校正算法,改进的 MSRCR 算法8,CLAHE,图像锐化和水下图像融合增强算法3,9相结合。通过自适应伽马校正算法改善图像光照不均匀区域;通过 CLAHE 扩大局部对比度,降低噪声;利用 MSRCR 算法弥补由于局部对比度增大造成的颜色失真;利用图像锐化弥补伽马校正造成的细节损失;通过图像融合算法融合不同图像的优势。可以有效的改善水下图像光照不均匀、色偏、低对比度等问题。2 算法描述本文算法是应用于水下光照不均图像的图像增强算法。通过结合自适应 Gamma 校正和多尺度图像融合增强算法来达到增强水下图像的目的,使得强光照的区域减弱,光照不足的区域得到补偿。具体算法流程如图 1 所示。图 1 算法流程图2.1 限制对比度自适应直方图均衡对于图像中存在明显比其它区域暗或亮的区域,传统的直方图均衡不能将该区域的细节信息描述出来,自适应直方图均衡算法(AHE)通过在当前处理像素周边的一个矩形区域内进行直方图均衡,来达到扩大局部对比度,获取平滑区域的细节信息。但是 AHE 对局部对比度提高过大,导致图像失真,还会放大图像中的噪声。为了解决这些问题,本文使用限制对比度自适应直方图均衡(CLAHE)去扩大局部对比度,并减少噪声的放大情况。2.2 改进的 MSRCR 增强算法由于 CLAHE 在扩大图像局部对比度时,图像会有一定的色彩失真,为了解决这一问题,本文尝试引入改进的带色彩恢复的多尺度视网膜增强算法(MSRCR)8的理论模型,其计算公式如下RMSRCR i(x,y)=GCi(x,y)RMSR i(x,y)+bCi(x,y)=logIi(x,y)-logSi=1Ii(x,y)(1)式中 RMSRCR i是第 i 张图像的 MSRCR 反射光分量,RMSR i(x,y)是第 i 张图像的 MSR 反射光分量,G 和 b 分别是最终增益量和偏移量,Ci(x,y)表示第 i 张图像的色彩恢复函数,是增益系数,是控制非强度系数。在本文中,将参数值分别设置为 G=194,b=-30,=46,=125。2.3 多尺度融合算法为了得到具有突出优势的最佳图像,本文使用了 4 种权重,用于确定在图像融合中输入图像所占的比重,这几种权重分别是拉普拉斯对比度权重(WL),显著性权重(WS),饱和度权重(WSat)和曝光权重(WE)。1)拉普拉斯对比度权重拉普拉斯滤波器可以增强图像中灰度突变的区域,减弱灰度的缓慢变化区域,其表达式如下2f(x,y)=2f(x,y)x2+2f(x,y)y2(2)拉普拉斯对比度权重通过计算拉普拉斯滤波器输入到每个亮度通道的值,并取绝对值,最后得到全局对比度。2)显著性权重通过使用 Achantay10等的显著性估计器,去获取水中不突出物体的显著性水平,用于增加图像中亮暗区域的对比度,从而加强图像全局对比度。其表达式如下Ws=I-I(3)式中 Ws为显著性权重,Iu为 Lab 色彩通道的平均值,I表示在 Lab 通道经过高斯低通滤波后的结果,其截止频率为=/2.75。3)饱和度权重通过调节图像区域饱和度,使彩色图像能够用于图像融合算法。表达式如下WSat=13(Rk-Lk)2+(Gk-Lk)2+(Bk-Lk)2(4)式中Rk,Bk,Gk分别为 RGB 通道中 R,G,B 各单通道在像素 k点的值,Lk时 Lab 通道中亮度分量在像素点 k 的值。4)曝光权重WE用于评估图像中像素的曝光程度,当归一化后的像素值接近平均值 0.5 时,WE表示高斯模型函数到平均归一化范围值(0.5)的距离。其具体计算公式如下WE(x,y)=exp-(Ik(x,y)-0.5)222|(5)式中 Ik(x,y)表示图像 Ik中点(x,y)处的像素值,是标准差,常设置为 0.25.权重 WE(x,y)值越大,则说明该点像素更133可能是曝光不足或曝光过度区域。计算完上述几种权重后,便可以通过多尺度融合算法进行图像融合。将输入图像在每个像素点(x,y)处的权重进行融合便可得到重建后的图像 R(x,y)R(x,y)=Kk=1?Wk(x,y)Ik(x,y)(6)式中?Wk表示归一化权重,通过归一化所有 k 个权重获得,从而使每一个像素(x,y)被?Wk=1 限制;Ik表示经过归一化权重?Wk处理后得到的输入。2.4 光照不均匀图像增强算法该算法通过将图像转化到 HSV 空间,通过多尺度高斯函数对明度通道 V 提取光强分量,将光照分量作为二维伽玛函数的输入,对不同亮度值给予不同的 值,最后转换至 RGB空间,得到校正后的图像。2.4.1 光照分量的提取光照分量的提取有多种方法,例如基于顶帽变换的方法11,基于 mean-shift 的方法12,基于 Retinex 模型的方法13,基于线性引导滤波的方法14等。本文使用 Retinex 理论中涉及的多尺度高斯滤波器的方法15,去提取光照分量,如下式G(x,y)=exp-x2+y2c2|I(x,y)=F(x,y)G(x,y)(7)式中为归一化常数,使高斯函数G(x,y)满足G(x,y)dxdy=1 的条件,c 为尺度因子,代表二维卷积,I(x,y)是估计处的光照分量,F(x,y)是输入图像。为了光照值得到较好的局部特性和全局特性,使用多尺度高斯卷积求和。首先对 N 值取 3,使尺度因子 c 分别为20,75,225,并使用不同权重(1=1/2,2=3=1/4)求和就可最终估计出光照分量,如下式I(x,y)=Ni=1iF(x,y)Gi(x,y)(8)2.4.2 自适应伽马校正在获取光照分量后,为了进一步抑制高光照区域,增强低光照区域,本文使用自适应伽马校正算法对输入图像进行对比度校正。如下式O(x,y)=255F(x,y)255()=12()m-I(x,y)m(9)式中 O(x,y)为输出图像的亮度值,F(x,y)为输入图像,是校正参数,m 是光照分量的亮度均值,I(x,y)为光照分量。对于光照值高于均值 m 的区域,将该区域光照值减弱;对于光照值低于均值 m 的区域,将该区域光照值增加。在自适应伽马校正处理完后,将 V 通道图像和 H,S 通道重新结合,并变换至 RGB 通道,即可获得最终的校正后图像。图 2 自适应伽马校正流程图3 实验结果与分析本实验使用的水下数据集包括公开的水下图像集UIEB16,OceanDark17和自己拍摄的水下零件数据集。作为参照对比的算法主要有自适应伽马算法7,Single imagehaze removal using dark channel prior18,Enhancing UnderwaterImages and Videos by Fusion3,Color Balance and Fusion forUnderwater Image Enhancement9。3.1 定性分析图 3 是 7 幅不同水下图像经过不同方法增强后的图像对比结果。图 3(b)采用暗通道先验的方法,可以较好地去除图像中的雾,而水下光受到散射和吸收的影响,大多呈现蓝绿色调,图 3(b)对比图 3(a)没有明显的变化,表示没有较好的增强效果,所以大气中的暗通道先验方法不能直接应用于水下;刘志成等的自适应 Gamma 校正对空气中的光照不均匀图像有较好的校正效果,但从图 3(c)可以看出,该算法只能增强较小的对比度,没有了空气中的良好效果;图 3(d)是 Ancuti 等基于图像融合的水下图像增强结果,可以看到图像 1,2,5,7 都有着很好的增强效果,不仅去除了图像的蓝绿色调,而且提升了图像一定的对比度,但是图像 3,4 中出现了较为严重的伪影;图 3(e)是 Ancuti 等经过改善后提出的新算法对图像的增强结果,可以看到图像 3,4 中的伪影都被尽可能的去除,但是从图像 6,7 能看出,文献9对于光照不233均匀的水下图像没有较好的增强效果,图像 7 中左侧的过曝区域没有被抑制,且图像 7 右侧的偏暗区域也没有变得明亮;图 3(f)是应用本文算法得到的增强结果,可以看到,相对于图 3(d),图像 3,4 中的伪影都完全被去除,图像 2 中未去除的蓝色调也得到了很好的改善,而相对于图 3(e)而言,图像 4,6,7 等光照不均匀图像在图 3(f)中都得到了很好的改善,图像 4 的背景对比度得到了一定的增强,左侧下角落的过曝区域也得到了较好的抑制,图像 7 中左侧的过曝区域也得到了良好的抑制,而右侧的偏暗区域也得到了很好的增强,可以较清楚的看见右侧的木杆。从此可以得出,从主观视觉角度上,本文算法相对于其它算法可以更好的解决水下图像光照不均匀的情况,而且可以去除伪影,较好的提高对比度,更加符合人眼的主观认知。图 3 不同算法的实验结果比较3.1 定量分析为了进一步验证本文算法的性能,本文采用全面图像评价指标(PCQI)19,平均梯度(AG)和水下图像质量标准(UIQM)20作为实验指标去评估本文算法和文献3,7,9,18处理水下图像得到的结果图像。PCQI 在每一个patch 中计算平均强度,信号强度和信号结构,并从这三个方面去评价图像的失真情况,可以较好地评价两个图像对比度的差异,PCQI 值越小,则图像的失真情况越严重,对比度越差;平均梯度(AG)可用来反映图像中的细节信息,平均梯度越小,则图像越模糊,图像的质量越差;水下图像质量指标UIQM 是一种综合性的评价指标,包括对比度、色度和饱和度等,当 UIQM 的值越大时,表明处理后的图像质量越好。采333用以上 3 种指标对 7 组不同的图像进行评估,表 1 展示出本文与其它 4 种算法的实验结果,为了方便观察,将表 1 转换为柱状图,如图 4,5,6。从表 1,2,3,4,5,6,7 和图 4,5,6 可以看出本文算法得到的平均梯度的平均值是最好的,这说明本文算法得到的处理图像是比较清晰的,但图像 3 中平均梯度最高的是 Ancuti等3的结果,虽然其平均梯度较大,但是由图 3(d)可知,图像 3 出现了较为严重的伪影,所以综合来说,本文算法相对于平均梯度而言,效果最优;本文算法得到的 UIQM 值不管是平均值还是单个图像都是最大值,这说明本文得到的水下处理图像的质量是最优的;本文算法得到的 PCQI 指标相对于其它算法而言,值是最大的,这表明本文算法得到的水下图像失真情况最少,且对比度最好。表 1 图像 1 不同算法分析AGUIQMPCQI图像 1He 等算法0.0181.3611.045刘志成等算法0.0210.6341.023Ancuti 等算法0.0573.8451.189改进 Ancuti 等算法0.0524.3031.144本文算法0.14.5371.387 表 2 图像 2 不同算法分析AGUIQMPCQI图像 2He 等算法0.0141.381.023刘志成等算法0.0111.5130.966Ancuti 等算法0.0294.41.204改进 Ancuti 等算法0.0244.671.137本文算法0.054.851.35 表 3 图像 3 不同算法分析AGUIQMPCQI图像 3He 等算法0.0272.5791.004刘志成等算法0.0312.5760.994Ancuti 等算法0.0885.1270.963改进 Ancuti 等算法0.0384.1481.061本文算法0.0584.2131.108 表 4 图像 4 不同算法分析AGUIQMPCQI图像 4He 等算法0.0050.0270.917刘志成等算法0.0040.8540.958Ancuti 等算法0.0071.4320.975改进 Ancuti 等算法0.0071.4890.918本文算法0.011.6561.021 表 5 图像 5 不同算法分析AGUIQMPCQI图像 5He 等算法0.0030.9440.839刘志成等算法0.0051.5280.834Ancuti 等算法0.0122.4450.842改进 Ancuti 等算法0.0153.1340.987本文算法0.0193.1251.032 表 6 图像 6 不同算法分析AGUIQMPCQI图像 6He 等算法0.0110.0210.705刘志成等算法0.0132.0540.854Ancuti 等算法0.0152.430.882改进 Ancuti 等算法0.0152.3540.894本文算法0.0283.2261.066 表 7 图像 7 不同算法分析AGUIQMPCQI图像 7He 等算法0.0060.0140.828刘志成等算法0.0081.8610.868Ancuti 等算法0.011.860.896改进 Ancuti 等算法0.0111.7950.915本文算法0.0232.7121.032图 4 不同算法的平均梯度指标对比图 5 不同算法的 UIQM 指标对比433图 6 不同算法的 PCQI 指标对比 结合定性分析和定量分析可知,本文提出的基于图像融合的水下光照不均匀增强算法可以有效解决水下图像色偏,光照不均匀,低对比度以及红色伪影等问题,从而可以获取到清晰度较高的水下图像。且相对于其它算法,本文算法复杂度并没有明显增加;本文算法不仅可以处理光照不均匀水下图像,而且普通的水下图像一样有较好的处理效果。所以本文算法的适用面较广。4 结论针对水下图像存在光照不均匀,低对比度和色偏等问题,提出了一种基于图像融合的水下光照不均匀图像增强算法。通过与不同算法处理结果对比,表明本文算法可以较好解决水下图像光照不均匀情况,可以有效增强图像的对比度,解决色偏问题,降低伪影的引入。然而,由图 3(f)中的图像 3 和图像 7 可见,该算法对于深蓝的水下图像和过暗的水下图像处理效果一般。对深蓝水下图像处理效果较差是因为深层水域光的衰减过于强烈,只剩下少量蓝光;对过暗水下图像处理效果较差是因为过暗区域接收的散射光过少。在下一步工作中,这两个是重点的研究方向之一。参考文献:1 Chambah M,Rizzi A,Gatta C.Perceptual approach for unsuper-vised digital color restoration of cinematographic archivesC.Spie-is&t Electronic Imaging.20032 Iqbal K,Salam R A,Osman A.Underwater image enhancement u-sing an integrated colour modelJ.IAENG International Journal ofComputer Science,20073 Ancuti C,Ancuti C O,Haber T,et al.Enhancing underwater ima-ges and videos by fusion C.IEEE Conference on ComputerVision&Pattern Recognition.IEEE,2012.4 余义德,周曼丽,王红萍.基于限制对比度颜色校正的水下图像增强J.无线电工程,2017.5 王永鑫,刁鸣,韩闯.基于同态滤波的水下图像增强与色彩校正模型J.计算机工程与应用,2018,54(11):35-39,85.6 林森,刘世本,唐延东.多输入融合对抗网络的水下图像增强J.红外与激光程,2020,49(5):217-225.7 刘志成,王殿伟,刘颖,刘学杰.基于二维伽马函数的光照不均匀图像自适应校正算法J.北京理工大学学报,2016,36(2):191-196,214.8Parthasarathy S,Sankaran P.An automated multi Scale RetinexwithColorRestorationforimageenhancement C.Communications.IEEE,2012.9 Ancuti C O,Ancuti C,Vleeschouwer C D,et al.Color Balanceand Fusion for Underwater Image EnhancementJ.IEEE Transac-tions on Image Processing,2017,27(99):379-393.10R Achanta,S Hemami,F Estrada,et al.Frequency-tunedsalient region detectionJ.IEEE,2009.11 Bai X Z,Zhou F G,Jin T.Enhancement of dim small targetthrough modified top-hat transformation under the condition ofheavy clutterJ.Signal processing,2010,90:1643-1654.12Han H,Sohn K.Automatic illumination and color compensationusing mean shift and sigma filterJ.IEEE Transactions on Con-sumer Electronics,2009,55(3):978-986.13 刘佳敏,何宁,尹晓杰.基于 Retinex-UNet 算法的低照度图像增强J.计算机工程与应用,2020,56(22):211-216.14He K,Jian S,Tang X.Guided image filteringC.EuropeanConference on Computer Vision,2010.15Banic N,Loncaric S.Light Random Sprays Retinex:Exploitingthe Noisy Illumination EstimationJ.IEEE Signal ProcessingLetters,2013,20(12):1240-1243.16 Li C,Guo C,Ren W,et al.An Underwater Image EnhancementBenchmark Dataset and BeyondJ.IEEE Transactions on ImageProcessing,2019.17Marques T P,Albu A B,Hoeberechts M.A Contrast-GuidedApproach for the Enhancement of Low-Lighting UnderwaterImagesJ.Journal of Imaging,2019.18 He K,Jian S,Fellow,et al.Single Image Haze Removal UsingDark Channel PriorJ.IEEE Transactions on Pattern Analysis&Machine Intelligence,2011,33(12):2341-2353.19 Wang S,Ma K,Yeganeh H,et al.A Patch-Structure Represen-tation Method for Quality Assessment of Contrast Changed ImagesJ.IEEE Signal Processing Letters,2015,22(12):2387-2390.20 Panetta K,Gao C,Agaian S.Human-Visual-System-InspiredUnderwater Image Quality MeasuresJ.IEEE Journal of OceanicEngineering,2016,41(3):541-551.作者简介李广豪(1997-),男(汉族),湖南省邵阳市人,硕士研究生,主要研究领域为图像处理,计算机视觉。席志红(1965-),女(汉族),黑龙江省哈尔滨市人,教授,博士研究生导师,主要研究领域为图像处理,室内定位。533