改进Retinex算法的带雾航片去雾与三维建模研究.pdf

2097-3012(2023)02-0202-07 Journal of Spatio-temporal Information 时空信息学报 收稿日期:2022-10-31；修订日期:2023-07-23 基金项目:国家自然科学基金面上项目（42074004）作者简介:龚洲，研究方向为无人机倾斜摄影测量。E-mail: 通信作者:潘国兵，研究方向为无人机倾斜摄影测量。E-mail: 改进 Retinex 算法的带雾航片去雾与三维建模研究 龚洲，潘国兵，敖其勇，熊延，陈昌文，袁小彬 重庆交通大学 智慧城市学院，重庆 400000 摘 要：针对航测作业过程中遇到云雾等恶劣气候条件时，会产生影像色彩失真、饱和度低、背景模糊不清等问题，本文进行了影像去雾与影像增强算法的研究，提出了一种改进 Retinex 算法，并以重庆某山区为例，与两种传统经典算法进行比较分析。结果表明，本文算法可对带雾影像进行有效处理，获得更真实准确的细节、更清晰真实的光感色彩；使用去雾与增强后的影像进行三维建模，从而生成高分辨率三维网格。分别从主观和客观开展对影像效果的评价，所得到的优化影像与三维模型都有良好的效果。关键词：暗通道先验；直方图均衡；Retinex 算法；影像去雾；实景三维建模 引用格式：龚洲,潘国兵,敖其勇,熊延,陈昌文,袁小彬.2023.改进 Retinex 算法的带雾航片去雾与三维建模研究.时空信息学报,30(2):202-208 Gong Z,Pan G B,Ao Q Y,Xiong Y,Chen C W,Yuan X B.2023.Study on defogging and 3D modeling of aerial images based on improved Retinex algorithm.Journal of Spatio-temporal Information,30(2):202-208,doi:10.20117/j.jsti.202302006 1 引 言 随着测绘科学技术的不断进步，无人机航测技术被广泛应用于地质灾害调查监测、城市规划建设等领域（王保国和张润科，2018）。无人机拍摄的影像会受到天气条件、光照位置与角度、地形地貌等因素的影响，这使获得的影像存在曝光度不够或曝光过度等情况。无人机在雨雾的天气环境下，获得的影像数据通常都是低对比度和低清晰度的模糊图像（Yang 等，2011）。有研究提出使用梯度残差最小化来减小误差（Chen 等，2016；Kim 和 Kim，2017）。苏畅等（2019）通过影像信息深度对大气光值进行判断。王高峰等（2019）通过改变自适应阈值对透射率进行改善。车雯雯（2021）提出了天空分割的改进 Retinex 算法。基于模型的影像恢复和去雾方法，利用模糊化的影像原理与雨雾影像质量退化的机理，处理有雾影像（黄鹤等，2021；李娜等，2021）。基于非模型的影像增强算法，通过削弱没有价值的部分特征，提高影像的清晰度和对比度，丰富图像的色彩等领域信息，从而达到较为满意的视觉增强效果（Wang 等，2023；Kansal 和 Kasana，2020；Wan 等，2021）。直方图均衡化是常用的影像去雾增强算法，通过改变影像灰度值，使输出影像的灰度直方图尽可能地均匀分布，这样可以在保持影像平均亮度的同时，还能增强动态范围影像的对比度。传统的 Retinex 去雾算法建立在科学的实验分析上，色彩保持较为均衡，具有噪声频率低、细节处较为平滑、边缘处突出等优点（宋聪莹和邵清，2021）。目前，实施倾斜摄影测量方案最为常见的工具是旋翼无人机（张剑清等，2009）。我国西南山地区域，地形环境比较复杂，全年雨雾天气异常频繁，成片的雾霾会严重影响航拍影像，使影像的色调偏暗，影像的对比度降低，细节处的有效信息被削弱，导致影像与三维重建模型质量不佳（卞敏等，2019）。本文结合重庆山区多雨多雾的天气特点，为解决实际航测作业生产过程中，雾霾的遮蔽导致的航测影像质量不高、建模效果差的问题，提出一种改进的 Retinex 算 龚洲 等：改进 Retinex 算法的带雾航片去雾与三维建模研究 203 法，以构建更清晰、更精细化的实景三维模型。2 航摄影像去雾增强算法分析 2.1 暗通道先验算法去雾增强 2.1.1 暗通道先验理论 暗通道先验理论是 He 等（2009）统计大量清晰影像后得到的一个统计规律，在 R、G、B 这三个通道中，总存在一个通道像素值趋近于 0。根据暗通道的定义，影像暗通道的表达式：darkR,G,B()()minmin()ccy a xJxJy (1)式中，()a x 为以像素x为中心的小型区域；c为y颜色三通道中的某一通道；cJ为R、G、B三通道中的灰度值。2.1.2 暗通道先验处理方法 有雾影像的退化模型为应用最广泛的McCartney大气散射模型（吴迪和朱青松，2015）：()()()1()I xJ x t xAt x (2)式中，()I x为接收到的原始影像；()J x为过滤处理后的清晰无雾影像；()t x为透射率；1()At x为输入的大气光照强度。1）估算大气光照强度 选择影像处理后的暗通道灰度值最大的像素点，计算并取其与雨雾影像的灰度平均值，作为大气光照的强度值。2）估算大气透射率 根据大气散射模型，计算R、G、B通道中的颜色最小值：R,G,B()()()()minmin()minmin1()cccy a xcy a xccIyIyt xAAt x (3)根据暗通道先验原理和式（1）可以得出：darkR,G,B()()minmin()0ccy a xJxJy (4)因此，由式（3）、式（4）可以计算出大气透射率为 ()()()1minmincy a xcIyt xA (5)3）去雾处理 通过式（2），可对影像去雾处理，恢复清晰的影像：1()()()()At xI xJ xt x (6)2.2 直方图均衡化去雾增强 直方图可以判断该影像的曝光是否合适。该算法采用非线性变换的方法，将其中较暗部分的对比度进行增强，从而使得影像整体灰度值均匀分布在双精度数据值01，从而达到去雾的效果（徐建东，2020）。其线性变换的公式为 minmin()round(1)xssh vLNs (7)式中，xs为灰度值不同分布；N为像素总数；L为影像最大灰度级。在影像去雾处理中，直方图均衡化的步骤如下：（1）统计影像中每个灰度级出现的次数：0()()0riH rs irL，(8)式中，L=256，对应8位灰度影像；()s i为灰度值归一化直方图，也可以是灰度值频数直方图；（2）累计归一化的直方图；（3）计算像素点新的灰度值。2.3 改进的 Retinex 算法去雾增强 2.3.1 Retinex 去雾算法 Retinex算法是由Land（1977）提出的理论。物体的颜色是由物体对R、G、B光线的反射能力决定的，色彩不受非均匀光照、反射光强度大小的影响，具有一致性。基于Retinex算法理论，拍摄的影像是由光源经过待观测物体再反射到观察的相机中，其原理示意，如图1所示。对于输入影像的每个点（x，y），可以得到成像的数学表达式：(,)(,)(,)S x yR x yL x y (9)式中，R(x，y)为反射物体影像；L(x，y)为入射光影像。基于Retinex理论的影像增强的基本流程如下。步骤1，将影像转换成对数域，将入射光和反射光分量分离，即(,)log(,)(,)f x yR x y L x y (10)204 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)图 1 Retinex 理论成像示意图（王浩，2022）Fig.1 Schematic diagram of Retinex theory imaging 步骤2，用原始影像进行卷积运算，通过低通滤波，得到影像(,)D x y，其中，(,)F x y表示高斯滤波函数：(,)(,)(,)D x yS x yF x y (11)步骤3，用原始影像减去高斯滤波后的影像，得到增强后的影像：(,)(,)log(,)r x yf x yD x y (12)步骤4，对(,)r x y取指数，得到最终增强后的影像(,)R x y：(,)exp(,)R x yr x y (13)2.3.2 改进的 Retinex 去雾算法 单尺度Reninex算法应用场景要求较高，光照条件在现实情况下很难达到均匀状态。Jobson等（1997）提出了多尺度Retinex算法，弥补了单尺度Retinex算法的不足，该算法的公式如下：1(,)log(,)log(,)(,)NiiiiinR x yI x yF x yI x y(14)式中，N=3时，表示彩色影像；N=1时，表示灰度图像。多尺度Retinex算法处理后的去雾影像存在色彩失真、灰度级失衡的问题。因此，本文提出一种改进的Retinex去雾算法，提出恢复系数Dix，通过计算，弥补影像局部色彩失真缺陷，使色彩保持真实不失真，其公式如 Dix1(,)Dix(,)(,)(,)Dix(,)(,)(,)iiNijjRx yx yR x yI x yx yf I x yfIx y (15)改进后的Retinex算法通过色彩恢复系数Dix来调整原始有雾影像的R、G、B色彩三通道之间的比例，把暗部的对比度加强，从而达到弱化影像彩色失真的效果。3 影像去雾实验结果与分析 3.1 实验数据 实验作业区域为重庆市南川区某山区，该区域地势较陡峭，高差起伏较大，相对高差为236 m。植被覆盖率大，建筑构筑物较少。作业区冬暖夏热，雨量充沛，多年平均湿度为78%，多年平均降水日数为153.4 d，采集到的航拍数据多为雨雾影像数据。实验选取在雨雾天气情况下三种不同特征的航测有雾影像进行测试，分别为城市场景、边坡场景和森林场景，基本覆盖航测作业生产的实际应用场景，具有典型的代表特性。需要说明的是，重庆有着“雾都”的称号，本文实验区又处于背阴坡。实验过程中，现场天气为雨夹雾，为轻雾状态，故所拍摄航片多为暗淡和模糊的状态。使用本文算法，将经过处理的雨雾影像进行实景三维模型重建，对比分析去雾前、后的三维模型效果。根据实验区现场的地形概况和空域情况，将整个区域分成三个区域进行航拍，分别独立进行航线设计，规划不同的航测方式、航线高度、航线重叠度。共采集倾斜航摄影像965张，航拍位置，如图2所示。图 2 相机输入 POS 位置 Fig.2 Camera input POS(position and orientation system)无人机搭载有效像素2000万的相机，拍摄影像的分辨率为54723648，图像大小约为9 MB。由于航拍影像的分辨率比常规的影像大，在测试的过程中，对原始影像作降采样处理，将原始影缩小到原图像的1/4，以减少计算时间。龚洲 等：改进 Retinex 算法的带雾航片去雾与三维建模研究 205 对同一幅有雾影像分别采用暗通道先验算法、直方图均衡化算法和本文算法进行影像去雾增强，并作比较。影像去雾增强的实验结果，如图3图5所示。图 3 城市场景 Fig.3 Urban scene 图 4 边坡场景 Fig.4 Slope scene 图 5 森林场景 Fig.5 Forest scene 3.2 主观评价 暗通道先验算法还原边坡场景和森林场景影像的视觉效果较好，没有额外的噪点，但去雾影像整体偏暗，尤其在城市场景中，色彩失衡较为严重，失去基本的纹理信息。直方图均衡化算法对影像的对比度和亮度增强比较明显，但对于大范围的有雾影像的处理结果表现不佳，在边坡场景和森林场景下没有达到很好的视觉效果。对比城市场景、边坡场景和森林场景的去雾增强结果，本文算法在城市场景航拍俯视角度下的表现最为突出，去雾增强后的影像去雾彻底，能保持图像原有的亮度，影像恢复的细节较好，避免了影像的过度饱和。对比三种应用场景的去雾影像增强效果，本文算法平衡了影像的色彩保持、去雾和影 像细节，在各个应用场景中清晰度都较高，边缘细节处也更加清晰，视觉效果优秀。3.3 客观评价 本文通过采用测取影像的信息熵和平均梯度的方法来对三种影像去雾算法进行比较和客观评价。影像的信息熵表现影像中像素点的相关性，熵值越大，影像的信息量也就越多，影像细节越丰富。其计算公式如下：1log()niiiHpp (16)式中，ip为发生的概率；i为随机事件；n为随机事件的总数。平均梯度表现图像表达细节的能力，是衡量影206 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)像清晰度的重要标准，梯度值越大说明影像的清晰度越高。其计算公式如 221112MNijffxyGMN (17)式中，M、N分别为影像的宽度和高度；fx为水平方向的梯度；fy为竖直方向的梯度。由表1表3可知，除森林场景下的信息熵值和平均梯度较直方图均衡化算法略为不足，本文算法的优化程度较暗通道先验算法和直方图均衡化算法有所提高，保证了影像色彩，具有较好的先进性和鲁棒性，应用场景宽泛。表 1 城市场景影像不同算法去雾客观评价指标 Tab.1 Objective evaluation index for different defogging algorithms in urban scene images 指标 信息熵 平均梯度 原图 7.0731 9.9078 暗通道先验算法 7.6989 20.7752 直方图均衡化算法 7.8728 23.4132 本文算法 7.9052 24.2879 表 2 边坡场景影像不同算法去雾客观评价指标 Tab.2 Objective evaluation index for different defogging algorithms in slope scene images 指标 信息熵 平均梯度 原图 7.2721 10.8139 暗通道先验算法 7.4885 19.4284 直方图均衡化算法 7.8722 28.1409 本文算法 7.8961 29.1460 表 3 森林场景影像不同算法去雾客观评价指标 Tab.3 Objective evaluation index for different defogging algorithms in forest scene images 指标 信息熵 平均梯度 原图 6.7397 7.4294 暗通道先验算法 7.1388 14.9714 直方图均衡化算法 7.6188 20.0444 本文算法 7.5885 19.0801 3.4 三维建模与分析 为保证数据采集的完整性与实验结果的准确性，需按照低空数字航空摄影测量外业规范进行航测作业，并保证倾斜摄影的地面分辨率精度和质量（林万荣，2022）。分别将去雾增强处理前、后的影像数据进行空中三角测量计算与三维模型重建。目前，主流的空中三角测量方法是光束法区域网平差（Julin等，2018），构建三维TIM网（王哲奇等，2020），可以得到每张影像的外方位元素和地面点坐标。最终按200 m200 m的平面格网划分方式，将整题模型分为多个区块，输出空间参考系统为CGCS2000国家大地坐标系的多个通用格式OSGB的模型成果，得到纹理清晰的实景三维模型。选取带雾影像（图6），进行本文算法的影像去雾增强处理，其三维模型输出成果，如图7所示。图 6 未去雾三维模型 Fig.6 3D model without defogging 图 7 本文算法去雾增强三维模型 Fig.7 Enhanced 3D model using the proposed defogging algorithm 经过去雾增强处理后的航片清晰度高、色彩还原真实。同时，由于像控点量测过程中主要需要人工参与，更加丰富的影像细节和清晰度更能提高像控点量测的准确性，从而提高空三计算的质量。通过本文算法去雾增强后的影像，影像清晰度更高，色彩还原效果更真实。基于雨雾影像的实景三维模型的效果较为模糊，整体模型泛白，呈现一种冲淡的效果；基于去雾影像的实景三维模型清晰度高，模型细节的表现能力优异，视觉效果好，能较好地达到研究任务需求。龚洲 等：改进 Retinex 算法的带雾航片去雾与三维建模研究 207 4 结 论 本文探讨了影像去雾与影像增强算法的研究，提出了一种改进Retinex算法，并以重庆某山区为例，开展了与两种传统经典算法的实验比较分析。结果表明，针对雨雾天气情况出现薄雾或轻雾等情况，本文算法有效地改善了航测影像通常细节信息表达不清晰的问题，达到了很好的视觉效果，可适用范围较大。通过本文算法去雾增强的影像，由于其更高的清晰度和更真实的影像细节，在实景三维建模的过程中，能更好地避免人为因素的误差干扰，提高三维建模的准确度和精细程度。在较潮湿环境的地区，研究可辅助日益增多的无人机航测作业生产与实景三维建模，为实际测绘作业生产和科学研究提供重要助力，并为下一步的实景三维建模效果提供了重要的数据支撑。参考文献 卞敏,徐亮,骆元鹏,周晓波,赵慧峰,杨化超.2019.空地一体精细化三维模型构建方法.测绘通报,(7):83-86 车雯雯.2021.基于增强和复原的单幅图像去雾算法研究.硕士学位论文.延安:延安大学 黄鹤,胡凯益,郭璐,王会峰,朱礼亚.2021.改进的海雾图像去除方法.哈尔滨工业大学学报,53(8):81-91 李娜,邓家先,崔亚妮,陈褒丹.2021.基于暗通道先验的红外图像清晰化及 FPGA 实现.红外与激光工程,50(3):119-128 林万荣.2022.倾斜摄影实景三维建模技术及其应用现状分析.测绘与空间地理信息,45(1):209-211 宋聪莹,邵清.2021.基于暗通道先验的 Retinex 去雾算法研究.软件导刊,20(1):214-218 苏畅,毕国玲,金龙旭,聂婷,梁怀丹.2019.基于暗通道图像质心偏移量的去雾算法.光学学报,39(5):421-428 王保国,张润科.2018.无人机倾斜摄影测量在规划方案比选中的应用.测绘通报,(1):143-146 王高峰,杨宁宇,王嘉锐,王翠翠,卢玮,高涛.2019.基于暗原色先验的自适应参数优化的图像去雾算法研究.电子设计工程,27(7):1-4 王浩.2022.交通图像去雾清晰化系统的研究与实现.硕士学位论文,西安:长安大学 王哲奇,徐柳华,俞志强.2020.倾斜摄影实景模型悬空地物处理方法.测绘通报,(5):111-114 吴迪,朱青松.2015.图像去雾的最新研究进展.自动化学报,41(2):221-239 徐建东.2020.一种直方图均衡插值的图像细节增强方法.江苏理工学院学报,26(2):23-29 张剑清,潘励,王树根.2009.摄影测量学.2 版.武汉:武汉大学出版社 Chen C,Do M N,Wang J.2016.Robust image and video dehazing with visual artifact suppression via gradient residual minimization/Proceedings of European Conference on Computer Vision,576-591 He K M,Sun J,Tang X O.2009.Single image haze removal using dark channel prior/IEEE Conference on Computer Vision and Pattern Recognition:1956-1963 Jobson D J,Rahman Z,Woodell G A.1997.Properties and performance of a center/surround retinex.Transactions on Image Processing:A Publication of the IEEE Signal Processing Society,6(3):451-462 Julin A,Jaalama K,Virtanen J P,Pouke M,Ylipulli J,Vaaja M,Hyypp J,Hyypp H.2018.Characterizing 3D city modeling projects:Towards a harmonized interoperable system.ISPRS International Journal of Geo-Information,7(2):55 Kansal I,Kasana S.2020.Improved color attenuation prior based image de-fogging technique.Multimedia Tools and Applications,79(17):12069-12091 Kim I,Kim M H.2017.Dehazing using non-local regularization with iso-depth neighbor-fields/Proceedings of the 12th International Joint Conference on Computer Vision,Imaging and Computer Graphics Theory and Applications,4:77-88 Land E H.1977.The retinex theory of color vision.Scientific American,237(6):108-128.Wan Z H,Zhao K C,Chu J K.2021.A novel attitude measurement method based on forward polarimetric imaging of skylight.IEEE Transactions on Instrumentation and Measurement,70:1-9 Wang K,Zhou H X,Li H,Zhang J J,Hou S J.2023.Image haze removal algorithm based on nonsubsampled contourlet transform/Proceedings of SPIE 12557,AOPC 2022:Optical Sensing,Imaging,and Display Technology,290-302 Yang H Y,Chen P Y,Huang C C,Zhuang Y Z,Shiau Y H.2011.Low complexity underwater image enhancement based on dark channel prior/2011 Second International Conference on Innovations in Bio-inspired Computing and Applications:17-20 208 Journal of Spatio-temporal Information 时空信息学报 2023,30(2)Study on defogging and 3D modeling of aerial images based on improved Retinex algorithm GONG Zhou,PAN Guobing,AO Qiyong,XIONG Yan,CHEN Changwen,YUAN Xiaobin School of Smart City,Chongqing Jiaotong University,Chongqing 400000,China Abstract:At present,in the southwestern mountainous regions of China,the terrain environment is quite intricate,and there is frequent rain and fog weather throughout the year.The presence of smog significantly impacts aerial images,resulting in darker images,reduced image contrast,and loss of valuable information in the details,leading to impaired image.quality and 3D reconstruction models.This study focuses on addressing challenging weather conditions during aerial survey operations,such as clouds and fog,which often cause color distortion,low saturation,and blurred background in images.To tackle these issues,the study investigates image defogging and enhancement algorithms,presenting an improved Retinex algorithm.The model-based image restoration and defogging method analyzes the principle of blurring images and the mechanism behind the degradation of image quality due to rain and fog,subsequently processing foggy images.This paper firstly analyzes and introduces the traditional classic defogging enhancement algorithms,including dark channel prior algorithm,histogram equalization algorithm and Retinex algorithm.It explores model-based image restoration and defogging methods,and examines the principle of blurred images and the quality of rain and fog images mechanism of degradation,focusing on processing foggy images.Furthermore,non-model-based image enhancement algorithm are utilized to suppress irrelevant features,enhance image clarity and contrast,and enrich color and other field information,achieving a visually satisfactory visual enhancement effect.After conducting on-site image data collection in a foggy area in Chongqing,experiments and result analyses are performed to compare image defogging enhancement,in three different application scenarios:urban scene,slope scene,and forest scene.Both subjective and objective comparisons are made,with objective measurements utilizing information entropy and average gradient of the images to reflect the defogging enhancement effect through experimental result data.The use of the improved Retinex algorithm in this paper for aerial image defogging and enhancement processing better meet the specific scene requirements in various different areas.The proposed algorithm in this paper effectively processes foggy images,revealing more real and accurate details,and preserving clear and authentic light-sensitive colors.The defogged and enhanced images are further employed for 3D modeling,generating high-resolution 3D meshes.The evaluation of the image effect is conducted based on both subjective and objective standards,yielding positive results in optimized images and 3D models.The method presented in this paper assists in increasing the production of UAV aerial survey operations and real-world 3D modeling,providing significant support for actual surveying,mapping operations,and scientific research.It offers important data support for the next step of real-scene 3D modeling,further promoting the comprehensive application of real-scene 3D China.Key words:dark channel prior;histogram equalization;Retinex algorithm;image defogging;realistic 3D modeling Supported by General Program of National Natural Science Foundation of China(42074004)