水下图像增强方法综述_邓晶.pdf

4电视技术 第 46 卷第 12 期(总第 565 期)VIDEO APPLICATION&PROJECT视频应用与工程文献引用格式：邓晶.水下图像增强方法综述 J.电视技术，2022，46（12）：4-7，13.DENG J.An overview of underwater image enhancement methodsJ.Video Engineering，2022，46（12）：4-7，13.中图分类号：TP751 文献标识码：A DOI：10.16280/j.videoe.2022.12.002水下图像增强方法综述邓 晶（福州大学 先进制造学院，福建 泉州 362200）摘要：水下图像增强是水下设备完成水下任务的重要支撑技术。在介绍水下图像应用存在的问题的基础上，对现有的水下图像增强方法原理和技术进行介绍和总结，根据水下图像增强技术的难点与目前面临的问题，对水下图像增强技术未来的发展趋势进行展望，进一步发挥深度学习的能力，提高水下图像的质量。关键词：水下图像增强；深度学习；神经网络An Overview of Underwater Image Enhancement MethodsDENG Jing(School of advanced manufacturing,Fuzhou University,Quanzhou 362200,China)Abstract:Underwater image enhancement is an important supporting technology for underwater equipment to complete underwater tasks.Based on the introduction of the problems existing in the application of underwater image,this paper introduces and summarizes the principles and technologies of existing underwater image enhancement methods.According to the difficulties and current problems of underwater image enhancement technology,this paper looks forward to the future development trend of underwater image enhancement technology,further develops the ability of in-depth learning,and improves the quality of underwater image.Keywords:underwater image enhancement;deep learning;neural network0 引 言探索和利用海洋，已经成为各个国家的战略焦点。近年来，水下视觉在海洋军事、海洋科学研究和工业领域发挥着越来越重要的作用。目前，有很多设备可用于水下作业，如自主水下航行器和水下机器人等。然而，由于光吸收、散射和水质的影响，水下设备拍摄获得的水下图像通常存在颜色失真、模糊不清、细节丢失等问题。水下图像增强算法是水下设备完成水下任务的重要支撑，对提高水下作业效率至关重要。传统的水下图像增强通常采用无模型的增强方法1和基于物理模型的增强方法2。基于无模型方法多采用图像像素调整来提高图像的视觉效果，然而它们忽略了水下图像成像机制，不能适用于水下环境。基于物理模型的增强方法依赖于模型的先验方法，然而，由于水下环境的复杂性，单个物理模型难以反映真实水下环境，参数估计具有挑战性。得益于神经网络强大的非线性建模能力，深度学习在水下图像增强领域做出了突出贡献3，是一个值得探索的方向。1 水下图像增强存在的问题及应用由于水对光具有吸收作用，光在水中传播会发生能量的衰减。通常情况下，波长与衰减速度成正比。与蓝色和绿色光相比，红色和橙色波长的光被水更快地吸收，因此水下图像通常以蓝绿色调出现。如图 1 所示，红光在水下 5 m 已经完全被吸收。光在水中会发生散射效应，这将导致一部分光不能被成像设备所收集。此外，水中的悬浮粒子也容易发生散射。研究水下图像增强仍然是一项具有挑战性的任务，对于水下目标识别、提高水下目标检测精度等具有重大意义。电视技术 第 46 卷第 12 期(总第 565 期)5VIDEO APPLICATION&PROJECT视频应用与工程注：黑为蓝色光，灰为绿色光，白为红色光图 1 水下光吸收示意图常见的水下成像模型源自 JAFFE4模型，如下所示：Ic(x)=Jc(x)e-cd(x)+Ac(1-e-cd(x)（1）式中：Ic和Jc分别是观察到的要恢复的退化图像和清晰图像，c表示颜色通道，Ac是环境光，d(x)表示场景深度，c表示散射系数。其中环境光Ac和传输参数 e-cd(x)未知。依赖于波长的衰减会导致颜色失真，颜色失真会随着对象距离的增加而增加，而散射会导致场景上依赖于距离的附加分量，从而降低对比度。水下图像增强是提高水下图像视觉质量不可或缺的一步。根据水下图像增强方法是否涉及深度学习技术，可以将水下图像增强分为传统的水下图像增强和基于深度学习的水下图像增强两类，具体分类如图 2 所示。图 2 水下图像增强分类图2 传统的水下图像增强根据是否使用水下图像成像模型，传统的水下图像增强模型分为非物理模型增强和基于物理模型增强两类。2.1 非物理模型增强非物理模型的方法无需建立水下图像成像模型，采用传统的图像增强方法，通过调整图像的像素值来提高图像质量，如直方图均衡化5、白平衡6以及像素分布调整7。ANCUTI 等人8对原始水下图像进行预处理，得到经过颜色校正和对比度增强的水下图像，然后提出了一种多尺度融合策略，以获得高质量的水下图像。随后，ANCUTI 等人9进一步改进了基于融合的水下图像增强策略，提出将基于多尺度融合策略的白平衡算法得到的两个版本进行融合。此外，文献 10、文献 11 基于 Retinex理论，FU 等人10提出了一种基于 Retinex 理论的水下图像增强方法，该方法包括颜色校正、层分解和增强等操作，ZHANG 等人11提出了一种基于视网膜的扩展多尺度 UIE 方法，在 CIELAB 颜色空间中处理水下图像。ANCUTI 等人12在 2019 年提出了一种颜色通道补偿（3C）方法，根据对立的颜色通道重建丢失的通道，有效地增强了颜色的外观。最近，ZHANG 等人13提出了通过最小颜色损失和局部自适应对比度增强的水下图像增强方法，根据最小颜色损失原则结合融合策略调整图像的颜色和细节，引入色彩平衡策略来平衡 CIELAB 色彩空间中的颜色差异，增强的结果具有鲜艳的色彩、改进的对比度和增强的细节。尽管这些无物理模型的方法可以在一定程度上提高视觉质量，但它们忽略了水下成像机制，不能适应水下环境，因此往往会产生过度/不足增强的结果或引入人工色彩。2.2 基于物理模型增强基于物理模型的方法将水下图像增强视为图像退化的逆问题。这些方法通常先建立一个物理的水下图像退化模型，然后根据各种先验假设估计未知的环境光模型参数和传输参数。最后，通过反演这一退化过程，可以得到高质量的图像。这些先验包括红色通道先验14、水下暗通道先验15、最小信息先验16、模糊先验17、一般暗通道先验18等。PENG 和 COSMAN17提出了一种基于图像模糊和光吸收的水下图像深度估计算法。根据估计的深6电视技术 第 46 卷第 12 期(总第 565 期)VIDEO APPLICATION&PROJECT视频应用与工程度，基于水下成像模型可以恢复清晰的水下图像。PENG18进一步提出了在处理恶劣天气下拍摄的不同图像之前对暗通道的概化。WANG 等人19开发了一种最大衰减识别方法（MAI），仅利用红色通道信息生成深度图和大气光。SONGET 等人20提出了一个统计模型，利用背景光和传输图的优化提高水下图像的颜色和对比度。上述基于物理模型的方法往往需要先验知识，而图像增强的质量取决于参数估计的准确性。然而，由于水下环境的复杂性，单个物理模型难以反映真实水下环境，参数估计具有挑战性。3 基于深度学习增强最近，通过学习大量成对数据，神经网络可以实现对复杂非线性系统的端到端建模，从而提高感知图像的质量。目前，深度学习技术如卷积神经网络（Convolutional Neural Networks，CNN）和生成对抗网络（Generative Adversarial Networks，GAN）已在水下图像增强领域发挥了重要的作用，各种基于深度学习的增强网络被提出。3.1 基于卷积神经网络的水下图像增强UIE-Net22由两个完全卷积神经网络组成，用于学习颜色校正和去除雾霾任务，代表了使用 CNN增强水下图像的开创性工作。CAO 等人23分别提出了 5 层卷积神经网络和多尺度深度网络来估计背景光和场景深度。HOU 等人24提出了一种水下残差网络来联合优化传输和校正颜色。2019 年，LI等人25提出根据不同的水体类型模拟真实的水下图像，建立水下成像物理模型，利用 10 种合成的水下图像，训练 10 种水下图像增强（UWCNN）模型。每个UWCNN模型对对应类型的水下图像进行增强。之后，2020 年，LI 等人26收集了一个真实的水下图像配对数据集用于训练深度网络，并提出了一种门控融合网络 Water-Net 来增强水下图像。该门控深度模型需要三幅预处理图像作为门控网络的输入，包括 Gamma 校正图像、对比度改进图像和白平衡图像。最近，LI 等人27又提出一种多颜色空间编码网络，通过将不同颜色空间的特征融合到一个统一的结构中，丰富了特征表示的多样性，同时设计及一个介质传输的解码器网络，以增强网络对质量退化区域的响应，有效地提高了水下图像的视觉质量。3.2 基于生成对抗网络的水下图像增强LI 等 人 设 计 的 WaterGAN28是 最 早 的 基 于GAN 的水下图像增强尝试，利用 WaterGAN 和图像形成模型来合成退化/干净的图像进行监督学习，包括深度估计模块和颜色校正模块。在循环一致对抗网络 CycleGAN29的启发下，为了避免对成对训练数据的要求，LI 在文献 30 中提出了一种弱监督的水下色彩校正网络（UCycleGAN）。GUO 等人31使用多尺度密集生成对抗网络（MDGAN），利用密集连接、残差学习来提高水下图像增强的鲁棒性。考虑到运行效率，ISLAM 等人32提出了一种基于条件 GAN 的实时水下增强方法，称为 FUnIE-GAN。为了使增强的图像有利于检测，CHEN等人33提出了两种感知增强模型，每一种都使用带有检测感知器的深度增强模型，检测感知器以梯度的形式提供反馈信息，以指导增强模型生成视觉上令人愉悦或检测有利的图像块级别。4 总结与展望非物理模型的水下图像增强采用传统的图像增强方法，主要通过调整图像像素达到提高图像质量的作用。但是由于没有考虑水下环境，不能适用于水下图像增强。基于物理模型的水下图像增强利用水下图像成像模型，根据先验假设估计未知参数，然而参数估计具有挑战性，单个物理模型不能反映水下环境的复杂性。随着深度学习的迅速发展，其在解决水下图像增强方面已经取得了很大的成果。但是由于水下图像受到水体温度、类型及地理位置的影响，目前的水下图像增强算法大多对于训练图像具有选择性。基于深度学习的增强方法通过学习成对数据实现端到端的建模，训练的效果严重依赖于给定的训练数据。因此，通过半监督、自监督等深度学习的方法非常有必要开展，能够减少增强效果对训练数据的依赖，提高算法的鲁棒性。5 结 语水下图像增强作为水下作业的低级视觉任务，在水下目标检测、跟踪等方面起着重要作用。在深度学习快速发展的今天，其已成为学术界研究的热点之一。本文首先介绍了水下图像增强的特点及应用，其次讨论了水下图像增强方法的分类。最后，本文对现有增强方法进行了总结，并结合深度学习 电视技术 第 46 卷第 12 期(总第 565 期)7VIDEO APPLICATION&PROJECT视频应用与工程方法，展望了水下图像增强未来的发展方向。参考文献：1 IQBAL K，ODETAYO M，JAMES A，et al.Enhancing the low quality images using unsupervised colour correction methodC/IEEE International Conference on Systems，Man and Cybernetics，2010.2 DREWS P L J，NASCIMENTO E R，BOTELHO S S C，et al.Underwater depth estimation and image restoration based on single imagesJ.IEEE computer graphics and applications，2016，36（2）：24-35.3 YANG H H，HUANG K C，CHEN W T.Laffnet：A lightweight adaptive feature fusion network for underwater image enhancementC/IEEE International Conference on Robotics and Automation（ICRA），2021.4 JAFFE J S.Computer modeling and the design of optimal underwater imaging systemsJ.IEEE Journal of Oceanic Engineering，1990，15（2）：101-111.5 GRAKSIN G E，KSE U，DEPERLOLU.Underwater image enhancement based on contrast adjustment via differential evolution algorithmC/International Symposium on INnovations in Intelligent SysTems and Applications（INISTA），2016.6 HENKE B，VAHL M，ZHOU Z.Removing color cast of underwater images through non-constant color constancy hypothesisC/8th International Symposium on Image and Signal Processing and Analysis（ISPA），2013.7 GHANI A S A，ISA N A M.Underwater image quality enhancement through integrated color model with Rayleigh distributionJ.Applied soft computing，2015，27：219-230.8 ANCUTI C，ANCUTI C O，HABER T，et al.Enhancing underwater images and videos by fusionC/IEEE conference on computer vision and pattern recognition，2012.9 ANCUTI C O，ANCUTI C，DE VLEESCHOUWER C，et al.Color balance and fusion for underwater image enhancementJ.IEEE Transactions on image processing，2017，27（1）：379-393.10 FU X，ZHUANG P，HUANG Y，et al.A retinex-based enhancing approach for single underwater imageC/IEEE international conference on image processing（ICIP），2014.11 ZHANG S，WANG T，DONG J，et al.Underwater image enhancement via extended multi-scale RetinexJ.Neurocomputing，2017，245：1-9.12 ANCUTI C O，ANCUTI C，DE VLEESCHOUWER C，et al.Color channel compensation（3C）：A fundamental pre-processing step for image enhancementJ.IEEE Transactions on Image Processing，2019，29：2653-2665.13 ZHANG W，ZHUANG P，SUN H H，et al.Underwater image enhancement via minimal color loss and locally adaptive contrast enhancementJ.IEEE Transactions on Image Processing，2022，31：3997-4010.14 GALDRAN A，PARDO D，PICN A，et al.Automatic red-channel underwater image restorationJ.Journal of Visual Communication and Image Representation，2015，26：132-145.15 DREWS P L J，NASCIMENTO E R，BOTELHO S S C，et al.Underwater depth estimation and image restoration based on single imagesJ.IEEE computer graphics and applications，2016，36（2）：24-35.16 LI C Y，GUO J C，CONG R M，et al.Underwater image enhancement by dehazing with minimum information loss and histogram distribution priorJ.IEEE Transactions on Image Processing，2016，25（12）：5664-5677.17 PENG Y T，COSMAN P C.Underwater image restoration based on image blurriness and light absorptionJ.IEEE transactions on image processing，2017，26（4）：1579-1594.18 PENG Y T，CAO K，COSMAN P C.Generalization of the dark channel prior for single image restorationJ.IEEE Transactions on Image Processing，2018，27（6）：2856-2868.19 WANG N，ZHENG H，ZHENG B.Underwater image restoration via maximum attenuation identificationJ.IEEE Access，2017，5：18941-18952.20 SONG W，WANG Y，HUANG D，et al.Enhancement of underwater images with statistical model of background light and optimization of transmission mapJ.IEEE Transactions on Broadcasting，2020，66（1）：153-169.21 WANG Y，ZHANG J，CAO Y，et al.A deep CNN method for underwater image enhancementC/IEEE International Conference on Image Processing（ICIP），2017.22 CAO K，PENG Y T，COSMAN P C.Underwater image restoration using deep networks to estimate background light and scene depthC/IEEE Southwest Symposium on Image Analysis and Interpretation（SSIAI），2018.（下转第 13 页）电视技术 第 46 卷第 12 期(总第 565 期)13PARTS&DESIGN器件与设计2 马绍波.基于隧穿磁阻效应电流传感器的绝缘子泄漏电流检测系统设计与研究 D.重庆：重庆理工大学，2022.3 史轮.闭环隧道磁电阻电流传感器仿真分析与验证 J.南京理工大学学报，2021，45（3）：338-343.4 刘卿.隧穿磁阻（TMR）电流传感器失调与噪声消除技术 J.电力建设，2019，40（1）：8-14.5 陈亚锋.基于 TMR 传感器的大电流测量技术 D.成都：电子科技大学，2019.6 单婷婷.基于机器学习及隧穿磁阻传感器测量技术的空间电荷分布 D.南京：东南大学，2021.7 芮胜骏.基于 TMR 的开环数字式电流传感器的动态范围和精度 D.兰州：兰州大学，2018.8 杨庆，孙尚鹏.面向智能电网的先进电压电流传感方法研究进展 J.高电压技术，2019，45（2）：349-367.9 GUO Q，FU P，GAO G，et al.Rectangular magnetic sensor array for current measurement by the quadrature methodJ.IEEE Transactions on Plasma Science，2018，46（5）：1227-1233.10 刘董.基于AMR磁传感器的电流检测技术研究D.青岛：青岛大学，2020.11 胡军，赵帅，欧阳勇，等.基于巨磁阻效应的高性能电流传感器及其在智能电网的量测应用 J.高电压技术，2017，43（7）：2278-2286.12 王善祥，王中旭，胡军，等.基于巨磁阻效应的高压宽频大电流传感器及其抗干扰设计 J.高电压技术，2016，42（6）：1715-1723.13 王婧怡，钱政，王现伟.巨磁阻传感器动态特性测量方法的研究 J.电测与仪表，2016，53（1）：38-42.14 王海宝，郭海平，王于波，等.基于 TMR 元件的电流传感器的研制 J.电测与仪表，2018，55（9）：103-107.编辑：张玉聪23 HOU M，LIU R，FAN X，et al.Joint residual learning for underwater image enhancementC/25th IEEE International Conference on Image Processing（ICIP），2018.24 LI C，ANWAR S，PORIKLI F.Underwater scene prior inspired deep underwater image and video enhancementJ.Pattern Recognition，2020，98：107038.25 LI C，GUO C，REN W，et al.An underwater image enhancement benchmark dataset and beyondJ.IEEE Transactions on Image Processing，2019，29：4376-4389.26 LI C，ANWAR S，HOU J，et al.Underwater image enhancement via medium transmission-guided multi-color space embeddingJ.IEEE Transactions on Image Processing，2021，30：4985-5000.27 LI J，SKINNER K A，EUSTICE R M，et al.WaterGAN：Unsupervised generative network to enable real-time color correction of monocular underwater imagesJ.IEEE Robotics and Automation letters，2017，3（1）：387-394.28 ZHU J Y，PARK T，ISOLA P，et al.Unpaired image-to-image translation using cycle-consistent adversarial networksC/Proceedings of the IEEE international conference on computer vision，2017.29 LI C，GUO J，GUO C.Emerging from water：Underwater image color correction based on weakly supervised color transferJ.IEEE Signal processing letters，2018，25（3）：323-327.30 GUO Y，LI H，ZHUANG P.Underwater image enhancement using a multiscale dense generative adversarial networkJ.IEEE Journal of Oceanic Engineering，2019，45（3）：862-870.31 ISLAM M J，XIA Y，SATTAR J.Fast underwater image enhancement for improved visual perceptionJ.IEEE Robotics and Automation Letters，2020，5（2）：3227-3234.32 CHEN L，JIANG Z，TONG L，et al.Perceptual underwater image enhancement with deep learning and physical priorsJ.IEEE Transactions on Circuits and Systems for Video Technology，2020，31（8）：3078-3092.编辑：张玉聪（上接第 7 页）