基于监督学习的水下图像复原方法研究.pdf

信息记录材料 2023 年 7 月 第 24 卷第 7 期基于监督学习的水下图像复原方法研究谢佩诗(闽南理工学院信息管理学院 福建 石狮 362700)【摘摘要要】近年来,各国对海洋保护和开发越来越重视,众多研究机构和学者开始关注水下信息可视化技术的研究。针对水下图像的质量退化问题,文中引入深度学习方法,提出数据驱动的水下图像复原的网络模型 FNCNN。首先,介绍了水下图像清晰化方法的原理;其次,设计基于监督的水下图像复原网络模型、目标函数和图像合成方法;最后,给出网络模型的训练数据集,对所提网络模型在真实的水下图像数据集上进行比较验证,对结果进行分析。结果表明,FNCNN 网络模型的结果表现出了很好的效果。【关关键键词词】深深度度学学习习;水水下下图图像像复复原原;卷卷积积神神经经网网络络;图图像像清清晰晰化化【中中图图分分类类号号】TP274 【文文献献标标识识码码】A 【文文章章编编号号】1009-5624(2023)07-0155-030 引言海洋面积占地球表面积的 70%,海洋拥有大量可开发利用的资源,具有较高的经济价值,开发和利用海洋资源成为各国经济发展的重要推动力。在海洋经济发展“十四五”规划中明确指出,增强海洋科技创新能力,积极推进海洋科技活动,推动水下智能装备高质量发展,将有助于我国实现海洋强国目标。我国在国民经济发展规划中将海洋经济纳入其中。由于海洋环境的特殊性,人类很难获取其中的所有信息,大部分是通过视觉系统获得。因此,水下计算机视觉技术成为探索海洋科技的重要基础,得到国内外学者的广泛关注1。受到水下复杂的成像环境和设备的影响,大多图像对比度和清晰度较低等问题。这种情况下的图像很难应用于海洋环境保护、海洋工程、海洋军事等领域。因此,对水下图像进行处理,使得到的图像能够符合具体应用的需要。因此,对水下图像清晰化处理的算法研究具有重要的应用价值2-3。论文基于深度学习理论,提出数据驱动的水下图像复原的网络模型,基于此模型提出一种水下图像合成方法,该方法在图像复原上具有灵活性好,准确性高的特点。1 水下图像复原方法研究现状近年来,各国对海洋保护和开发越来越重视,众多研究机构和学者开始关注水下信息可视化技术的研究。越来越多的水下图像处理的相关研究成果发表在国内外的权威期刊和会议上。在水下,光的传播通常是散射和吸收的形式与水以及水中的介质产生作用。在高吸收、强散射的水下环境,水下视觉增强方法是在实际应用中有效获取海洋信息的关键。真实海洋环境中存在很多影响图像清晰度的因素。Akkaynak D 等4在 2018 年充分考虑了水下的衰减系数、传感器和各类光学参数,提出复杂水下成像模型,更准确模拟水下成像过程。2019 年又证实了基于复杂水下成像模型复原结果优于简化成像模型5。2021 年在 LIU X等6为了提升复杂水下光学模型的适用性,设计网络模型或利用黑色像素点先验信息估计场景深度信息。为了抑制噪声,2022 年,在 LI X 等7研究人员构建了一个自适应去噪 架 构,利 用 软 阈 值 抑 制 高 频 成 分 噪 声。同 年,ZHUANG P 等8提出了超拉普拉斯散射率先验的 Retinex变分模型,将复杂水下退化问题转化为照度去除简单子问题。ZHANG W 等9综合解决水下图像降质问题,利用最小颜色损失策略,以及最大衰减引导融合策略,增强图像颜色和细节。总的来说,随着国内外对海洋资源的重视,水下图像处理的相关研究领域已经有越来越多的研究人员重视。水下图像清晰化的研究得到快速的发展,水下图像清晰化处理研究的重要性越来越突显。2 水下图像清晰化方法根据图像清晰化方法是否采用深度学习分为无监督方法和基于深度学习的方法。基于深度学习额方法中,进一步可以分为基于卷积神经网络(convolutional neuralnetwork,CNN)和基于生成对抗网络(generative adversarialnetwork,GAN)的方法。根据是否将水下模型引入,将CNN 方法分为结合物理模型的方法和非物理模型的方法。根据所采用的 GAN 方法的不同,将 GAN 方法分为基于条件生成的对抗网络(conditional generative adversarialnetwork,cGAN)和 基 于 循 环 一 致 性 对 抗 网 络(cyclegenerative adversarial network,CycleGAN)。2.1 无监督的水下图像清晰化方法无监督的水下图像清晰化方法通常基于硬件的升级或者算法处理来提高图像的质量。基于硬件的方法一般是通过提高硬件成像设备的性能来提高图像质量。包括立体成像、距离成像、荧光成像等。设计水下摄像机、双目摄像机、三维扫描仪等。基于硬件升级的方法成本较高,而且不能解决不同环境出现的图像问题,因此需要借助软件的方法来提高图像质量。无监督的算法大致分为基于物理模型和非物理模型两类,物理模型方法是对图像的退化过程进行建模,进行参数估计,反演得到较清晰的图像。该方法通常要建立在一定的假设先验基础上,算法复杂度高,应用上具有一定的局限性。非物理模型的方法不依赖成像模型,直接调整像素达到图像复原的效果。物理模型虽然方法在一定程度上提高图像复原的质量,但容易引入颜色偏差和伪影,加重噪声,因此存在过饱和及欠饱和551信息记录材料 2023 年 7 月 第 24 卷第 7 期问题。2.2 基于深度学习的水下图像清晰化方法在图像处理中,深度学习技术被广泛应用,根据不同的网络模型,分为基于 CNN 和 GAN 的方法。基于 CNN 的方法一般由多个卷积层构成,利用监督信息提取从低层细节到高层语义的特征表达,利用这些特征实现任务。CNN方法还可以根据是否利用物理模型分为结合物理模型的和非物理模型的方法。结合物理模型的 CNN 方法如图 1所示。图 1 结合物理模型的 CNN 流程图非物理模型 CNN 主要研究设计物理模型和损失函数上,将原始图像输入到网络模型,输出清晰的水下图像,算法的适应性较好。非物理模型 CNN 流程图如图 2 所示。图 2 非物理模型 CNN 流程图3 基于监督学习的水下图像复原方法基于深度学习和水下成像原理,提出基于监督学习的水下图像复原网络模型。设计一种用于该网络模型训练的水下图像的合成方法。在图像数据集上进行比较,分析实验结果。3.1 网络模型设计在水下,光照吸收和散射存在波长相关的特性,使得出现图像变得模糊、颜色失真、对比度低等现象。因此设计一种针对该现象的水下图像复原的网络模型,该模型采用全卷积网络结构,实现数据驱动的网络训练模型,该模型可以较灵活应用到其他深度模型中,还可以得到直接输出清晰的水下图像。水下成像过程可以用式(1)描述。其中 I 表示水下图像,x 表示像素位置,J 表示清晰图像,t 表示媒介透射率,A表示全局背景光。为了获得清晰的水下图像,复原算法一般采用先验信息从 I(x)中估计 A 和 t,反演清晰的图像 J(x)。本文采用卷积神经网络模型,重构水下图像,提出基于监督学习的水下图像复原网络模型 FSCNN。FSCNN是一个全卷积网络模型,输入为水下图像,输出为清晰图像。FSCNN 通过预测的方法,得到清晰和退化图像间的残差(J-I),通过这个方法重构水下图像,得到清晰的水下图像。这种方法能够避免在训练的过程中出现梯度爆炸。清晰水下图像的获得为 I 与残差的相加。FSCNN 网络模型图如图 3 所示。Ic(x)=Jc(x)tc(x)+Ac(1-tc(x),c r,g,b(1)图 3 FSCNN 网络模型图 在图 3 中的网络模型包括 Block、卷积层堆叠、卷积层和 Relu,其中 Block 的第一个卷积层中包括 16 个 333 卷积核。其他卷积层则采用的是3316 卷积核,输出都是16个特征图,Block 为第三层卷积输出为残差图。该模型的激活函数为非线性单元 ReLU,引入非线性。采用卷积层堆叠降低网络深度,提高图像的准确性。网络在每个 Block 末尾堆叠前面所有卷积层,从而提高训练速度和执行效率。3.2 目标函数设计文中的图像复原中设计的网络目标函数为 L2范数,在目标函数中增加 SSIM(structural similarity,结构相似性)函数,通过优化函数得到 FSCNN 网络模型的权重。将得到的残差与原始图像相加重构图像,最小化结果并且与GT(ground truth,基准真相)的 L2范数为式(2)所示。其中 LMSE为需要求得的范数,N 为训练样本的个数,CHW 为CHW,是水下图像的维度,学习到的残差函数为 F,Ji为所对应的清晰图像,原始水下图像为 Ii。最小化重构结果和 GT 间的光照强度的相似性。计算 Ii和 F(Ii)+Ii每一个像素点的 SSIM 的值,文中 SSIM 的值用 S 表示,公式如(3)所示。式中的 p 为图像的中心像素,x 为 1313 图像块,为中值,为标准方差,xy为 x,y 的协方差,C1=0.02,C2=0.03,最后得到 SSIM 的目标函数为公式(4)所示。其中 M 为水下图像的光强维度,M=H W。总的目651信息记录材料 2023 年 7 月 第 24 卷第 7 期标函数为 L总=LMSE+LSSIM,优化总目标函数,得到需要的最小值。LMSE=1NCHWNi(F(Ii)+Ii)-Ji2(2)S(p)=2xy+C12x+2y+C12xy+C22x+2y+C2(3)LSSIM=1NNi(1-1MMp=1(SSIM(p)(4)3.3 网络模型的训练数据集FSCNN 网络模型环境为 Win 10 Intel Core(TM)i9-11700,RAM 16GB,GPU 2080Ti 的环境下完成训练数据集为 UIEB 数据集,图像均为水下真实图像,充分包括了各种图像因素,权威网站 Papers With Code 显示,近年来共有21 篇 顶 尖 论 文 使 用 到 了 该 数 据 集。网 络 模 型 采 用TensorFlow Flow 实现,原图来自水下真实图像,GroundTruth 来自多种传统方法择优而取,是首个可以大规模进行水下图像增强的全面感知研究和分析的数据集。训练过程中采用 ADAM 最小化目标函数,每一批的训练样本为 16 个,分别训练对应文中网络模型。3.4 图像合成方法设计由于获取真实场景下的水下图像和清晰图像比较困难,因此文中除了实验用到的 UIEB 数据集外,还设计了水下图像合成的方法。此方法合成的图像可以应用在水下图像复原的方法验证中。FNCNN 网络模型复原水下图像的效果是模型应用的关键,文中的网络模型基于深度学习的方法基于大数据驱动进行训练。在同一场景下,想要获得同一图像的真实场景下的清晰图像和退化图像是比较困难的。这个方法得到的水下图像可以应用于图像复原,进而驱动需要训练的模型,可以在水下图像复原中对图像质量的评价有很好的应用。研究人员根据水下对不同的光的衰减系数将海洋分为公海水域和沿海水域各 5 类,根据测量结果及公式(1),采用 RGB-D 数据集合成 10 类不同水域的图像,并根据成像模型参数变化模拟不同程度的退化图像。首先假设水下图像具有相同全局背景光 A,给全局背景光 A分配随机参数。调整数据集中场景深度 d 的取值范围,调整的值在 0.515 m 之间变化。选择测量结果,根据水下图像的光学成像模型合成相应的水下图像。调整每一幅RGB-D 图像的随机参数和深度来产生水下图像,能够得到不同程度退化的图像。最后,每种水域能够生成了 5 000 个训练样本,其中 4495 个样本用于测试。4 实验分析此部分验证文中的网络模型 FNCNN 的准确度,在所选用的数据集上进行对比实验,得到原始水下图像和复原水下图像的对比图。在数据集上对图像复原结果进行比较和分析。当处理真实的水下图像时,FNCNN 网络模型会得到的处理结果如图 4 所示。对不同类型水下图像,图4 给出 FNCNN 网络模型的处理结果对比图。原图像像素均为 480640 的图像。如图 4 所示,FNCNN 网络模型的应用,复原图像的结果能够保留原始图像的结构和纹理信息。图 4 真实水下图像处理结果5 结论文中采用真实水下图像数据集,提出一种在该数据集上训练的水下图像复原网络模型 FNCNN。具体介绍了基于深度学习的水下图像清晰化方法,基于监督学习的水下图像复原方法,设计了网络模型 FNCNN 网络模型的结构,设计了相应的目标函数,设计了实现与训练方法,实验结果表明了 FNCNN 网络模型具有很好的效果。【参考文献】1 王亚茹,刘雨青,黄璐瑶,等.基于卷积神经网络的水下图像增强技术研究J.制造业自动化,2023,45(2):65-68,92.2 杨谢柳,门国文,梁文峰,等.水下图像增强与复原对深度学习目标检测精度的影响研究J/OL.计算机工程:1-102023-04-11.https:doi.org/10.19678/j.issn.1000-3428.0066610.3 鲁超宇,贾风光,于利民.水下图像目标检测研究综述J.数字海洋与水下攻防,2023,6(1):34-40.4 AKKAYNAK D,TREIBITZ T.A revised underwater imageformation model C.Proceedings of The IEEE Conference onComputer Vision and Pattern Recognition(CVPR),2018:6723-6732.5 AKKAYNAK D,TREIBITZT.Sea-thru:Amethodforremoving water from underwater images C.Proceedings ofTheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2019:1682-1691.6 LIU X,GAO Z,CHEN B M.IPMGAN:Integrating physicalmodel and generative adversarial network for underwater imageenhancementJ.Neurocomputing,2021,453:538-551.7 LI X,HOU G,LI K,PAN Z.Enhancing underwater image viaadaptive color and contrast enhancement,and denoising J/OL.Engineering Applications of Artificial Intelligence,2022,111:104759.https:/doi.org/10.48550/arXiv.2104.01073.8 ZHUANG P,WU J,PORIKLI F,et al.Underwater imageenhancement with hyper-laplacian reflectance priors J.IEEETransactions on Image Processing,2022,31:5422-5455.9 ZHANG W,ZHUANG P,SUN H,et al.Underwater imageenhancement via minimal color loss and locally adaptivecontrast enhancement J.IEEETransactionsonImageProcessing,2022,31:3997-4010.基金项目:闽南理工学院校级科研基金项目资助(22KJX019)。作者简介:谢佩诗(1988),女,福建泉州,本科,助教,研究方向:计算机图像处理。751