改进生成对抗网络水下图像增强方法.pdf

引用格式：引用格式：陈海秀,陆康,何珊珊,等.改进生成对抗网络水下图像增强方法J.中国测试，2024,50(1):54-61.CHENHaixiu,LUKang,HEShanshan,etal.UnderwaterimageenhancementbasedonimprovedgenerativeadversarialnetworkJ.ChinaMeasurement&Test,2024,50(1):54-61.DOI:10.11857/j.issn.1674-5124.2022110023改进生成对抗网络水下图像增强方法陈海秀1,2，陆康1，何珊珊1，房威志1，黄仔洁1(1.南京信息工程大学自动化学院，江苏南京210044;2.南京信息工程大学江苏省大气环境与装备技术协同创新中心，江苏南京210044)摘要:针对水下图像颜色失真和细节模糊的问题，提出一种基于改进生成对抗网络的水下图像增强方法。该方法将生成对抗网络作为基础架构，生成网络采用编码解码结构，并引入 RGB 颜色空间块、HSV 颜色空间块和注意力机制；RGB 块可以更好地去噪和去除偏色，HSV 颜色空间可以调整水下图像的亮度、颜色和饱和度，最后生成网络通过分配权重来生成图像。判别网络采用类似马尔科夫判别器的结构。此外，通过构建全局相似和内容感知多项损失函数，使生成的图像在色彩、内容、结构上和参考图像保持一致。实验表明，所提出的方法在主观比较和客观指标上都有很好的表现。其中结构相似度、峰值信噪比、水下彩色质量评估和水下图像质量度量在合成水下图像测试集的平均值分别为 0.7746、19.2758、0.4889 和 3.3124。在真实水下图像测试集的平均值分别为 0.9000、24.2636、0.4499和 3.1619。在主观评价和客观评价指标上，综合比较，该文算法实验结果均优于对比算法。关键词:水下图像;生成对抗网络;颜色空间;注意力机制中图分类号:TP391.4文献标志码:A文章编号:16745124(2024)01005408Underwater image enhancement based on improved generative adversarial networkCHENHaixiu1,2,LUKang1,HEShanshan1,FANGWeizhi1,HUANGZijie1(1.SchoolofAutomation,NanjingUniversityofInformationScience&Technology,Nanjing210044,China;2.JiangsuCollaborativeInnovationCenterofAtmosphericEnvironmentandEquipmentTechnology(CICAEET),NanjingUniversityofInformationScience&Technology,Nanjing210044,China)Abstract:Aimingattheproblemsofcolordistortionandblurreddetailsofunderwaterimages,anunderwaterimageenhancementalgorithmbasedonimprovedgenerativeadversarialnetworkisproposed.Themethodusesthe generative adversarial network as the basic structure,the generative network adopts the coding anddecodingstructure,andintroducestheRGBcolorspaceblock,theHSVcolorspaceblockandtheattentionmechanism;theRGBblockcanbetterdenoiseandremovethecolorcast,andtheHSVcolorspacecanadjustthebrightness,colorandsaturationoftheunderwaterimage,andfinallythegenerativenetworkgeneratestheimagebyassigningweights.ThediscriminantnetworkadoptsastructuresimilartotheMarkovdiscriminator.Furthermore,byconstructingglobalsimilarityandcontent-awaremultinomiallossfunctions,thegeneratedimagesaremadeconsistentwithreferenceimagesintermsofcolor,contentandstructure.Experimentsshow收稿日期:2022-11-04；收到修改稿日期:2023-02-07基金项目:国家自然科学基金（61302189）；江苏省研究生科研与实践创新计划项目（SJCX23_0383）作者简介:陈海秀（1977-），女，河南南阳市人，副教授，博士，研究方向为图像处理与分析、光电检测。第50卷第1期中国测试Vol.50No.12024年1月CHINAMEASUREMENT&TESTJanuary,2024thattheproposedmethodperformswellonbothsubjectivecomparisonsandobjectivemetrics.Amongthem,theaveragevaluesofstructuralsimilarity,peaksignal-to-noiseratio,underwatercolorqualityassessmentandunderwaterimagequalitymetricsinthesyntheticunderwaterimagetestsetare0.7746,19.2758,0.4889and3.3124.Theaveragevaluesonthetestsetofrealunderwaterimagesare0.9000,24.2636,0.4499and3.1619.Intermsofsubjectiveevaluationandobjectiveevaluationindicators,generallyspeaking,theexperimentalresultsofthealgorithminthispaperarebetterthanthoseofthecomparisonalgorithm.Keywords:underwaterimages;generativeadversarialnetworks;colorspace;attentionmechanism0 引言近年来，国家在积极发展海洋战略，清晰的水下图像在获取海洋信息方面有着巨大的作用。但是水对不同波长光的衰减度不同，其中对红色光衰减最严重，所以水下图像会出现偏绿或偏蓝的色差1。因此，获得清晰的水下图像对海洋探索起到关键作用。目前，水下图像增强方法一般分为基于物理模型的方法、基于非物理模型的方法和基于数据驱动的方法等。基于物理模型方法对水下图像退化过程进行建模，根据模型参数进行估计，这类方法有最小信息先验2等。基于物理模型的方法依赖于成像模型，对不同场景的水下图像泛化能力较差，有一定的局限性。基于非物理模型的方法不依赖具体的成像模型，通过调整像素值来改变视觉效果，如：小波变换3等基于非物理模型的方法，可以在一定程度上改变视觉效果，但未考虑水下图像的特性，容易引入色差和伪影。随着深度学习的快速发展，一些学者将数据驱动的方法应用于水下图像增强领域。Chen 等4利用水下成像模型，将模糊的水下图像转换为清晰的图像，然后用该成对的数据集来训练网络。但是合成的图像分布和真实的水下图像分布存在差异。Guo 等5提出一种多尺度稠密生成对抗网络，该方法在生成器中引入残差多尺度密集块，判别器通过计算光谱归一化的方法来稳定训练。Fabbri 等6使用生成对抗网络的方法，但处理后的图像相对参考图像比较模糊。上述方法虽然在一定程度上能恢复图像的颜色，但是在效果方面依然存在色偏、对比度较低、欠饱和以及特征提取不全面等问题。针对上述问题，本文提出一种新型的基于改进生成对抗网络的水下图像增强方法，在生成网络中引入 RGB 颜色空间块、HSV 颜色空间块、注意力机制。RGB 空间颜色块，用来去除图像的色偏，提高对比度。HSV 空间颜色块，用来细化水下图像的属性如亮度和饱和度，并且极大地保留了水下图像的细节信息；加入注意力机制，使网络更加关注图像的偏色区域。实验表明，本文所提方法在图像细节、亮度、饱和度和颜色恢复等方面取得了良好效果。1 网络设计1.1 RGB 颜色空间块和 HSV 颜色空间块为了更好地去除水下图像的偏色，提高图像的亮度和饱和度，受文献 7 启发，本文采用 RGB 颜色空间块和 HSV 颜色空间块，结构分别如图 1 和图 2 所示。RGB 颜色空间块由 8 个 33 卷积组成，步长为 1，再经过批量归一化，除了最后一层使用Sigmoid 激活函数，其余层使用 LeakyRule 激活函数。RGB 颜色空间块可以实现简单的消除颜色投影和去噪。RGB 颜色空间块的输出经过 RGB-HSV 变换为 HSV 颜色空间，并作为 HSV 颜色空间块的输入。HSV 颜色空间块由 5 个 33 卷积组成，步长为 1，都使用 LeakyRule 激活函数，前四层最后使用最大池化。然后经过一个全局平均池化来处理特征映射，接着是一个全连接层来回归分段线性节点。全连接层的输出通过公式(1)缩放像素来调整和细化预测图像的饱和度、亮度、色彩，公式如下：(x)=0,x 1S(Ijli)=k0+M1m=0(km+1km)(MIjlim)(1)M式中：预测节点的个数；Ijliilj第 个图像的第 个颜色通道的第 个像素值；kmm 节点的值。第50卷第1期陈海秀，等：改进生成对抗网络水下图像增强方法55然后通过与 HSV 颜色空间块的输入 HSV 图像相乘，最后经 HSV-RGB 转换回 RGB 空间。1.2 注意力机制为了更好处理水下图像偏色问题，受文献 8启发，本文采用通道注意力机制和像素注意力机制，结构如图 3 所示。该模块可以更灵活地处理处理不同的信息，更加关注偏色严重的区域和重要的通道信息。在通道注意力中，首先对输入的特征图进行最大池化和和平均池化，将通道方向的空间信息转换为通道描述符。然后，分别经过卷积、ReLU 激活函数、卷积，再将两通道相加，接着经过 Sigmoid 函数的映射处理，得到“通道注意力值”。考虑到水下图像的模糊是不均匀的，为了使网络更加注意到由于光线衰减而模糊的区域，以及高频区域，因此又加入像素注意力机制。ConvReLUConvSigmoid通道注意力像素注意力相加AvgPoolConvReLUConvReLU相乘MaxPoolConvConvSigmoid图 3 注意力机制1.3 网络流程本文提出了一种基于改进生成对抗网络的水下图像增强方法，该算法的具体流程如图 4 所示。首先将 3203206 大小的原始水下图像输入到生成器中得到生成图像；然后，将生成图像和参考图像一起输入到判别器中，得到 20201 大小的输出并LGANLconL1获得对抗损失()；然后利用 VGG-19 计算参考图像和生成图像差的绝对值之和，得到感知损失()，计算参考图像和生成图像的平均绝对误差得到损失；最后，通过这三种损失函数对生成器和判别器进行交替迭代训练，优化网络模型参数，得到清晰图像。1.4 生成器的设计本文的生成器采用 U-Net 作为基础框架，结构如图 5 所示。该网络主要包含 RGB 颜色空间块、HSV 颜色空间块、编码块、跳跃连接、解码块和注意力。为了防止浅层发生梯度消失和细节丢失的问题，将编码块的输出跳跃连接到解码块。在编码块和解码块中引入实例归一化和 LeakyRelu 激活函数。实例归一化旨在提高模型的精度和泛化能力，防止过拟合；LeakyRelu 则可以加速模型收敛。输入为9 通道的图像数据，分别为原始水下图像、原始水下图像经过 RGB 颜色空间的输出、原始水下图像经过 RGB 颜色空间再经过 HSV 颜色空间的输出。ConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNLeakyReLuConvBNSigmoid图 1 RGB 颜色空间块ConvBNLeakyReLuRGB-HSVMaxPoolConvBNLeakyReLuMaxPoolConvBNLeakyReLuMaxPoolConvBNLeakyReLuMaxPoolConvBNLeakyReLuGlobalAvgPool HSV-RGBFullyConnected图 2 HSV 颜色空间块水下图像生成网络生成图像判别网络生成图像和参考图像的损失LGANL1+Lcon参考图像图 4 网络流程56中国测试2024年1月输入经过编码块、跳跃连接、解码块和注意力，生成一个通道数为 6 的张量，前三个通道和 RGB 颜色空间块的输出相乘所得的结果，与后三个通道和HSV 颜色空间的输出相乘所得结果，进行相加调整权重融合成增强的水下图像。注意力RGB 颜色空间块HSV 颜色空间块128322562562565125122566432CConv+IN+LeakyReLu跳跃连接DeConv+IN+LeakyReLuUpsample+Conv+SigmoidC 拼接图 5 生成器1.5 判别器的设计为了对生成器生成的增强图像和真实图像进行判断，本文使用马尔科夫判别网络(PatchGAN)9，该网络根据补丁级别信息进行区分，可以根据局部区域来进行判别，同时更有效地捕捉局部纹理和感知边缘细节部分。所提出的判别模型如图 6 所示，该网络先将生成图像与参考图像进行拼接，得到3203206 大小的图像进行输入，输入经过一系列卷积、批量归一化、激活函数 LeakyRelu，最终得到20201 大小补丁块的输出，若生成图像和参考图像在某块区域差距比较小，则输出补丁块对应的像素值近似为 1，否则近似为 0。该输出表示生成的图像和参考图像之间的差异平均值。32641282561增强图像目标图像(20201)Conv+BN+LeakyReLuC图 6 判别器1.6 损失函数的设计本文算法主要是通过生成器和判别器的对抗训练来优化网络模型，仅使用单一的损失无法达到很好的增强效果。因此本文算法定义了 3 个损失函数。为了更精确地提取图像的特征，加入对抗损失函数，其数学表达式如下：LGAN=E(y)lgD(y)+E(x)lg1DG(x)(2)G式中：生成器；D判别器；x水下图像；y目标图像。L1为了保证输入图像和输出图像之间的相似度，以及获得更多的低频信息，还需要加入损失函数。即：L1=Ex,yyG(x)1(3)x式中：水下图像；y目标图像。G()内容感知损失可以实现差异寻找、信息匹配、特征提取。为了驱动 生成和参考图像近似的增强图像，将内容函数定义成由预训练的 VGG-19网络的 conv5_2 层提取的高级特征。Lcon=Ex,y(y)G(x)2(4)L1对抗损失捕获高频特征，损失捕获低频特征，内容感知损失使得生成图像更真实。为了平衡上述的 3 个损失函数，加入超参数进行调节。最后采用的损失函数为：L=LGAN+1L1+2Lcon(5)1=0.8 2=0.2其中，。2 实验结果分析2.1 实验设置本实验是在 Linux 操作系统下，基于 Pytorch深度学习框架实现。计算机配置为 2080TiGpu，采用 Adam 优化器 Batchsize 为 4，学习率设为 0.0001。本文使用的训练集是真实和合成的水下图像。从 NYU-V2 基于文献 10 生成 10 种类型的合成数据集 1420 对图片用于训练，每种类型取 5 张共 50对用于测试为测试集 A。从 UIEBD11数据集取840 对图片用于训练，50 对图片包括偏蓝水下图像、偏绿水下图像、低照明度水下图像、浅水水下图像、第50卷第1期陈海秀，等：改进生成对抗网络水下图像增强方法57偏黄水下图像，用于测试为测试集 B。训练集共2220 对输入图像为 352352，并将其随机裁剪为320320。为了证明本文方法的有效性，经过大量的实验，将其和现有的水下图像增强算法在测试集 A、测试集 B 进行定性定量的对比，这些方法有 GC、DUIE-Net11、UWCNN10、U-GAN6、FUnIE-GAN12。2.2 消融实验为了更好地验证双色空间块（RGB 颜色空间块，HSV 颜色空间块）和注意力机制的效果，对本文模型、去除双色空间模型、去除双色空间去除注意力机制模型进行对比实验。三种模型在训练集及超参数数值等方面均保持一致。在测试集 A 和测试集B 上主观效果图如图 7 所示。水下图像去除注意力机制，去除双色空间去除双色空间完整模型图 7 消融实验对比结果由图 7 可知，未使用注意力机制和双色空间能够在一定程度上校正蓝绿色色偏，但是引入了橙色，图像偏暗，增强效果较差。使用了注意力机制但未使用双色空间能够有效地消除绿色和黄色色偏，清晰度也有一定的改善。本文方法将双色空间和条件生成对抗网络结合，提升了图像的亮度、饱和度、清晰度，使得增强后的图像更加逼真；再引入注意力机制，提取图像的关键特征和上下文信息，增强了对比度。为了进一步验证双色空间和注意力机制的有效性，对测试集 A 和测试集 B 进行定量分析。考虑两种全参考指标结构相似度(SSIM)和峰值信噪比(PSNR)。SSIM 值越大说明图像在纹理结构上越接近参考图像。SSIM 可表示为SSIM=2xy+c12x+2y+c12xy+c22x+2y+c2(6)xyx y式中：和，的平均值；2x2yx y和，的方差；xyx y，的协方差；c1c2，正则化参数。PSNR 值越大，说明图像的对比度和内容信息越接近参考图像。PSNR 可表示为PSNR=10lg(2n1)MSE2(7)MSE其中为两张图片的均方误差。定量分析结果如表 1 和表 2 所示。从表 1 和表 2 可知，同时去除注意力机制和双色空间得分最低，去除双色空间得分次优，而完整网络的质量评价在指标上的表现更为突出，说明完整网络增强后的图像在纹理细节、内容信息、颜色清晰度等方面更接近参考图像。表 1 去除各个模块在测试集A上的定量对比MethodSSIMPSNR去除注意力机制，去除双色空间0.746218.0801去除双色空间0.752618.4688完整方法0.774619.275858中国测试2024年1月2.3 在测试集A上的对比实验为了证明本文算法的有效性，在测试集 A 上进行了大量实验，图 8 为不同方法在测试集 A 上定性对比效果图。可以看出，GC 对图像的增强较弱，导致色彩较浅，几乎没有变化。DUIE-Net 能够改善图片的质量，但是增强的图像丢失了原本的色彩，导致整体看起来偏暗，UWCNN 不仅没有有效去除水下图像原有的色偏，还引入了橙色色偏。U-GAN可以改善图像的清晰度，色彩也得到了一定校正，但是部分图像出现了棋盘格效应，导致图像出现模糊。FUnIE-GAN 引入了橙色色偏，还导致部分图像过亮。对比其他方法，在测试集 A 上，本文方法可以有效地增强图像对比度，恢复水下图像的色彩。水下图像GCDUIE-NetUWCNNU-GANFUnIE-GAN本文方法参考图像图 8 不同方法在测试集 A 上的定性对比为了进一步验证本文方法的性能，采用两种参考图像质量评价指标 SSIM 和 PSNR、两种无参考指标 UCIQE17和 UIQM18，UCIQE 是评价水下图像对比度、色度和饱和度的综合指标。UCIQE 可表示为VUCIQE=C1c+C2conl+C3s(8)c式中：色度标准差；conl亮度对比度；s饱和度的平均值；C1C2C3C1=0.4680 C2=0.2745 C3=0.2576、和线性组合的权重值，。UIQM 是通过对水下图像对比度（UIConM）、水下图像色彩差异（UICM）和水下图像清晰度（UISM）进行加权来评估。UIQM 可表示为UUIQM=C1UUICM+C2UUISM+C3UUIConM(9)C2C3C1=式中：C1、和线性组合的权重值，0.0282，表 2 去除各个模块在测试集B上的定量对比MethodSSIMPSNR去除注意力机制，去除双色空间0.870723.2466去除双色空间0.878823.5208完整方法0.900024.2636第50卷第1期陈海秀，等：改进生成对抗网络水下图像增强方法59C2=0.295 3 C3=3.575 3，；UUICM色度；UUISM清晰度；UUIConM对比度。不同方法在测试集 A 上的平均得分如表 3 所示。本文方法在 SSIM 和 PSNR 和 UCIQE 均取得最优，在 UIQM 上取得次优。总体来说，本文方法能够有效地恢复水下图像的信息、提高对比度，提升图像的视觉效果。表 3 不同方法在测试集A上的定量对比MetricsGCDUIE-NetUWCNNU-GANFUnIE-GANoursSSIM0.57650.69510.67440.68140.59380.7746PSNR12.608315.867315.603819.012414.441219.2758UCIQE0.31690.40370.41100.48120.47190.4889UIQM2.22922.80892.89383.31242.89433.22932.4 在测试集B上的对比实验为了更加准确地评估本文方法的性能，在测试集 B 上进行了大量的实验，图 9 为不同方法在测试集 B 上定性对比效果图。GC 方法对图像增强方法不足，导致图像色彩较浅并且出现了雾化。DUIE-Net 对偏蓝水下图像、低照明度水下图像、偏黄水下图像增强不足，并且图像整体偏暗。UWCNN 依然存在橙色色偏，增强效果较差。U-GAN 对图像有一定地色彩恢复以及清晰度提升，但是鲁棒性较差，对偏黄水下图像和偏绿水下图像出现了棋盘格效应。FUnIE-GAN 对增强图像引入了橙色色偏和明显的棋盘格效应。相较其他方法，本文方法可以有效地去除水下图像的雾度效果，在细节纹理、色彩饱和度、亮度等更完善，使增强的图像有着更好的自然视觉效果。水下图像GCDUIE-NetUWCNNU-GANFUnIE-GAN本文方法参考图像图 9 不同方法在测试集 B 上的定性对比60中国测试2024年1月为了验证本文方法的泛化性，采用 SSIM、PSNR、UCIQE、UIQM 在测试集 B 上进行定量评估。不同方法在测试集 B 上的平均得分如表 4 所示。本文方法在 SSIM 和 PSNR 和 UIQM 均取得最优，在UCIQE 取得次优。FUnIE-GAN 在 UCIQE 上取得最优，综合图 9 和表 4，本文方法的增强效果和泛化能力更好。表 4 不同方法在测试集B上的定量对比MetricsGCDUIE-NetUWCNNU-GANFUnIE-GANoursSSIM0.69810.72920.65120.76760.67810.9000PSNR16.705516.618114.240021.488918.239024.2636UCIQE0.34410.35440.37530.41800.44990.4268UIQM2.27052.83882.64683.10382.94863.16193 结束语本文提出了一种基于改进生成对抗网络的水下图像增强算法。在生成器中加入 RGB 颜色空间块和 HSV 颜色空间块，利用 RGB 颜色空间块去除偏色和增强清晰度。使用 HSV 颜色空间块提升图像亮度和饱和度。在生成器中还加入了空间注意力机制和像素注意力机制，使网络更加关注到图片偏色和模糊的区域，最终实现水下图像增强。为了验证方法的性能，从合成数据集和真实数据集分别进行定性定量分析。实验结果表明，与对比算法相比，本文方法在合成水下图像测试集上 SSIM、PSNR和 UCIQE 指标均优于对比算法，在 UIQM 指标上获得第二名。在真实水下图像测试集上 SSIM、PSNR 和 UIQM 指标均优于对比算法，在 UCIQE指标上获得第二名。这表明本文方法可以有效提高水下图像的清晰度和色彩，保护更多的图像细节信息不丢失。由于本文模型较大，导致模型运行时间复杂较高。未来工作将探索在不降低网络性能的前提下更加轻量级的网络模型。参考文献 郭雨青,曾庆军,夏楠,等.图像增强水下自主机器人目标识别研究 J.中国测试,2021,47(11):47-52.GUO Y Q,ZENG Q J,XIA N,et al.Research on targetrecognitionofautonomousunderwatervehiclebasedonimageenhancementJ.ChinaMeasurementTest,2021,47(11):47-52.1LI C Y,GUO J C,CONG R M,et al.Underwater imageenhancementbydehazingwithminimuminformationlossandhistogramdistributionpriorJ.IEEETransactionsonImageProcessing,2016,25(12):5664-5677.2SINGH G,JAGGI N,VASAMSETTI S,et al.Underwater3image/videoenhancementusingwaveletbasedcolorcorrection(WBCC)methodC/Proceedingsof2015IEEEInternational Conference on Underwater Technology(UT),2015.CHEN X,YU J,KONG S,et al.Towards real-timeadvancementofunderwatervisualqualitywithGANJ.IEEETransactions on Industrial Electronics,2019,66(12):9350-9359.4GUOY,LIH,ZHUANGP.Underwaterimageenhancementusing a multiscale dense generative adversarial networkJ.IEEEJournalofOceanicEngineering,2019,45(3):862-870.5FABBRIC,ISLAMMJ,SATTARJ.Enhancingunderwaterimagery using generative adversarial networksC/2018IEEEInternationalConferenceonRoboticsandAutomation(ICRA),2018.6WANGY,GUOJ,GAOH,etal.UIEC2-Net:CNN-basedunderwater image enhancement using two color spaceJ.SignalProcessing:ImageCommunication,2021,96:116250.7徐永兵,袁东,余大兵,等.多注意力机制引导的双目图像超分辨率重建算法 J.电子测量技术,2021,44(15):103-108.XUYB,YUAND,YUDB,etal.Binocularimagesuper-resolutionreconstructionalgorithmguidedbymulti-attentionmechanismJ.Electronic Measurement Technology,2021,44(15):103-108.8LIC,WANDM.Precomputedreal-timetexturesynthesiswithMarkoviangenerativeadversarialnetworksC/ECCV2016,2016.9LI C Y,ANWAR S,PORIKLI F.Underwater scene priorinspireddeepunderwaterimageandvideoenhancementJ.PatternRecognition,2020,98:107038.10LI C,GUO C,REN W,et al.An underwater imageenhancement benchmark dataset and beyondJ.IEEETransactionsonImageProcessing,2019,29:4376-4389.11ISLAM M J,XIA Y,SATTAR J.Fast underwater imageenhancement for improved visual perceptionJ.IEEERoboticsandAutomationLetters,2020,5(2):3227-3234.12(编辑:谭玉龙)第50卷第1期陈海秀，等：改进生成对抗网络水下图像增强方法61