基于多尺度残差注意力网络的水下图像增强.pdf

文章编号：1002-2082(2024)01-0089-10基于多尺度残差注意力网络的水下图像增强陈清江，王炫钧，邵菲（西安建筑科技大学理学院，陕西西安710055）摘摘 要：要：针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题，提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的 UNet3+-Avg 结构与注意力机制，设计出多尺度密集特征提取模块与残差注意力恢复模块，以及由 Charbonnier 损失和边缘损失相结合的联合损失函数，使该网络得以学习到多个尺度的丰富特征，在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到 23.63dB、结构相似度(SSIM)达到 0.93。与其他水下图像增强网络的对比实验结果表明，由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。关键词：关键词：图像处理；水下图像增强；多尺度特征提取；密集连接；注意力机制中图分类号：TP391文献标志码：ADOI：10.5768/JAO202445.0102003Underwater image enhancement based on multiscale residual attention networksCHENQingjiang，WANGXuanjun，SHAOFei（SchoolofScience,XianUniversityofArchitectureandTechnology,Xian710055,China）Abstract：Anunderwaterimageenhancementalgorithmbasedonmulti-scaleresidualattentionnetworkwasproposedfortheproblemsofcolorshift,colorfadingandinformationlossofunderwaterimagescausedbywaterscatteringandabsorption.AnimprovedUNet3+-Avgstructureandattentionmechanismwasintroducedbythenetwork,andthemulti-scaledensefeatureextractionmoduleaswellastheresidualattentionrecoverymoduleweredesigned.Inaddition,ajointlossfunctioncombiningCharbonnierlossandedgelossenabledthenetworktolearnrichfeaturesatmultiplescales,improvingtheimagecolorwhileretainingalargeamountofobject edge information.The average peak signal-to-noise ratio(PSNR)of the enhanced images reaches23.63dBandthestructuralsimilarityratio(SSIM)reaches0.93.Experimentalresultswithotherunderwaterimageenhancementnetworksshowthattheimagesenhancedbythisnetworkachievesignificantresultsinbothsubjectiveperceptionandobjectiveevaluation.Key words：image processing；underwater image enhancement；multi-scale feature extraction；denseconnectivity；attentionmechanism引言随着陆地资源的枯竭与科技的不断发展，寻找、勘探、开发海底资源，已然成为各个国家关注的重点。通过水下机器人获取水下光学图片是进行海洋研究重要环节，但因为光在水下传播的过程中会受到水介质的吸收和散射1，以及水下成像环境的影响，使得传回的水下图像不可避免地出现模糊、色偏、对比度低的情况，这样退化严重的水下图像不仅影响了视觉美感，而且严重降低了海底地质研究2、海洋生物检测3、水下考古4等一系列海洋研究的准确性。为了获取高质量的水下图像，众多学者们提出收稿日期：2023-02-24；修回日期：2023-07-11基金项目：国家自然科学基金青年项目(12202332)；陕西省自然科学基础研究计划(2021JQ-495)作者简介：陈清江（1966），男，博士，教授，主要从事小波分析、图像处理与信号处理研究。E-mail：通信作者：王炫钧（1998），男，硕士研究生，主要从事小波分析、图像处理与信号处理研究。E-mail：第45卷第1期应用光学Vol.45No.12024年1月JournalofAppliedOpticsJan.2024了诸多水下图像增强方法，根据图像增强方式的不同可分为两类：传统方法和基于深度学习的方法。传统方法：如ZUIDERVELDK 等人5于1994 年提出的限制对比度自适应图像增强算法(contrastlimitedadaptivehistogramequalization,CLAHE)，该方法将图片分为多个子模块，在每个子模块中进行直方图均衡操作，降低了增强图像的噪声；IQB-ALK 等人6于 2010 提出的无监督色彩校正(unsu-pervisedcolorcorrectionmethod,UCM)法，在增加了图片颜色饱和度的同时有效地消除了蓝色色偏和绿色色偏；DREWSPLJ 等人7提出的水下暗通道先验法(UnderwaterDarkChannelPrior，UDCP)，在传统的暗通道先验的基础上进行改进，将其与波长相关算法结合，增强了在水下图像增强任务中的鲁棒性；PENGYT 等人8提出图像模糊和光吸收算法(imageblurrinessandlightabsorption,IBLA)，该方法利用图像的模糊性和光吸收来估计背景光、场景深度和透射图，从而达到增强图像的目的。基于深度学习的方法：SUNX 等人9提出了用于水下图像增强的深度像素到像素网络模型(pixeltopixel)，该模型采用编码解码框架，并在模型中引入了跳跃连接，对退化图像进行增强；LIC 等人10提出了 UWCNN(underwaterimageenhancementfullyconvolutionalneuralnetwork)模型，该模型利用端到端自动数据驱动训练机制，直接重建清晰的水下图像。上述增强方法虽然在一定程度上增强了图像质量，但增强过后的图片还是存在些许颜色失真、对比度不强、细节信息丢失等问题，为了解决上述问题，本文提出了基于多尺度残差注意力的水下图像增强网络。本文的主要贡献如下：1）提出了一个端到端的多尺度残差注意力水下图像增强网络，通过编码器-解码器结构、密集连接、注意力机制的结合，避免了单个尺度下的网络特征提取不充分问题；2）提出了多尺度稠密特征提取模块(multi-scaledensefeatureextractionmodule,MDFE)与残差注意力恢复模块(residualattentionrecoverymodule,RAR)，可在多个尺度上获取丰富的空间信息与位置信息，在增强图片的同时很好地避免了颜色失真问题，并保留了丰富的细节信息；3）本文建立了由 Charbonnierloss 和边缘损失(edgeloss)构成的联合损失函数，在恢复色彩的同时也使边缘信息得以保留，避免了边缘模糊；4）实验结果表明，本文方法在峰值信噪比和结构相似度的指标上均超过其他对比方法，增强过后的水下原始图片拥有了令人愉悦的色彩和较高的对比度。1 基本原理1.1 卷积运算卷积运算11通过具有一定间隔的滑动滤波器，将各个位置上的滤波器元素与输入数据对应的元素进行乘积累加运算，并将运算结果保存到相同位置，以得到卷积运算输出。计算过程如式(1)所示：S(i,j)=X(i,j)K(i,j)=hnx(i+h,j+n)k(h,n)（1）S(i,j)ijX(i,j)K(i,j)x(i+h,j+n)i+hj+nk(h,n)hn式中：是第 行第 列元素卷积运算结果；为输入二维图像；为卷积运算；为二维卷积核；为输入二维图像中第行列的元素；为第 行 列的二维卷积核元素。卷积运算过程如图 1 所示。k1k2k3k4k5k6k7k8k9图 1 卷积运算Fig.1 Convolution operation1.2 池化操作池化操作一般设置在卷积运算之后，池化操作通过缩小长、高方向上的空间运算以达到对特征进行降维的目的，对于卷积层在特征提取过程中的特征维数过高的问题有一定的缓解作用。池化层具有以下特点：没有学习的参数、通道数不发生变化、对微小的数据偏差具有鲁棒性。池化层一般分为两种，分别是平均池化、最大池化，其含义分别是计算目标区域的平均值和最大值。池化操作过程如图 2 所示。1.3 残差结构在神经网络设计过程中，随着网络层数的加深，往往会出现网络准确性达到饱和后迅速下降的问题，这并不是由于过拟合导致的，这种情况称之为退化。为了解决网络退化问题，HEK 等人12提出了残差网络。残差网络是由一系列的残差模块组成，残差模块如图 3 所示。90应用光学第45卷第1期F(x)F(x)+xF(x)+xx该模块是在两个基本模块之后增加了一个恒等映射，将原本的输出变为，其中通过快捷连接和按元素添加来执行，使得输出结果增加了一项，这样该层网络在反向传播对 求偏导时，增加了一个常数项，避免了梯度消失和梯度爆炸的问题，这样的结构可以使卷积神经网络向更深层发展。2 多尺度残差注意力网络本文所提出的多尺度残差注意力网络由多尺度稠密特征提取模块(multi-scaledensefeatureextr-actionmodule,MDFE)和残差注意力恢复模块(resid-ualattentionrecoverymodule,RAR)组成，总网络结构如图 4 所示。其中多尺度稠密特征提取模块用于提取图片的高级语义特征与低级详细特征，结合稠密连接，使网络可学习到丰富的语义信息，并且避免产生过多的参数，之后将特征图传入残差注意力恢复模块，进一步恢复图像细节与颜色。残差注意力恢复模块将注意力机制与残差结构巧妙结合，使得网络得以更加关注有价值的特征信息，同时也避免了在网络学习过程中由于网络层数的加深，导致丢失原始图像信息的问题。Conv+BN+LeakyReluResidual attentionrecovery moduleMulti-scale densefeature extractionmoduleCC图 4 多尺度残差注意力网络结构Fig.4 Structure diagram of multi-scale residual attention network2.1 多尺度密集特征提取模块水下图像由于受光在水下传输介质的影响，往往存在不同程度的色偏色弱问题，并且因为水下人工光源的照明范围有限，使得处于不同场景深度的物体所保留的信息均不相同，因此需要在多个尺度上对图片进行特征提取，使得网络尽可能多地学习到图片的特征信息。多尺度密集特征提取模块(MDFE)将改进的 UNet3+-Avg 网络结构与密集连接块相结合，使网络得以在多尺度上提取不同的特征信息，并且密集块的加入增加了特征信息在网络中的传播，避免了特征丢失。该网络模块结构如图 5 所示。UNet3+网络13最有特点的是它所提出的全量程跳跃连接与全尺度深度监督，该网络中每个解码器层都合并了编码器中的小尺度和同尺度的特征映射，以及解码器中的大尺度特征映射，有效解决了 UNet 网络14的平面连接和 UNet+15嵌套密集连接所存在的全尺度信息探索不全面的问题。根据水下图像增强任务的需要，在设计本文网络时去除了 UNet3+网络中的全量程深度监督模块，MaxPoolingAvgPooling1243124543图 2 最大池化与平均池化操作Fig.2 Maximum pooling and average pooling operationsxIdentityWeight layerWeight layerReluReluF(x)+xF(x)图 3 残差结构Fig.3 Structure diagram of residual module应用光学2024，45（1）陈清江，等：基于多尺度残差注意力网络的水下图像增强9133并且将网络中的最大池化操作变为平均池化操作，使其更适合于图像颜色的恢复任务。该网络的编码部分共有 5 层，分别进行了 4 次下采样，得到 5 种尺寸的特征图，每一层都通过核数为 64 的Conv 及 Relu 激活函数，再通过平均池化(Avg-Pooling)对特征图进行 2 倍下采样后送入下一层。解码部分与编码部分层数相同，进行了 4 次上采样，使得图像恢复为原始尺寸，并通过全量程跳跃连接，使得每层解码器都可获得前层的特征图，这种结构可将全尺度特征映射的低级细节与高级语义结合起来，同时也拥有更少的参数。UNet3+-Avg模块结构如图 6 所示。UNet3+-AvgLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvLeaky reluBN33ConvCDense block图 5 多尺度密集特征提取模块Fig.5 Multi-scale dense feature extraction moduleX1EnX1DeX 2EnX 2DeX 3EnX 3DeX 4EnX 4DeX 5En16326412825680808080UpsampleAvgPooling图 6 UNet3+-Avg 模块Fig.6 UNet3+-Avg module33在 UNet3+-Avg 之后加入了 3 层并行连接的密集连接模块16(denseblock)，每个密集连接模块由5 个基本卷积块构成，基本卷积块结构由核数为64 的Conv、批量归一化(BN)、LeakyRelu 激活函数组成。每个块之间进行密集连接，使每一层的输出都可作为输入传入到后面的卷积层，并将前面所有层获得的特征与本层特征按通道相连接一同传递到下一层，这样的结构缓解了特征图在卷积层间传递时产生的梯度消失。由于密集连接模块模块的加入，提高了整个网络的信息流和梯度的传递，从而使得网络在学习图片特征的同时增加了可训性。X3DeX3De为了详细说明 UNet3+-Avg 提取特征的过程，以特征图为例说明该网络构造特征图的方式，构造如图 7 所示。X3De特征图的全称尺寸连接来自于 3 个部分：X3DeX1EnX2EnX1EnX2En1）特征图尺寸大于的编码器、，、，分别通过平均池化(AvgPooling)进行 4 倍、2 倍下采样，以统一特征图尺寸，接着通过核数为92应用光学第45卷第1期3364 的Conv、批量归一化(BN)、Relu 激活函数；332）同尺度的编码器，将该层编码器得到的特征图直接通过核数为 64 的Conv、批量归一化(BN)、Relu 激活函数；X3DeX4DeX5De3）特征图尺寸小于的解码器、，将X4DeX5De33、通过双线性差值进行 2 倍和 4 倍的上采样，之后通过 64 通道的Conv。X3DeX3De将这 3 部分得到的特征图进行拼接，得到了通道数为 80 的等尺度特征图。特征图的计算过程见式(2)。X1EnX 2EnX 3EnX 3DeX 4EnX 4DeX 5EnAvgPoolingUpsample16,33Conv,BN,ReluUpsample16,33Conv,BN,ReluAvgPooling16,33Conv,BN,ReluAvgPooling16,33Conv,BN,Relu16,33Conv,BN,Relu80,33Conv,BNReluX3De图 7 第 3 层解码器特征图构造过程X3DeFig.7 Construction process of layer-3 decoder feature map X3De=X3EnHConv(AvgPool(XkEn)2k=1,Conv(X3En)|z Scales:1th3th,Conv(U(XkDe)Nk=4|z Scales:(4)th5th,i=1,4（2）X3EnConvAvgPoolUH式中：为第 3 层编码层得到的特征图；为卷积操作；为平均池化操作；为上采样；为特征聚合机制。2.2 残差注意力恢复模块3333网络在通过多尺度稠密特征提取模块之后学习到了丰富的特征信息，为了使网络可以学习到更具有价值的信息，本文提出了注意力残差恢复模块(RAR)。该模块首先通过一个核数为 64 的Conv，LeakyRelu 对传入特征图进行初始化，接着将传入特征图与之进行残差连接后传入注意力模块(convolutionalblockattentionmodule,CBAM)当中，以捕捉特征图中有价值的信息。为了减少梯度消失的问题，在 CBAM 模块之后也与传入特征图进行残差连接，最后通过核数为 64 的Conv、批量归一化(BN)及 LeakyRelu 得到输出。该模块结构如图 8 所示。其中 CBAM 模块由通道注意力模块(channelattentionmodel)与空间注意力模块(spatialattentionmodule)串连构成，接着将注意力模块得到的权重与输入特征图进行特征细化，实现从通道到空间的顺序注意力结构，结构如图 9 所示。33Conv33ConvBNLeaky reluCBAM图 8 注意力残差恢复模块Fig.8 Attention residual recovery module应用光学2024，45（1）陈清江，等：基于多尺度残差注意力网络的水下图像增强93InputfeatureMaxpoolingMaxpoolingAvgpoolingAvgpooling11Conv11Conv11ConvSigmoidSigmoidReluReluRefinedfeatureSpital attention moduleChannel attention modelMLP图 9 CBAM 模块Fig.9 CBAM module11通道注意力模块首先对特征图同时进行最大池化与平均池化操作，对输入特征图的尺度进行压缩，以得到具有不同维度信息的特征图，接着将得到的特征图送入信息共享网络(MLP)进行信息共享，MLP 通过具有不同核数的Conv 对输入特征图进行先降维再升维操作，降维升维的倍数设置为 16，待共享完成后，对特征图进行元素相加。计算过程如式(3)所示：Fc=s(MLP(AvgPool(F)+MLP(MaxPool(F)（3）FAvgPoolMaxPoolMLPs式中：为传入特征图；为平均池化操作；为最大池化操作；为多层感知器；为 Sigmoid 激活函数。11空间注意力模块对输入特征图沿通道进行最大池化与平均池化操作，接着将得到的特征图进行通道维度堆叠后，通过一个核数为 64 的Conv调整通道数，最后得到输出特征图。计算过程如式(4)所示：Fs=s(Conv(AvgPool(F);MaxPool(F)（4）FAvgPoolMaxPools式中：为传入特征图；为平均池化操作；为最大池化操作；为 Sigmoid 激活函数。3 损失函数为了更好地恢复图像色彩和细节，本文根据所提出网络的独特性，构造出一个由 Charbonnier 损失17和边缘损失(edgeloss)相结合的联合损失函数，以弥补单一损失函数在水下图像增强任务中的局限性。l1l1Charbonnier 损失可看作是改进的 损失，在损失的基础上添加了一个可变的微小变量。该损失函数可以缓解生成图片像素过于平滑的问题，使生成的图片更符合人肉眼的感官认知，如式(5)所示：LCharbonnier=1NNi=1(yixi)2+2（5）1e-3式中 的值设置为。高质量的图片不止具有令人愉悦的色彩，其图片内部的物体还应具有较为清晰的边缘特征，边缘损失函数的加入可以使图片中的物体保留更多的边缘细节信息，如式(6)所示：Ledges=Wx=1Hy=1Ei,j(?Yi,jXi,j?)WH（6）XYEi,j式中：为网络输出的图像；为对比图像；为求得的边缘特征。为了使增强图片具有较好色彩和丰富细节信息的同时加快网络训练速率，本文将以上两种损失函数进行联合，联合损失函数如式(7)所示：L=LCharbonnier+Ledges（7）式中 为 0.05。4 实验结果与分析为了说明本文所提网络模型的有效性，设计实验 1，将本文所提方法与其他经典方法(传统算法与深度学习算法)进行对比实验，比较的算法包括CLAHE5、UCM6、UDCP7、IBLA8、UWCNN10、CycleGAN18、MSRA-Net19、AttR2U-Net20。为了验证本文各模块设计的有效性，设计实验 2，对本文所提网络模型中不同的模块进行对比实验分析。实验中，为了明确了解各个方法的优劣性，本文采用主观评价以及客观评价指标对实验结果进行评价分析。4.1 数据集本文所使用的数据集来自于 UIEBdataset，该数据集包含了 890 张在自然光、人造光或自然光94应用光学第45卷第1期和人造光混合下拍摄的水下图像，同时也提供了与之对应的高质量参考图像。在本文中，以 82的比例将数据集的图片数据划分为训练集与测试集，并在进行训练前将训练集中的图片进行左右翻转以扩充训练集。最后，随机挑选出具有以下场景的水下图像，如海床、海洋生物、珊瑚作为测试图像，以说明模型的泛化性与有效性。原始水下图像与其对应的高质量对比图像如图 10所示。(a)原始水下图像(b)参考图像图 10 水下图片示例Fig.10 Underwater image example4.2 实验条件及参数设置实验条件：本文采用 pytorch2.8 深度学习框架进行训练和测试。所使用的计算机硬件配置如下：GPU为NvidiaGeForce3060(6GB)；CPU为IntelCorei7-11800H，内存为16GB，主频为2.30GHz。参数设置：本文网络中输入图片统一为长、宽均为256 像素的RGB（red-green-blue）图像，优化器为 AdamW，使用余弦退火学习率，使学习率由4e-3 逐渐缩小至 1e-6，批量大小(batchsize)为16，迭代次数(epoch)为1000。4.3 实验分析4.3.1实验设置及评价指标为了说明本文所提网络模型与各模块的有效性，将分别进行 2 次实验。对比实验，将本文所提模型与基于非物理模型的水下图像增强方法(CLA-HE5、UCM6)、基于物理模型的水下图像增强方法(UDCP7、IBLA8)、基于深度学习的水下图像增强方法(UWCNN10、CycleGAN18)和同样使用多尺度残差注意力网络的水下图像增强方法(MSRA-Net19、AttR2U-Net20)进行对比实验。此外，对所提网络进行消融实验，分别验证多尺度稠密特征提取模块、残差注意力恢复模块及损失函数的有效性。本文采取主观评价与客观评价相结合的评价方法，分别通过人的主观评价与客观数据全方位分析本文所提模型对于水下图像的增强效果。主观评价通过找寻 10 位志愿者(其中 5 名志愿者有图像处理经验，其余 5 名无图像处理经验)，让其在同一显示器下观察使用不同方法增强的图片，并单独对每幅图片进行打分(分值范围为 1 至 5)。客观评价选取两种全参考图像质量评价指标：峰值信噪比(PSNR)与结构相似度(SSIM)。峰值信噪比(PSNR)是峰值信号的能量与噪声的平均能量比。PSNR 是基于对应像素点间的误差，即基于误差敏感对图像进行质量评价。PSNR的值越大，图像质量越好。0，1结构相似度(SSIM)分别从图像的亮度、对比度与结构 3 方面共同衡量图像的相似度，取值范围为。SSIM 值越大，图像失真越小。但因人眼对亮度对比差异的敏感度比色度高，且易受周围区域颜色的影响，因此峰值信噪比(PSNR)得出的结论有可能和人的直观感受不一致，因此本文加入了由人肉眼直接观察的主观评价。4.3.2实验结果4.3.2.1对比实验本文的对比实验结果图如图 11 所示。CLA-HE 算法5可以较好地改善图像的对比度，使得图像色偏问题得到改善，但在光斑区域存在对比度过强的现象，并且对于图像中较暗区域增强效果不佳，导致图像颜色不自然。UCM 算法6可以较好地去除色偏现象，增强过后的图像整体颜色也较为自然，但存在丢失图像中较暗区域的细节信息的问题。UDCP 算法7存在过度增强现象，使得经处理过后的图像整体颜色偏暗，加深了色偏，并且物体细节信息丢失严重。IBLA 算法8并没有改善图像色偏的问题，甚至造成了更严重的色偏。经UWCNN 算法10增强过后的图像引入了新的色偏。CycleGAN 算法18可以较好地改善图像的色偏问题，但增强后图像整体色彩亮度偏暗。MSRA-Net19算法可以有效改善图片存在的色偏问题，但增强后的部分图片存在区域性的颜色不均。AttR2U-Net20算法对于色偏问题有着较好的改善，但会造成图片颜色淡化的问题。与前 8 种模型相比，本文所提模型可以有效去除绿色色偏，在光斑区域也拥有较好的对比度，并且也可以很好地保留水下物体的细节信息，更加接近参考图像。表 1 展示了实验中 9 种模型的主观评价平均得分。表 2 展示了实验中 9 种模型的评价指标平均得分。通过观应用光学2024，45（1）陈清江，等：基于多尺度残差注意力网络的水下图像增强95察两种评价的得分情况，发现相同方法的主观评价与客观评价的得分存在一定差异，通过询问 10 名志愿者，发现造成这种情况的原因是由于具有丰富色彩和较高对比度的图片更受他们的青睐。(a)原始图像(b)CLAHE(c)UCM(d)UDCP(e)IBLA(f)UWCNN(g)CycleGAN(h)MSRA-Net(i)AttR2U-Net(j)本文结果(k)参考图像图 11 不同增强方法结果比较Fig.11 Comparison of results of different enhancement methods表 1 9 种实验模型主观评价平均得分Table 1 Average scores of subjective evaluation of nine experimental modelsEvaluationCLAHE5UCM6UDCP7IBLA8UWCNN10CycleGAN18MSRA-Net19AttR2U-Net20OursScore0.52.93.10.51.02.93.53.73.9表 2 9 种实验模型评价指标平均得分Table 2 Average scores of evaluation indexes of nine experimental modelsEvaluationCLAHE5UCM6UDCP7IBLA8UWCNN10CycleGAN18MSRA-Net19AttR2U-Net20OursPSNR/dB19.8921.4510.3314.1916.2520.9320.4121.7323.63SSIM0.890.910.580.650.830.750.880.900.934.3.2.2消融实验为了证明本文所提模型中各模块及损失函数的有效性，本文设置如下消融实验：1)去除多尺度稠密特征提取模块(MDFE)；2)去除残差注意力恢复模块(RAR)；3)无 Charbonnier 损失函数；4)无边缘损失函数(edgeloss)。所进行消融实验结果如图 12 所示。由图片对比结果可以看出，模型 a、b、c、d 均存在不同程度的色偏、色弱以及图片物体96应用光学第45卷第1期边缘模糊的问题，因此确定本文所提模型为最优模型。不同模型消融实验评价指标如表 3 所示。(a)Model a(b)Model b(c)Model c(d)Model d(e)Our Result图 12 消融实验结果比较Fig.12 Comparison of results of ablation experiments表 3 消融实验评价指标平均得分Table 3 Mean scores of evaluation indexes of ablationexperimentsModelMDFERARCharbonnierEdgePSNRSSIMa18.250.68b20.470.84c18.470.83d19.980.69Our23.630.935 应用测试为了说明本网络增强后的水下图像对后续视觉任务的激励作用，在此采用 Canny 边缘检测21，用以对比原始图像与经本文设计网络增强后图像的边缘检测结果。因为图像中物体的边缘往往是局部像素变化最显著的区域，图像中可提取的边缘信息越多，表明图像中保留的细节信息越丰富，对后续的高层语义信息获取有很大帮助。边缘检测结果如图 13 所示。可以明显看出，经过增强后的图片相较于未增强的图片提取到的物体边缘更加丰富。(a)原始图像(b)原始图像边缘检测结果(c)经本文模型增强的图像(d)经本文模型增强图 13 边缘检测结果Fig.13 Edge detection results6 结论针对水下图像增强问题，本文提出了一个多尺度残差注意力网络，该网络通过多尺度稠密特征提取模块(MDFE)和残差注意力恢复模块(RAR)的巧妙设计，在融合图像多尺度特征信息的基础上，结合注意力机制对退化的水下图像进行增强。在数据集 UIEB 上的大量实验表明，本文所提网络相较于其他几种主流方法有着更好的指标与主观视觉感受，并且在恢复退化图像颜色的同时，还可保留图像中大量的边缘细节信息，有效提高了后续边缘检测任务的准确性，但在个别场景下的水下图像经本文所提网络增强后会存在对比度过强的问题，所以未来将就该问题提出新的网络模型，进一步提高模型的泛化性。参考文献：许晓军,陆启生,舒柏宏,等.激光照明的大气后向散射理论模拟和试验研究J.红外与激光工程，2001，30（1）：60.XUXiaojun,LUQisheng,SHUBaihong,etal.Back-scat-teringmodelandexperimentoflaserilluminatingJ.In-fraredandLaserEngineering，2001，30（1）：60.1李芳著.海底喷气成因热水沉积成矿理论研究综述J.地质科技情报，1993，12（2）：4.LIFangzhu.Areviewofthetheoryofsubmarinejetgen-esishotwaterdepositionalmetallogenesisJ.GeologicalScienceandTechnologyInformation，1993，12（2）：4.2邓权,林明星.基于改进SSD的海洋生物检测算法J.计算机技术与发展，2022，32（4）：51-56.DENGquan,LINMingxing.ImprovedSSD-basedmar-ineorganismdetectionalgorithmJ.ComputerTechno-logyandDevelopment，2022，32（4）：51-56.3马燕如.我国水下考古发掘陶瓷器的脱盐保护初探J.博物馆研究，2007（1）：85-89.MAYanru.ApreliminarystudyonthedesalinationandconservationofceramicsfromunderwaterarchaeologicalexcavationsinChinaJ.MuseumResearch，2007（1）：85-89.4ZUIDERVELD K.Contrast limited adaptive histogramequalizationJ.GraphicsGems，1994（4）：474-485.5IQBALK,ODETAYOMO,JAMESAE,etal.Enhan-cing the low quality images using unsupervised colourcorrection methodC.New York:IEEE,2010:1703-1709.6DREWSPLJ,NASCIMENTOER,BOELHOSSC,etal.Underwaterdepthestimationandimagerestoration7应用光学2024，45（1）陈清江，等：基于多尺度残差注意力网络的水下图像增强97basedonsingleimagesJ.IEEETransactionsonCom-puterGraphicsandApplications，2016，36（2）：24-35.PENGYT,COSMANPC.Underwaterimagerestora-tionbasedonimageblurrinessandlightabsorptionJ.IEEETransactionsonImageProcess，2017，26（4）：1579-1594.8SUNX,LIUL,LIQ,etal.Deeppixel-to-pixelnetworkfor underwater image enhancement and restorationJ.IETImageProcessing，2019，13（3）：469-474.9LIC,ANWARS.UnderwaterscenepriorinspireddeepunderwaterimageandvideoenhancementJ.PatternRe-cognition，2019，98：2105-2111.10LUL,YUNL,XIAOQ,etal.Evaluatingfastalgorithmsfor convolutional neural networks on FPGAsC/IEEEInternationalSymposiumonField-programmableCustomComputingMachines.NewYork:IEEE:857-870.11HEK,ZHANGX,RENS,etal.Deepresiduallearningfor image recognitionC/2016 IEEE Conference onComputerVisionandPatternRecognition（CVPR）.NewYork:IEEE,2016:770-778.12HUANGH,LINL,TONGR,etal.UNet3+:afull-scaleconnected UNet for medical image segmentationEB/OL.2023-02-10.https:/ networks for biomedical image segmentationC/InternationalConference on Medical Image Com-puting and Computer-Assisted Intervention.Berlin:SpringerInternationalPublishing,2015:234-241.14ZHOU Z,SIDDIQUEE M,TAJBAKHSH N,et al.UNet+:rede