基于编解码机制的水下图像语义分割.pdf

舰 船 电 子 工 程2023 年第 9 期1引言随着水资源的开发利用和深度学习的快速发展，基于深度学习的水下计算机视觉领域被越来越多研究者所关注。图像分割1作为计算机视觉的一个重要研究方向，已经有研究者将其用在水下图像对目标分类中。但由于水下环境复杂，水介质对光线的散射以及吸收效应，水下图像质量差，一般会存在色偏，对比度低、噪音以及光照不均的问题。这对水下图像分割的完整性和准确性提出了很大的挑战。传统的语义分割方法面临以下问题：1）过深的卷积网络会降低特征图分辨率，导致一些关键信息丢失；2）不同尺度目标的存在需要结合全局和局部信息，导致特征提取困难；3）CNN的空间不变性造成定位精度的下降，目收稿日期：2023年3月11日，修回日期：2023年4月22日作者简介：王金康，男，硕士研究生，研究方向：深度学习、图像处理。何晓晖，男，博士，教授，研究方向：机械智能化。邵发明，男，博士，副教授，研究方向：软件工程、信号处理。卢冠林，男，硕士研究生，研究方向：图像处理。总第 351 期2023 年第 9 期舰 船 电 子 工 程Ship Electronic EngineeringVol.43 No.9基于编解码机制的水下图像语义分割王金康何晓晖邵发明卢冠林（中国人民解放军陆军工程大学南京210007）摘要随着水下资源的开发，深度学习在水资源探索和开发领域应用越来越广泛。在水下原始图像质量低下的情况下，传统的语义分割技术对水下目标分割边界模糊、定位不准确、漏检和误检的情况经常发生。论文针对上述问题，提出了一种专门应用于水下图像的语义分割方法。首先基于多空间转换对原始水下图像进行增强处理。其次通过密集连接的混合空洞卷积在扩大感受野的同时消除多层空洞卷积带来的“gridding issue”问题，然后设计级联空洞卷积空间金字塔池化模块来整合不同尺度的边界特征，丰富目标细节信息。最后，采用上下文信息聚合机制将浅层网络和深层网络的特征进行融合以提取丰富的上下文信息。实验证明论文提出的方法相比最先进的语义分割方法对水下图像的分割效果更好。关键词水下图像；语义分割；编解码机制；上下文信息聚合中图分类号TN911.73DOI：10.3969/j.issn.1672-9730.2023.09.008Semantic Segmentation Method of Underwater Images Based onEncoder-decoder ArchitectureWANG JinkangHE XiaohuiSHAO FamingLU Guanlin（Army Engineering University of PLA，Nanjing210007）AbstractWith the development of underwater resources，deep learning is more and more widely used in the field of water resources exploration and development.Under the condition of low quality of the original underwater image，the traditional semanticsegmentation technology often makes the underwater target segmentation boundary fuzzy，inaccurate positioning，missed detectionand false detection.Aiming at the above problems，this paper proposes a semantic segmentation method for underwater images.Firstly，the original underwater image is enhanced based on multi-space transformation.Secondly，the problem of gridding issuecaused by multi-layer hole convolution is eliminated by densely connected mixed hole convolution.Then，a cascaded hole convolution space pyramid pooling module is designed to integrate the boundary features of different scales and enrich the detailed information of the target.Finally，the features of the shallow network and the deep network are fused by the context information aggregationmechanism to extract rich context information.Experiments show that the proposed method is better than the most advanced semantic segmentation method in underwater image segmentation.Key Wordsunderwater image，semantic segmentation，encoder-decoder architecture，context information aggregationClass NumberTN911.7329总第351期标与背景之间边界模糊。近年来，随着深度学习技术的进步，基于深度学习的图像语义分割方法大放异彩。Deeplab V3+2针对FCN的不足进行改进，通过图像金字塔3、空洞卷积4、空间金字塔池化5等技术有效扩大感受野，捕捉图像上下文信息，从而改善分割结果。但是稠密的网络结构导致分割速度慢，且 DeeplabV3+算法对于小尺寸的目标分割效果不明显。Segnet6采用编解码机制，通过Uppooling还原像素的空间位置信息，提高分割分辨率。但其网络训练参数过多，计算成本较高。DenseASPP7在ASPP的基础上采用密集连接，覆盖大范围的语义信息，对高分辨率图像有较好的分割效果，但是同时密集连接也导致计算量急速上升。DFANet8采用 Xception网络作为主干结构，将高级上下文合并到编码的功能中，在分割速度和准确度之间取得有效平衡。DANet9提出自我关注机制的双注意力网络，增强场景分割特征表示的判别能力，显着改善了分割结果。Auto-APCNet10提出自适应上下文模块，自适应的构建多尺度上下文表示。CANet11开发了一种新颖的双分支密集比较模块，有效地利用来自CNN的多级特征表示来进行密集的特征比较，同时加入注意力机制融合来自不同支持示例的信息。MagNet12提出一个多尺度框架，通过多个放大级别逐步细化分割输出，进行从粗到细的信息传播。解决了局部图像模糊的问题，分割性能大大提高。SETR13将语义分割视为序列到序列的预测任务，通过编码transformer建模全局上下文信息，提升分割精度。RobustNet14提出了一种新的实例选择性白化损失，将特征表示的高阶统计量中编码的特定于领域的样式和领域不变的内容分开，并选择性地只删除导致领域漂移的样式信息，以提高不可见区域分割网络的健壮性。基于深度学习的图像语义分割技术在鲁棒性特征的自主学习和分类过程中，表现出巨大优势，分割精度和速度较传统的语义分割技术有极大提升。本文在上述文献的基础上决定先对水下图像进行图像增强，再做下一步的语义分割。首先，我们采用密集连接的混合空洞卷积，相比Deeplab系列算法等单纯的用多层空洞卷积而言，能够覆盖更大感受野，有效地保持了特征信息的整体性，减少信息丢失。其次，级联空洞卷积空间金字塔池化模块对特征图做细化处理，通过融合不同感受野下的图像特征来共享多尺度目标信息，这种方法在上述论文中是没有出现过的。最后，创造性的提出上下文信息聚合网络，通过将深层网络与浅层网络中的特征信息融合，细节信息更加丰富，对边缘细节的把握更加充分。2方法简介为了解决水下图像语义分割过程中遇到的困难，本文提出一种基于编解码机制的上下文信息融合的水下图像分割算法，算法流程如图1所示。首先提出一种基于加权融合的多空间转换水下图像增强方法27对原始水下图像进行增强处理，其次通过具有50 个网络层、滤波器大小为11和33、步幅为 2的基础网络Resnet5015进行特征提取，使用密集连接的方式将提取到的特征图输入到 HAC块，通过一系列的连续扩张卷积组合级联，扩大神经元感受野。HAC块包含三个33空洞卷积，空洞卷积的扩张率分别为1、2、5。然后通过级联空洞卷积空间金字塔池化模块兼顾不同尺度的目标区域，丰富目标细节信息和更高层次的图像语义信息，CASPP模块包含2个11卷积和三个33空洞卷积，空洞率分别为 5、9和 13，过滤器数量为 256个。以上两个部分组成编码器，实现对水下图像的语义边缘信息提取和融合。解码器创造性的采用上下文信息聚合机制，通过双线性插值将深层网络与浅层网络的特征信息融合，并使用33卷积对特征进行微调，更加充分地把握图像边缘细节，大幅度减少了图像特征信息的丢失。最后采用双线性插值法进行2倍的上采样，得到最终的图像分割结果。2.1加权融合的多空间转换水下图像增强针对质量不佳的水下图像，由于其对比度低、存在色偏、细节模糊，直接进行语义分割效果不好，我们先对水下原始图像进行增强处理。多空间转换水下图像增强算法流程图如图2所示。加权融合的多空间转换水下图像增强算法流程如下：首先对输入图像进行白平衡处理，以消除或减轻输入图像的色偏问题。之后，经过白平衡处理的图像分别进行三个支路的后续处理。第一条支路将图像从 RGB 通道转化为 LAB 通道，并对 L通道进行伽马校正，以调节图像整体亮度，最后再转化为 RGB 通道。第二条支路对图像先后进行CLAHE处理和双边滤波处理，去除噪声的同时提高图像的清晰度。第三条支路将图像从RGB通道转化为HSV通道，并对V通道进行单尺度retinex处理，保证图像的色彩饱和度，提高细节处理，最后再转化为RGB 通道。对三条支路的处理结果进行加权融合，得到图像的最终增强效果。王金康等：基于编解码机制的水下图像语义分割30舰 船 电 子 工 程2023 年第 9 期2.2密集连接的混合空洞卷积模块Deeplab系列网络使用多层连续空洞卷积进行特征提取，但在感受野扩大的同时，会造成“gridding issue”，这是因为在使用多层空洞卷积后，会对输入的采样变得很稀疏，从而导致一些局部信息丢失，特征图整体连续性信息被忽视。为了解决这个问题，我们采用不同空洞率的混合空洞卷积，小空洞率用来提取本地信息，大空洞率用来提取长距离信息，这样既可以获取更宽阔的区域信息，又能在保持感受野不变的情况下提高信息利用率。如图3，我们以空洞率为1，2，3的混合空洞卷积为例，在一开始就保留完整连续的33区域，之后几层的空洞率设置又刚好保证拼起来感受域的连贯性，虽然有所重叠，但是密不透风，可以有效地保持了特征信息的整体性。它的结构需满足公式：Mi=maxMi+1-2riMi+1-2(Mi+1-ri)ri（1）其中，ri为第i层的空洞率，Mi为在第i层插入的最大空洞数量，若卷积核大小为k*k，则需要满足Mrk，这样就可以覆盖所有空洞。通过密集连接的方式将空洞卷积块连接到一起，获得越来越大的感受野的同时，对多尺度的语义信息做编码，不同特征图对来自不同尺度的信息做编码，最终输出特征不仅覆盖大范围的语义信息，而且以非常密集的方式覆盖信息编码。图3不同空洞率混合空洞卷积的覆盖效应2.3级联空洞卷积空间金字塔池化模块对于质量低下的水下图像，层层卷积下使特征图分辨率逐渐减小，这对于水下图像分割来说更加困难，会导致目标细节的缺失和各像素关联性的弱化。针对这个问题，我们使用空洞率分别为5，9，13的三个空洞卷积并联对特征图做细化处理，同时兼顾不同大小尺度的目标区域，丰富目标细节和更高层次的图像语义信息。此外，利用级联融合的方式，将三个并行空洞卷积后的特征图级联相加，通过融合不同感受野下的图像特征来共享多尺度目标信息，不同空洞率卷积相互依赖，将不同感受野下的特征信息进行级联整合，进一步提高全局像素信息的关联性和连续性。最后通过维度拼接的方式将得到的5个特征图在通道维度上进行融合，图1基于编解码机制的水下图像分割算法框架EncodingbackboneHAC Block1HAC Block2HAC Block3EncodingCASPPDecodingDecodingInputUIEOutput33 conv upsampleupsample33 convupsampleRGBLABCorrection白平衡白平衡CLAHEBAL双边滤波LABRGB加权融合输出HSVRGBRGBHSVSVHSSR输入图2加权融合的多空间转换水下图像增强算法流程图31总第351期获得包含更多边缘细节和高级语义的特征图。级联空洞卷积空间金字塔池化模块结构图如图4所示。2.4上下文信息聚合网络图像在不同网络深度具有不同特点的特征信息，浅层特征图尺度大，具有较多的特征信息，利用浅层网络可以将目标进行简单的区分，但由于卷积核以及计算资源的限制，网络只能在小感受野的范围内提取到具有颜色、纹理等细节信息的图像局部特征；在深层网络中，特征图经过层层卷积和下采样，分辨率减小，特征图尺寸降低，感受野也增大，网络能够在全局范围内提取到较为明确的位置、类别等高级语义信息，但由于缺失几何空间细节信息，在标定目标位置类别时对于边缘细节信息的准确度不够。通过将深层网络与浅层网络中的特征信息融合，能够大幅度减少图像特征信息的丢失，使得图像在保证位置类别准确的情况下，细节信息更3加丰富，对边缘细节的把握更加充分。图4级联空洞卷积空间金字塔池化模块结构图上下文信息聚合网络如图5所示。首先，将级联空洞空间金字塔池化模块输出的特征图F4与空洞卷积块 3 提取的特征图 F3 进行逐像素相加操作；然后经过2倍上采样增大特征图分辨率，并空洞率为 2 的空洞卷积结合相邻像素的特征信息，对特征图的上采样特征进行细化处理；接着将处理过的该特征图与空洞卷积块2的特征图F2进行加和操作，再经空洞卷积细化处理后与特征图F1进行相加融合，获取有效的图像目标空间信息与物体边缘信息：最后经过 2 倍上采样后得到分割结果。利用自底而上的方式将各路径特征信息进行聚合，使得深层图像语义信息逐渐与图像浅层边缘线条、形状位置等细节信息融合，在传达强定位信息特征的同时传达强语义信息特征，捕捉清晰的目标边界信息，细化分割结果，有效提高物体分割的精度。F3F4F2F1图5上下文信息聚合模块结构图3实验分析3.1数据库为了完成水下图像语义分割的研究，我们对RUIE16和UIEBD17两个开源水下图像数据集合并以构建一个水下图像分割数据集。我们对其中的3000张图像采用Resize操作将大分辨率图像进行像素聚类，对小分辨率图像进行像素插补，在一定程度上对图像信息进行提取并按512512分辨率重排像素点，以致达到统一像素。按照COCO数据集的标注格式，通过LabelMe软件以手工标注的方式进行标注。我们的标注包括海鱼、潜水员、珊瑚、礁石、雕塑、章鱼、海龟、水草、Mobula、海胆、扇贝、海星12个类别。3.2实验设置我们的水下图像分割方法在PyTorch软件中进行了实验。运行平台为：Windows 10 64 位操作系统、NVIDA GeForce RTX 4000、8 GB DDR3 内存、英特尔酷睿 i7-6700U、CPU4.00 GHz。我们的算法运行在 GPU 上。在训练参数设置中，我们设置初始学习率为0.01，采用带动量的随机梯度下降法（SGD）进行网络优化。动量参数为 0.9，权重衰减正则项为0.00005，批量大小为16。11Conv33ConvRate=533ConvRate=933ConvRate=13ImagePoolingConcat11Conv王金康等：基于编解码机制的水下图像语义分割32舰 船 电 子 工 程2023 年第 9 期3.3评价指标本章使用OA，IOU和MIOU作为综合评价指标评价网络的分割效果。OA代表总体精度，表示分类正确的样本个数占所有样本个数的比例，表达式如式（2）所示。OA=TP+TNTP+FN+FP+TN（2）IOU表示每类目标数据分割的预测值与真实值之间的交集和并集之比，表达式如式（3）所示，MIOU即每类目标IOU的平均值，表达式如式（4）所示。IOU=TPFN+FP+TP（3）MIOU=1k+1i=0kTPFN+FP+TP（4）其中，k表示分割类别数量，包括背景的话，则有k+1个类别。3.4实验结果为了直观地表现我们提出的算法的有效性，将本文算法与现有最先进的4种经典分割算法在合成数据集上的对比结果如图6所示，从左到右分别为原始图像、强化图像、Deeplab V3+、DFANet、APCNet、CANet和本文方法的分割效果图以及真实值。水下图像由于产生色偏现象，导致图像的对比度降低，从图6实验结果可以看出，我们的方法在色偏现象严重的水下图像分割中效果最好。纵向来看，Deeplab V3+在对原始图像进行语义分割的时候由于对比度下降会漏掉一下图像信息，不能对每个目标都进行充分的分割，（c）中的礁石和（d）中上侧的礁石和鱼，（e）中零星的海星和贝壳都没能分割出来，而且边缘定位不准确。DFANet较Deeplab V3+稍有改善，但是对于（c）中的章鱼分类不正确，而且（d）中的上侧礁石和（e）中较小的海星和贝壳未能捕捉到。APCNet对于水下图像的分割效果稍好，但是已经捕捉到的轮廓分割信息过多，如（a）中潜水员分割边界出现宁滥勿缺的现象。相比前几种方法，CANet分割效果较好但是对于图片（c）这种对比度很低的图像不能取得良好的分割效果。与其他算法相比，我们的方法分割对象完整，定位准确，虽然有不同程度的漏检和边界不清晰的问题出现，但是我们的方法取得的分割结果与真实值最为接近。横向来看，对于a、b、d这类边界模糊的图像，我们的方法的分割结果边界清晰，最接近真实值；对于c、e这类对比度低的图像，经过图像增强后的效果还是显而易见的，我们的方法对一些容易漏检的小目标定位准确，而其他方法都存在不同程度的漏检和误检。总的来说，相比其他方法，本文提出的方法在分割完整度、定位精准度、边界清晰度、细节方面都是最好的，可以对水下图像不同类别对象进行有效分类，语义分割效果最好。本节的客观评价使用3.3小节中提到的图像质量评价指标对分割精准度进行评价测试，表1展示了数据集中所有类别目标的平均交并比和整体精准度。黑色加粗表示最优结果。图6水下图像语义分割的定性比较（a）（b）（c）（d）（e）Original image Enhanced image Deeplab V3+DFANetAPCNetCANetOur method Ground truth33总第351期表1不同方法的MIOU和OA测试结果对比评价指标MIOUOADeeplab V3+61.377.5DFANet63.278.0APCNet65.578.6CANet64.978.5本文方法68.379.4我们可以看出，本文方法在大多数类别目标分割中的IOU值是最大的，在所有类别平均交并比和整体精准度是最高的，从客观数据上分析分割效果是最好的，这与主观评价基本一致。表2展示了我们的方法与其他算法在CUOID数据集上的参数、浮点数和FPS的比较结果，可以看出我们的方法相对来说参数较少、浮点数小，对计算资源占用小。同时检测速度相对来说比较快，FPS达到125。综合来说，我们的方法在检测精度和速度方面有良好的平衡。表2不同方法计算资源对比方法Deeplab V3+DFANetAPCNetCANet本文方法输入尺寸51351351210245121024640360512512参数/M213.17.819.79.6FLOPs/G1.76.21.8FPS0.4160721253.5消融实验我们在合成数据集上验证了我们的方法中每个模块对算法性能的影响。表3显示了在特征提取网络框架上添加不同模块的消融实验结果。从实验结果来看，每一个模块的添加都具有一定的效果，图像语义分割的精准度都有提高，其中图像增强模块的添加对水下图像语义分割效果增强影响最大。添加了4个模块的网络客观评价指标均达到最高，这表明4个模块缺一不可，综合起来对水下图像的分割效果最好。表3消融实验结果对比BaselineHACCASPPDecoderUIEMIOU60.261.964.365.768.34结语本研究设计了一种编解码机制的水下图像语义分割算法。相比于当前流行的语义分割算法，我们聚焦水下图像，针对水下图像的特点，基于加权融合的多空间转换对水下图像进行增强处理，通过骨干网络得到边界特征图，将混合空洞卷积进行密集连接以在扩大感受野的同时消除“gridding issue”问题，通过级联空洞卷积空间金字塔池化模块丰富目标细节信息。采用上下文信息聚合机制将浅层网络和深层网络的特征进行融合，大大减少信息丢失。实验表明，我们的方法对比当前主流语义分割算法，无论是主观感受还是客观数据上都是最好的，在分割完整度、定位精准度、边界清晰度、细节方面远超其他先进算法，我们提出的方法可以对水下图像进行有效分割。本文提出的方法使得分割效果得到改善，但是对区分度不大的目标还是会出现误判漏判的情况，我们下一步的工作将着重改进这方面问题，并将结合目标检测，图像增强，深入剖析算法机理，对水下图像处理进行系统性的分析和改进。参 考 文 献1Guo Y，Liu Y，Georgiou T，et al.A review of semanticsegmentation using deep neural networks J.InternationalJournal of Multimedia Information Retrieval，2018，7（2）：87-93.2Chen L C，Zhu Y，Papandreou G，et al.Encoder-decoder with atrous separable convolution for semantic imagesegmentationC/Proceedings of the European Conference on Computer Vision（ECCV），2018：801-818.3Lin T Y，Dollr P，Girshick R，et al.Feature pyramid networks for object detectionC/Proceedings of the IEEEConference on Computer Vision and Pattern Recognition，2017：2117-2125.4Yu F，Koltun V，Funkhouser T.Dilated residual networksC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：472-480.5He K，Zhang X，Ren S，et al.Spatial pyramid pooling indeep convolutional networks for visual recognitionJ.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，37（9）：1904-1916.6Badrinarayanan V，Kendall A，Cipolla R.Segnet：A deepconvolutional encoder-decoder architecture for image segmentation J.IEEE Transactions on Pattern Analysis andMachine Intelligence，2017，39（12）：2481-2495.7Yang M，Yu K，Zhang C，et al.Denseaspp for semanticsegmentation in street scenesC/Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition，2018：3684-3692.8Li H，Xiong P，Fan H，et al.Dfanet：Deep feature aggregation for real-time semantic segmentationC/Proceedings of the IEEE/CVF Conference on Computer Vision and王金康等：基于编解码机制的水下图像语义分割34舰 船 电 子 工 程2023 年第 9 期Pattern Recognition.2019：9522-9531.9Fu J，Liu J，Tian H，et al.Dual attention network forscene segmentationC/Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition，2019：3146-3154.10He J，Deng Z，Zhou L，et al.Adaptive pyramid contextnetwork for semantic segmentationC/Proceedings ofthe IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：7519-7528.11Zhang C，Lin G，Liu F，et al.Canet：Class-agnosticsegmentation networks with iterative refinement and attentive few-shot learningC/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2019：5217-5226.12Huynh C，Tran A T，Luu K，et al.Progressive semanticsegmentation C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2021：16755-16764.13Zheng S，Lu J，Zhao H，et al.Rethinking semantic segmentation froma sequence-to-sequence perspectivewith transformersC/Proceedings of the IEEE/CVFConference on Computer Vision and Pattern Recognition，2021：6881-6890.14Choi S，Jung S，Yun H，et al.Robustnet：Improving domain generalization in urban-scene segmentation via instance selective whitening C/Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition，2021：11580-11590.15He K，Zhang X，Ren S，et al.Deep residual learning forimage recognitionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.16Liu R，Fan X，Zhu M，et al.Real-world underwater enhancement：Challenges，benchmarks，and solutions under natural light J.IEEE Transactions on Circuits andSystems for Video Technology，2020，30（12）：4861-4875.17Li C，Guo C，Ren W，et al.An underwater image enhancement benchmark dataset and beyondJ.IEEETransactions on Image Processing，2019，29：4376-4389.8LIU W，ANGUELOV D，ERHAN D，et al.SSD：Singleshot multibox detector C/European Conference on Computer Vision.Springer，Cham，2016，9905：21-37.9贾可心，马正华，朱蓉，等.注意力机制改进轻量SSD模型的海面小目标检测 J.中国图象图形学报，2022，27（04）：1161-1175.10耿创，宋品德，曹立佳.YOLO算法在目标检测中的研究进展 J.兵器装备工程学报，2022，10（42）：1-10.11HU J，SHEN L，SUN G.Squeeze-and-Excitation Networks C/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Salt Lake City：CVPR，2018：7132.12WANG Q L，WU BG，ZHU P F，et at.ECA-Net：Efficient Channel Attention for Deep Convolutional NeuralNetworksC/IEEE 2020 IEEE/CVF Conference onComputer Vision and Pattern Recognition（CVPR）.Seattle，CVPR，2020：11531.13JIE H，LI S，GANG S，et al.Squeeze-and-ExcitationNetworks J.IEEE Transactions on Pattern Analysis andMachine Intelligence，Salt Lake City，IEEE Xplore，2017：7132-7141.14Zhang，C.，Li，D.，Qi，J.，et al.Infrared Small TargetDetection Method with Trajectory Correction Fuze Basedon Infrared Image Sensor.Sensors，2021，21（13）：4522.15KULATHUNGA N，RANASINGHE N R，Vrinceanu D，et al.Effects of Nonlinearity and Network Architectureon the Performance of Supervised Neural NetworksJ.Algorithms，2021，14（2）：51.（上接第28页）35