基于深度学习的隧道渗漏水语义分割方法.pdf

城市设施智慧化 基于深度学习的隧道渗漏水语义分割方法徐艺文1，王维1，王鲁杰2，陈颖2，郭春生1，李家平2（1.上海勘察设计研究院（集团）股份有限公司；2.上海地铁监护管理有限公司）【摘要】文章针对隧道结构渗漏水病害巡检效率低的问题，基于隧道结构三维激光扫描影像建立了一个具备了一定规模的渗漏水病害数据集，选择了三种经典的图像分割的深度学习模型，分析和比较了三种模型在渗漏水病害识别的区别及差异，验证了图像分割的深度学习模型的有效性。【关键词】隧道三维激光扫描影像；深度学习；数据集；渗漏水中图分类号：U457；TP18 DOI：10.13655/ki.ibci.2024.01.049Segmentation Method of Leak in Tunnel Based on Deep LearningXU Yi-wen1,WANG Wei1,WANG Lu-jie2,CHEN Yin2,GUO Chun-sheng1,LI Jia-ping2（1.SGIDI Engineering Consulting(Group)Co.,Ltd.；2.Shanghai Metro Monitoring Management Co.,Ltd.）【Abstract】Aiming at the problem of low efficiency in the inspection of water leakage diseases in tunnel structures,this paper establishes a data set of water leakage diseases with a certain scale based on 3D laser scanning images of tunnel structures,and chooses three classic deep learning models for image segmentation,analyzes and compares the distinctions and differences of the three models in the recognition of water leak disease,and verifies the effectiveness of the deep learning model for image segmentation.【Keywords】tunnel image of 3D laser scan;deep learning;dataset;leakage1 引言随着经济社会的发展，城市轨道交通需求增长，运营里程不断增长。截至2020年末，内地城市轨道交通的总运营里程达7978.2km1。城市轨道交通多采用地下隧道建设方式，由于建设条件、运营环境等复杂因素影响，管片衬砌结构在运营期间会出现多种病害，如：渗漏水、裂缝、掉块、管片错台等2。传统的病害检测以人工为主，通过人眼或简单仪器检测，判定效果依赖于检测人员的经验与主观判断，检测效率与可靠性均无法满足轨道交通发展的需求3。基于相机拍摄或三维激光扫描的隧道病害检测是发展的技术方向，目前已有国内外的许多学者对此进行了研究。2017年加拿大Cha等4采用深度卷积神经网络对混凝土裂缝的识别进行了研究，在检测中结合滑动窗口可以检测任意大小的图像，并验证了深度学习在混凝土裂缝识别上的优势。2017年黄宏伟等5基于全卷积网络进行盾构隧道渗漏水病害图像识别。2018年薛亚东等6建立隧道衬砌特征图像分类系统，在现有的CNN模型GoogLeNet基础上进行改进，获得了准确率超过95%的网络模型。2020年薛亚东7就裂缝及渗漏水病害的特殊性，基于FastRCNN，采用数据统计分析及K-means聚类算法分析其几何特征，结合病害特征优化VGG-16网络模型，进一步提高病害识别的精度。以上这些研究表明深度学习方法较传统图像方法在隧道病害检测具备精度高和鲁棒性强的特点。然而，这些研究大多采用相机的照片建立深度学习数据集。本文基于自主研制的快速移动式隧道三维扫描检测系统，采集隧道衬砌的扫描影像，在上海轨道交通运营线路中选取了病害较多的区间，通过人工标注建立了具备一定规模的渗漏水病害样本库，基于图像分割的全卷积神经网络模型训练并识别隧道内渗漏水病害。2 数据集深度学习其数学本质是在一个有限数量的真实样本中寻求待求依赖关系的映射的学习方法。为了实现深度学习在隧道三维激光扫描影像识别中的应用，首先需要建立一个具备一定规模的隧道三维激光扫描影像人工标注数据集。不同于其他图像识别任务存在大量公开数据集如图像分类分割的ImageNet8，隧道病害检测领域目前尚没有一个公开的病害数据集。本文通过隧道移动三维激光扫描技术，进行隧道衬砌表面点云采集，通过圆柱投影将点云投影生成隧道区间的三维扫描灰度影像。在上海轨道交通160 城市设施智慧化 部分运营线路上，采集了34幅区间扫描影像，通过开源标注工具Labelme标注出其病害位置和轮廓，其统计信息如表1，示例如图1。图1 隧道区间三维扫描影像标注示例表1 隧道区间影像间影像渗漏水病害统计表影像名称区间1区间2区间3区间4区间5区间6区间7区间8区间9区间10区间11区间12区间13区间14区间15区间16区间17总计总计影像尺寸/mm高度15323064153228793064153215321532153215321226133313631532153215321532宽度1043921375191226109455623699698348600987353500367955012783911755411502474340743407434074340渗漏水病害/处4761557281862340730737725153443451916120435882885影像名称区间18区间19区间20区间21区间22区间23区间24区间25区间26区间27区间28区间29区间30区间31区间32区间33区间34影像尺寸/mm高度153215321532153210261532132113711532955952153215321532153215311531宽度794386851987838879591086957295911041166002103679108137108113852998649987599879997380074340渗漏水病害/处331493362164921328766272199811678541952983608360图像分割数据集的建立：由于一幅隧道区间影像数据量通常非常大，而计算机内存和显存有限，无法直接用整个区间影像作为样本来训练深度学习模型。另一方面区间影像上人工标注的信息为病害多边形的顶点坐标，还需要将病害的矢量信息栅格化作为样本的标签（label）来训练图像分割的深度学习模型。本文在标注的区间影像按384384的尺寸滑框切割作为深度学习模型的原图输入及根据标注多边形生成一个对应的标签图（见图2）。表1中标注区间影像处理成了一个包含34624张的384384影像及对应标签，其中26825张影像只有背景，没有包含渗漏水病害对象，这样极其不均匀地分割样本可能导致模型训练容易偏向学习背景的特征而不是渗漏水病害的特征，因此在不包含渗漏水病害的图片按10%的概率随机选取了2561张和包含渗漏水病害的7799张影像组成渗漏水病害数据集，并将所有的图像按8:1:1的比例分成训练集、测试集和验证集，如表2。图 2 渗漏水病害样本集示例（左侧为原图，右侧为标签图）表2 训练测试数据集构建情况图像数量/张训练集8288测试集1025验证集1047在7799张包含渗漏水对象在影像中，渗漏水对象的像素比较稀疏，大部分影像的渗漏水对象像素对象很少（见图3）。其中5179影像中渗漏水对象的像素占比不超过5%，2199张像素占比不超过1%，只有不到40张影像渗漏水病害占比大于50%。从每张影像的像素分布来说，渗漏水的像素和背景的像素分布也是极其不均匀的。图3 渗漏水对象像素占比分布图161 城市设施智慧化 3 基于图像分割的深度学习算法随着卷积神经网络在影像识别领域的进展，针对影像分割任务也提出了许多卷积神经网络架构。全卷积网络Fully Convolutional Network(FCN)9是应用到影像分割领域第一个卷积神经网络算法。全卷积网络基于编码器(Encoder)-解码器(Decoder)架构利用图像分类任务中表现优秀的深度学习模型(如ResNet12)作为编码器将高维特征映射到低维度，同时将分类模型最后的全连接层更换为反向卷积层作为解码器，反向卷积层(Deconvolution layer)将编码器提取的特征解码输出成原图尺寸相同的掩模，输出的掩模中每个像素表示原图同样位置的像素所属对象的类别。FCN将卷积神经网络应用在图像分割问题上的基本关键思路：上采样(Upsampling)、跳跃连接(Skip-connection)、迁移学习(Transfer Learning)。这些关键思路使得FCN在分割精度上较之前图像分割算法具有巨大的提升，此后影像分割领域许多表现优异的模型架构(U-Net10、Deeplabv311)都借鉴FCN思路来优化而取得更好的影像分割精度。本文基于前面建立的隧道影像病害样本集分析比较了FCN，U-net和Deeplabv3几种经典图像分割模型在隧道病害识别领域中运算速度和识别精度上的区别。由于渗漏水对象的像素占比极少，选择图像分割经典的交叉熵损失函数会导致模型特征学习偏向背景，使得最终模型预测精度低，前景区域可能漏检或缺失。为了解决图像分割中待识别对象像素占比不均衡的问题，研究人员相继提出加权的交叉熵损失函数、Dice Loss损失函数、Sensitivity Specificity损失函数等14。本文采用文献14对Dice Loss损失函数的改进版损失函数GDL(Generalized Dice Loss)损失函数作为模型优化的损失函数。GDL=1-2l=12lnrlnplnl=12lnrln+pln，其中l=1-n=1Nrln。4 算法实验4.1 精度指标影像分割通常由许多指标来评价算法的分割精度，这些指标中最为常用的是区域交并比(intersection of union-IoU)。其他精度评估指标基本上是这两个指标的变体13。区域交并比又称为Jacard指数，是计算真值集合和预测值集合的交集和并集之比，对于类i的区域交并比计算公式如下：IoU=niij=0knij+j=0knji -nii4.2 模型训练本文在隧道三维激光扫描影像病害数据集上分别训练三种图像分割的深度学习模型FCN，U-net和Deeplabv3（见图 4）。三个模型的编码器均采用ResNet-50模型，模型初始化参数采用ImageNet上预训练参数。超参数的设置对于深度学习训练最重要，本文采用模型如下参数配置：初始学习率（learning rate）均设置为0.0001，学习率衰减策略采用分段衰减，学习率优化方法 SGD，权重衰减（weight decay）0.9995，批次大小（batchsize）24个，最大迭代次数（epoch）100，模型基本训练信息见表3。图4 测试效果图（从左至右分别为原图，标签图，DeepLabv3，U-Net，FCN）表3 模型训练信息项目训练速度（s/epoch）预测速度/（ms/张）模型大小/m测试集IOU指标FCN298.21060.687U-Net328.71380.757Deeplabv3658.91150.782三个模型中，训练推理最快的是解码器结构最简单的FCN，最慢的是解码器最复杂的Deeplabv3；模型参数最多的是U-Net这主要是因为其解码器较多的特征拼接结构。是在整个训练周期内dice损失随着训练的推进持续下降，训练集IOU精度也在提升，从验证集精度曲线图（见图5）可以看到，三种模162 城市设施智慧化 型基本在15个epoch左右就收敛到最好精度。验证集最优模型最终测试精度见表3，Deeplabv3取得了0.782的IOU精度，测试精度最差的为FCN。三个模型在测试集图片中预测效果如图4。图5 模型训练5 结语本文利用开源标注工具建立了一个病害识别数据集，以此为基础，分析比较了几种经典的图像分割任务的深度学习模型（FCN，U-net和Deeplabv3），并分别在验证集和测试集上进行了验证实验得出结论如下：现有图像分割的深度学习模型在病害检测中均能取得较好的IoU精度，相对于其他对象，如人物建筑等分割任务，渗漏水形态多变，轮廓不分明。通过对不同检测模型计算结果对比分析得出，Deeplabv3的解码器结构较轻，参数较U-Net少，但在渗漏水病害特征学习中表征能力更强。本文建立的数据集偏少不足9000张影像，且数据大多为同一款扫描仪采集，模型泛化能力有限。隧道衬砌病害的检测精度仍有待提高，可以考虑扩充病害数据库，增加模型的鲁棒性及准确度。参考文献1 2020年中国内地城市轨道交通线路概况J.现代城市轨道交通，2021（2）：101.2 叶耀东，朱合华，王如路.软土地铁运营隧道病害现状及成因分析J.地下空间与工程学报，2007（1）：157-160+166.3 夏国志.关于轨道交通隧道结构病害检测技术的应用及发展趋势分析J.低碳世界，2018（7）：267-268.4 YoungJin Cha，Wooram Choi，Oral Bykztrk.Deep LearningBased Crack Damage Detection Using Convolutional Neural NetworksJ.Computer-Aided Civil and Infrastructure Engineering，2017，32（5）：361-378.5 黄宏伟，李庆桐.基于深度学习的盾构隧道渗漏水病害图像识别J.岩石力学与工程学报，2017，36（12）：2861-2871.6 薛亚东，李宜城.基于深度学习的盾构隧道衬砌病害识别方法J.湖南大学学报（自然科学版），2018，45（3）：100-109.7 薛亚东，高健，李宜城，黄宏伟.基于深度学习的地铁隧道衬砌病害检测模型优化J.湖南大学学报（自然科学版），2020，47（7）：137-146.8 Deng J，Dong W，Socher R，et al.ImageNet:A large-scale hierarchical image databaseC/IEEE Conference on Computer Vision&Pattern Recognition.2009.9 Ronneberger O，Fischer P，Brox T.U-Net:Convolutional Networks for Biomedical Image SegmentationC/International Conference on Medical Image Computing&Computer-assisted Intervention,2015.10 Chen L C，Papandreou G，Kokkinos I，et al.DeepLab:Semantic Image Segmentation with Deep Convolutional Nets，Atrous Convolution，and Fully Connected CRFsJ.IEEE Transactions on Pattern Analysis&Machine Intelligence，2016，40（4）：834-848.11 He K，Zhang X，Ren S，et al.Deep residual learning for image recognitionC/Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2016：770-778.12 Garcia-Garcia A，Orts-Escolano S，Oprea S，et al.A Survey on Deep Learning Techniques for Image and Video Semantic SegmentationJ.Applied Soft Computing，2018，70.13 Sudre，Carole H，Li W，Vercauteren T，et al.Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentationsC/International Workshop on Deep Learning in Medical Image Analysis International Workshop on Multimodal Learning for Clinical Decision Support,2017.163