基于集成深度学习的钢轨表面伤损精细化分割.pdf

文章编号-0027-06NO.7(Ser.298)JOURNAL OFRAILWAY ENGINEERINGSOCIETYJul2023报程道铁学2023年7 月第7 期（总2 9 8）基于集成深度学习的钢轨表面伤损精细化分割王卫东王梦迪胡文博米米彭俊王劲邱实（中南大学，长沙4 1 0 0 7 5）摘要：研究目的：钢轨表面伤损分割是铁路工务巡检的重要内容。为应对轨面伤损未及时发现导致安全事故发生的难题，解决传统检测方法适用性受限的问题，本文提出一个集成多种深度学习模型的伤损自动化分割算法，为钢轨表面伤损的识别、分析和处理提供一个精准且高效的解决方案。研究结论：（1）提出了一种集成目标检测和语义分割的深度学习算法，实现了针对钢轨表面伤损特征的高效识别与精准分割；（2)实践结果表明，本文算法与现有的几种深度学习模型相比精度更高，准确度和平均交并比分别达到9 9.56%和8 3.8 9%；（3)本文算法能够精细化地区分钢轨伤损和背景的模糊边界，减少数据余，加快分割效率,对多尺度伤损目标的分割准确性高，研究结论可为铁路工务部门的自动化检维提供理论指导。关键词：钢轨表面伤损；深度学习；图像分割；铁路工务中图分类号：U291.69文献标识码：ARefinement Segmentation of Rail Surface Damage Based on Integrated DeepLearning AlgorithmsWANG Weidong,WANG Mengdi,HU Wenbo,PENG Jun,WANG Jin,QIU Shi(Central South University,Changsha,Hunan 410075,China)Abstract:Research purposes:Rail surface damage segmentation is an important part of railway engineering inspection.In order to address the challenge of timely detection of rail surface damage to prevent safety accidents and overcome thelimitations of traditional detection methods,this paper proposes an automated damage segmentation algorithm thatintegrates multiple deep learning models,to provide a precise and efficient solution for the identification,analysis,andprocessing of rail surface damage.Research conclusions:(1)A deep learning algorithm integrating target detection and semantic segmentation is proposedto achieve efficient recognition and accurate segmentation for rail surface damage features.(2)The practical resultsshow that this algorithm has higher accuracy compared with several existing deep learning models,and the accuracy andaverage cross-merge ratio reach 99.56%and 83.89%,respectively.(3)This algorithm can accurately differentiatethe blurred boundaries between rail damage and background,reduce data redundancy,and improve segmentationefficiency.It achieves high segmentation accuracy for multi-scale damage targets and the research conclusions canprovide theoretical guidance for the automation of railway engineering inspection.Key words:rail surface damage;deep learning;image segmentation;railway engineering*收稿日期：2 0 2 2-1 0-2 8基金项目：国家自然科学基金项目：基于数字李生模型的轨道交通扣件系统伤损状态全生命周期演化机理研究（52 1 7 8 4 4 2）；高速铁路基础研究联合基金项目：基于机器视觉的高速铁路基础设施服役状态智能监测理论及方法研究（U1734208）*作者简介：王卫东，1 9 7 1 年出生，男，教授，现任中南大学土木工程学院院长。级2023年7 月程道报学铁28目前，铁路部门主要基于各种物理传感器对轨面伤损进行无损检测 ，包括涡流检测、漏磁检测等。涡流检测是通过检测电流特性实现伤损检测，具有较高的检测灵敏度，但受环境因素影响较大，对伤损定性和定量也比较困难；漏磁检测是通过捕捉磁场信息变化实现检测，但当伤损区域较大时，检测精度较差。近年来，计算机视觉因其高效、高精度等优点被广泛应用于工程探伤领域 2 ,基于计算机视觉的钢轨表面伤损检测已成为研究热点深度学习为钢轨伤损分割提供了更加精细化的解决方案。刘蕴辉等 3 基于阈值分割设计了一种铁路轨道表面伤损检测系统，但其需要结合大量现场轨道图像的多次试验以得到最优阅值。闵永智等 4 提出了一种钢轨表面伤损图像自适应分割算法，解决了钢轨表面伤损提取时的灰度分布不均与杂散光干扰问题。贺振东等 5 通过背景差分法削弱了光线因素的影响，但对于线状伤损识别效果尚待提高。袁小翠等 6 改进了Ostu算法进行钢轨表面伤损提取，但算法阈值需要根据不同场景进行人工调整。尽管这些基于计算机视觉的检测技术结构简单,计算成本较低，但在确定选择最佳阈值时，人工干预不可避免地导致检测结果的高度主观性和不确定性。本文提出了一种集成目标检测和语义分割的深度学习算法，通过该算法解决了传统检测方法中人工干预导致的问题,并在图像预处理、轨面区域提取和伤损检测方面进行了优化。本文方法对钢轨表面伤损更加有针对性，能够区分边界模糊的区域，分割的效果较好，在细化边缘方面有突出效果。该算法实现了像素伤损判识，能够为维修人员对轨面养护提供参考。1基于集成深度学习的钢轨表面伤损精细化检测算法该算法由三大模块组成，结构如图1 所示。数据采集模块提供轨检小车工作时里程信息，解决采集图像与里程的匹配问题，为维修人员提供伤损位置。图像预处理模块对图像样本进行降噪处理、数据增广和伤损标注,形成一个带有标注的轨面伤损数据集。伤损检测模块主要用于提取轨面，以减少后续计算量，加快检测速度，进而精确分割钢轨表面伤损。数据采集模块图像预处理模块伤损检测量化模块光电编码器数据增广区域提取ccd工业相机人工标注像素分类照明光源建立数据集精细化分割图1钢轨表面伤损自动检测流程1.1数据采集模块轨道定位是实现轨面伤损检测自动化的基本前提，检测结果只有与位置信息结合起来才有应用价值。本文通过光电编码器对采集的图像所属里程进行实时定位，通过计算列车行驶过的里程，结合起始里程就可以确定轨检车位置 7 。在脉冲计数的同时，每隔一定数量的脉冲数就对摄像机发送一次触发信号，完成一次轨道图像的采集，由此为后续伤损检测结果提供位置参考。定位系统原理结构如图2 所示。运行方向轨检车第N个脉冲第N个脉冲-光电编码器通过光电编码器定位位置一个脉冲对应里程为dSi=dx(N2-Ni)图2轨道定位系统原理结构图1.2图像预处理模块在图像采集过程中，利用光强均匀的光源以合适的角度照射到钢轨表面上，避免后期因光照问题而对试验结果产生不良影响。在图像预处理模块中，为了提高算法鲁棒性，将位于轨道正上方的摄像头采集到的图像进行数据扩增，通过翻转、旋转、随机加入噪声等方式将有限的伤损图像扩充为大批量的训练样本图像集，如图3 所示。原图亮度变化上下翻转旋转尺度变换椒盐噪声高斯噪声图3钢轨表面伤损数据增广示例王卫东王梦迪胡文博等：基于集成深的钢轨表面伤损精细化分割第7 期291.3伤损检测模块实际检测对检测时间有严格要求,为避免不相干目标（如扣件、轨道板等）对检测计算量的浪费，提高后续检测速度，需要在伤损分割前先快速定位轨面区域。本文将预处理后的伤损图像输人到Faster-RCNN算法中，主干特征提取算法VGG16对其进行特征提取，接着由RPN算法对目标区域进行识别,最终输出目标区域位置，如图4所示。同时通过精确率、平均精度MAP等指标对检测结果进行评估矫正，最终实现轨面区域的精准定位，从而有效减少后续计算量，提高检测效率。原图检测结果提取结果图4轨面提取效果在完成轨面区域检测的基础上，利用图像分割算法对伤损进行像素级分割。利用DeepLabv3+算法，将分割问题转化为单像素预测问题，并通过卷积神经网络对其进行分类，从而完成对采集图像中伤损的检测与分割，最后以仿真试验的方式对系统进行测试。整个检测过程在保证精确度的情况下，尽可能简化模型、减少计算量，以完成钢轨表面伤损的实时检测。在完成钢轨表面伤损分割的基础上，对伤损进行检测，以便铁路维护人员对伤损进行分析和处理，最终实现数字化管理。具体模型在第2、3节进行详细介绍。2案例分析与算法实现2.1DeepLabv3+算法整体架构DeepLabv3+算法包括编码器和解码器两个部分，模型结构如图5 所示。编码器通过深度卷积神经网络（D CNN）提取输入图像特征并获得两个有效特征层，将其中一个有效特征层通过不同膨胀率的空洞卷积进行特征提取，再将合并后的结果通过11卷积压缩特征。解码器输人有两部分，一部分是DCNN的输出，另一部分是DCNN输出经过并行空洞卷积后的结果，这两个结果经过一定处理后进行特征融合，再次通过33卷积和上采样逐步恢复到与原始图像相同的分辨率，以捕捉钢轨图像更精细的目标边界，实现像素级预测，最终输出分割结果图。编码器11卷积输入33卷积特征提取网络空洞率：633卷积堆叠空洞率：12原图33卷积通道数调整空洞率：1811卷积图像池化4倍上采样11卷积特征融合33卷积4倍上采样输出解码器预测结果图5DeepLabv3+算法网络结构2023年7 月程报学道铁30特征图上的点是由原始图像中感受野区域内的像素数值计算得到的，通常来说，感受野越大，对于特征提取越完善。传统卷积网络为使感受野增大一般通过池化操作完成，其间不得不降低图像的分辨率，最终限制了分割的精度。空洞卷积一方面在增加感受野的同时不丢失图像分辨率，从而精确分割目标；另一方面可以通过设置不同的膨胀率、调整滤波器的感受野，从而获得多尺度信息。空洞卷积通过在每个空间维度的两个有效值之间插人零使感受野变大，不同膨胀率的空洞卷积原理如图6 所示，图中黑色点为有效值，灰色范围为感受野。图6空洞卷积原理示意图2.2评价指标在本文研究中，为了评估改进后的集成网络分割的性能,选择了平均交并比（MIoU）、准确度（ACC）、精确度(P）、召回率(R)和F1-score作为评价指标。平均交并比（MIoU）是语义分割方法中一个常见的评价指标。它是衡量目标的预测伤损区域和实际伤损区域重叠度的指标。两边框重叠度越高，该指标值越大。在语义分割中，预测区域和真实区域是通过像素运算得到的：1PiMIoUZ(1)k+1Pa+ZPi-Ptj=0=0式中k一一类-类别的数量，在本研究中，每幅图像中的像素被分为伤损和背景两类；Pi预测为正确的像素数量；Pi预测为背景但实际上是属于伤损的像素数量；Pi预测为伤损但实际上是背景的像素数量。准确度（ACC）是预测正确的像素数与总像素之比，见式（2）。虽然准确率可以判断总的正确率，但是在样本不平衡的情况下，并不能很好地衡量结果，因此衍生出了其他两种指标：精准率和召回率。TP+TNACC(2)TP+FN+FP+TN召回率（Recall）又叫查全率，代表在实际为正的样本中被预测为正样本的概率，见式（3）。TPR=(3)TP+FN精确率（Precision）又叫查准率，代表在所有被预测为正的样本中实际为正的样本的概率,见式（4）TPP:TP+FP(4)F1s c o r e 同时考虑了查准率和查全率,让二者同时达到最高,取一个平衡，见式(5）。PRF1-score=2 P+R(5)其中,TP代表真阳性，表示模型自动分割的伤损区域与真实伤损重叠；FP代表假阳性，表示模型错误地将背景区域识别为伤损区域并进行分割；TN代表真阴性，表示模型将真实的背景区域识别为背景区域；FN代表假阴性，表示模型将真实的伤损区域错误地识别为背景区域。2.3试验参数设置本试验基于Windows10的6 4位系统进行。硬件配置如下：处理器为IntelCoreTMi7-10700K，内存为32GB,显卡为NVIDIAGeForceRTX2080Ti；软件环境如下：设计代码通过vscode实现，编程语言为Python3.5Cuda10.1,采用百度开发的深度学习框架Paddlepaddle和PaddleX进行环境搭建。本文获取了开源轨面伤损数据集8 ,并与采集到的巡检图像混合形成共计445 0 张图像数据集。本文通过对集成算法设置不同初始学习率和训练步骤，进而获得钢轨表面伤损检测的最佳模型权重。图7 所示为不同初始学习率在不同训练步骤下得到的训练结果，可见基础学习率为0.0 2 和0.0 0 0 2 的训练过程表现不佳，因为线条有明显的波动，损失值也不明显稳定。相反，在基础学习率为0.0 0 2 的训练过程中,损失值最初迅速下降,然后逐渐趋于平稳，且很快收敛。因此，在本文所建立的轨面伤损检测系统中采用0.0 0 2为初始学习率。1.00.9100.880.70.660.5SSOT40.40.320.20.10002 000 4 000 6 000 8 000 10 000 12 000训练步数（a）初始学习率为0.0 2王卫东王梦迪胡文博等：基于集成深度学习的钢轨表面伤损精细化分割第7 期311.00.9100.880.70.66noW0.5SSOT40.40.320.20.10002 000.4 000 6 000 8 000 10 000 12 000训练步数(b）初始学习率为0.0 0 21.00.9100.880.70.660.5SSOT40.40.320.20.10002000 4000 600080001000012000训练步数（c）初始学习率为0.0 0 0 2图7不同初始学习率的训练结果在图7（b）中，当超过5 0 0 0 个训练步数时，训练损失趋于稳定并最小化，而且MIoU值也趋于稳定。图8 所示为算法在不同的训练步数下的验证结果。可以看出，训练中没有出现过拟合现象。因此，考虑训练损失、训练时间和MIoU等指标，可以选择5 0 0 0 步为该检测网络的训练步数。伤损1伤损2伤损3原图250步2 0 0 0 步5 0 0 0 步8 0 0 0 步110 0 0 步图：不同训练步数下的检测结果经过数据处理后，训练数据集被输人模型，通过迭代更新各层的权重参数得到最优模型。在本文研究中，初始学习率和训练步数根据试验选取最佳值，分别为0.0 0 2 和5 0 0 0 步。通过多次平行试验或交叉验证，得到了精度最高的超参数。动态参数设置为0.9以加速模型收敛，损失函数设置为交叉损失函数以评估当前训练得到的概率分布与真实分布的差异。在每次训练中，最大迭代周期EPOCH被设置为10,并选择最佳训练参数进行模型预测3结果分析与讨论3.1测试结果集成算法模型以0.0 0 2 的初始学习率和5 0 0 0 个训练步骤进行训练，为了测试经过训练的模型性能，将16张非训练集伤损图像用于结果分析，并对每张图像对应的MIoU值进行了评估。这些图像中的伤损通过训练过的模型在像素级别上自动检测，测试得模型MIoU为8 3.8 9%，检测结果如图9 所示。总体来说，集成算法能很好地检测轨面伤损。1.00.80.60.40.2002345678910 11 12.13 14 15 16 17测试集图像序号图9验证集16 张图片的MIoU分析图9 可知，在2 号、4号和11号图像中，MIoU值超过了8 5%；在2 号图像中，MIoU值达到了8 6.15%。这三幅图像的结果显示在图10 中，可以看出，这些伤损都是规则形块状伤损。这表明集成算法模型在预测这种类型的伤损时表现最好。3.2与现有典型的像素级分割模型对比U-Net是一种结构简单的全连接卷积神经网络，它可以用很少的训练图像获得比较准确的分割结果，被广泛用于医学图像分析。BiSeNet是一个轻量级语义分割网络，旨在同时提升实时语义分割的速度与精度，被广泛用于实时检测任务中。将这两个语义分割模型算法与本文集成算法在相同的试验条件下进行训练，并在测试集上进行伤损分割试验。为了更加直观展现检测结果，本文将算法输出的图像掩码对原图进行处理，将背景区域制定为黑色，伤损区域制定为白色，从而直观展现分割得到的伤损信息2023年7 月程道铁报学322号4号11号原图标注图预测结果图10MIoU相对较高的伤损图像不同算法的可视化检测结果如图11所示。BiSeNet可以对伤损进行分割，但该网络对相连伤损的分割效果较差，它错误地分割了两个伤损之间的部分，分割结果与标签图像相差较大，分割结果依次弱于UNe t 和本文方法。UNe t 的分割效果较好，它可以独立地分离伤损区域，但分割不够精细，边缘存在明显的锯齿。本文集成算法比其他两种方法更好，产生的伤损分割边界清晰，错误信息较少，区分较为准确，与人工标注结果更吻合，而且对于形状不规则的伤损提取也相对准确原图标注图BiSeNetU-Net本文算法图11不同算法的检测结果试验结果表明，本文方法对钢轨表面伤损更加有针对性，能够区分边界模糊的区域，分割的效果较好，在细化边缘方面有突出效果。从整体效果来讲，本文集成算法检测结果优于其他算法，对比其他分割方法在局部分割精度方面效果更好，有助于轨道监测的进一步判断。为了定量对比各个网络的分割性能，验证本文算法的有效性，本文使用评价指标MIoU、A CC、F1一score数对试验结果进行分析对比，对比结果如表1所示。在准确率方面，四种分割算法之间没有明显差异，但本文使用的集成算法平均交并比和F1s c o r e 值最高，分别为8 3.8 9%和8 2.0 0%，分割结果优于其他三个分割算法。试验数据表明，本文所提出的集成算法相较于其他算法在轨面伤损数据集上更具优势表1不同检测算法的评价指标评价指标平均交并检测网络准确度召回率精确率比MIoUF1-scoreACC/%R/%P/%/%集成算法83.8999.5681.6282.350.820.0单一 DeepLab v381.5699.4979.3680.640.800 0BiSeNet v276.1699.3577.7177.600.776 5U-Net78.1199.3880.1882.010.81084结论为解决铁路维护人员在检测轨面伤损时的效率和精度问题，针对传统方法难以满足需求的情况，本文提出一个集成目标识别和语义分割算法的自动检测系统，同时对算法进行参数调整，以更好地适应轨面伤损特征,并将该系统用于检测轨面伤损。研究结论如下：（1)本文提出了一个基于机器视觉的钢轨表面伤损自动检测系统，解决了人工巡检中效率不足、精度较低等问题。该系统实现了轨面伤损的智能化分割，可为铁路维护工作提供有力的技术支持。(2)试验结果表明，本文集成算法对钢轨表面伤损更加有针对性，能够区分边界模糊的区域，分割效果较好，在细化边缘方面有突出结果，可见，融合空洞卷积的算法可以优化多尺度伤损目标的分割准确性。（3）本文结合目标检测和语义分割算法，提出一种应用于轨面伤损的融合算法。减少了数据穴余，加快检测效率，提升了多尺度伤损目标的检测准确性。试验结果证明，本融合算法对轨面伤损具有良好的精度和适用性，其中准确度和平均交并比分别达到9 9.5 6%和8 3.8 9%，满足实际应用需求。(下转第39 页To P.39)From P.32)上接第32 页丽李克冰班新林等：ZK荷载图式对时速40 0 公里高速铁路适应性研究第7 期39and Research of Train Load Schema J.ChinaRailway,2017(4):1-7.5铁道部科学研究院.高速铁路活载图式的研究R.北京：铁道部科学研究院，19 9 6.China Academy of Railway Sciences.Research on LoadDiagram of High Speed Railway R.Beijing:ChinaAcademy of Railway Sciences,1996.6Fryba L.Vibration Solids Stryctures Moving Loads M.London:Thomas Telford,1999.7Y.B.Yang,J.D.Yau.Vehicle-bridge Interaction在未来的研究中，将尝试实现识别伤损的三维量化，提升算法的泛化能力，并致力于各评价指标的进一步性能优化。参考文献：1田贵云，高斌，高运来，等铁路钢轨缺陷伤损巡检与监测技术综述J.仪器仪表学报,2 0 16（8）：17 6 3-17 8 0.Tian Guiyun,Gao Bin,Gao Yunlai,etc.Review ofRailway Rail Defect Non-destructive Testing andMonitoring J .C h in e s e Jo u r n a l o f Sc ie n t ificInstrument,2016(8):1763-1780.2Wang Weidong,Hu Wenbo,Wang Wenjuan,etc.Automated Crack Severity Level DetectionandClassification for Ballastless Track Slab Using DeepConvolutional Neural Network J.Automation inConstruction,2021,124:103484.3刘蕴辉,刘铁，王权良，等基于图像处理的铁轨表面缺陷检测算法J.计算机工程，2 0 0 7（11）：2 36-2 38.Liu Yunhui,Liu Tie,Wang Quanliang,etc.RailSurface Defects Detection Algorithm Based on ImageProcessing J.Computer Engineering,2007(11):236-238.4闵永智,岳彪,马宏锋，等基于图像灰度梯度特征的钢轨表面缺陷检测J.仪器仪表学报，2 0 18（4）：2 2 0 Dynamics with Applications to High-speed RailwaysM.Singapore:World Scientific,2004.8中国铁道科学研究院.客运专线铁路常用跨度桥梁结构刚度和基频标准研究报告R北京：中国铁道科学研究院,2 0 0 9.China Academy of Railway Sciences.Research Reporton Bridge Stiffness and Fundamental FrequencyStandard of Common Span Bridges on High SpeedRailway R.Beijing:China Academy of RailwaySciences,2009.229.Min Yongzhi,Yue Biao,Ma Hongfeng,etc.Rail SurfaceDefects Detection Based on Gray Scale GradientCharacteristics of Image J.Chinese Journal ofScientific Instrument,2018(4):220-229.5贺振东，王耀南，刘洁，等基于背景差分的高铁钢轨表面缺陷图像分割J.仪器仪表学报,2 0 16（3）：6 40-6 49.He Zhendong,Wang Yaonan,Liu Jie,etc.BackgroundDifferencing-based High-speed Rail Surface DefectImage Segmentation J.Chinese Journal of ScientificInstrument,2016(3):640-649.6袁小翠，吴禄慎，陈华伟.基于Otsu方法的钢轨图像分割J.光学精密工程,2 0 16（7）：17 7 2-17 8 1.Yuan Xiaocui,Wu Lushen,Chen Huawei.Rail ImageSegmentation Based on Otsu Threshold Method J.Optics and Precision Engineering,2016(7):1772-1781.7陈金胜.基于图像识别的轨道定位及嵌人式实现D.上海：上海工程技术大学，2 0 17.ChenJinsheng.Track Locationand EmbeddedImplementation Based on Image D.Shanghai:Shanghai University of Engineering Science,2017.8Gan J,Li Q,Wang J,etc.A Hierarchical Extractor-based Visual Rail Surface Inspection SystemJ.IEEESensors Journal,2017(23):7935-7944.