基于Anchors设计和模型迁移的钢轨内部伤损检测方法.pdf

第卷第期 年 月铁 道 学 报 文章编号：（）基于 设计和模型迁移的钢轨内部伤损检测方法吴福培，谢晓扬，黄耿楠，吴 涛，李昇平（汕头大学 工学院，广东 汕头；广州特种机电设备检测研究院，广东 广州）摘 要：钢轨内部伤损的准确检测是保障列车安全运行的重要环节，如何提高伤损检测算法的泛化能力和鲁棒性是当前自动检测该类伤损面临的主要问题。为此，提出一种基于 设计和模型迁移的钢轨内部伤损检测方法。首先，采用图像数据增强技术扩充现有图像数据集，获取适量的训练样本。其次，设计以交并比为距离度量的 聚类算法获取新的 多维度约束，提高伤损检测精度。最后，在基于改进 模型的迁移学习方法基础上，训练所提的钢轨伤损检测模型。试验结果表明，本文检测方法所得精确率、召回率和 值均达到 ，对不同类型的内部伤损取得了较好的检测效果；与现有方法相比，本文所提方法的识别准确率高、误报率低，可有效检测钢轨内部伤损。关键词：钢轨内部伤损；缺陷检测；深度学习；模型迁移中图分类号：文献标志码：，（，；，）：，（），：；收稿日期：；修回日期：基金项目：国家自然科学基金（）；广东省自然科学基金（）；广东省普通高校重点领域专项（）第一作者：吴福培（），男，广西玉林人，教授，博士。：通信作者：吴 涛（），男，湖北黄冈人，副教授，博士。：铁路钢轨与列车接触并长期遭受列车的摩擦和冲击，易产生各种表面和内部伤损，极可能对列车的安全运行带来隐患。当前常用的无损检测方法主要包括视觉检测、超声波检测和漏磁检测等。超声波检测因具有穿透力强、指向性好和灵敏度高等特点已被广泛用于钢轨内部伤损检测。当前钢轨伤损检测方法分为两类：一类是利用高速摄像机获取钢轨表面图像，并采用纹理和灰度等方法检测钢轨表面伤损。基于此类方法，闵永智等设计了钢轨表面缺陷检测装置和提出了基于图像灰度梯度特征的钢轨表面缺陷检测方法，可检测不第 期吴福培等：基于 设计和模型迁移的钢轨内部伤损检测方法同环境的钢轨疤痕和裂纹伤损，但其缺陷漏检率和误检率分别为 和 。彭方进提出一种高鲁棒性的钢轨表面缺陷检测算法，对不同拍摄条件下检测钢轨表面缺陷的准确率不低于 ，且具有较高的鲁棒性。此外，通过考虑钢轨的特定特征，文献设计了一种面向背景的缺陷检测器以检测钢轨表面缺陷。试验结果表明，该方法具有客观的检测能力，且可避免外部因素对检测结果的干扰。尽管上述方法可取得较好的伤损检测效果，但总体上仍存在准确率较低和泛化能力较差等问题。另一类是利用超声波探伤仪采集的 型图像检测钢轨内部伤损。该方面研究的文献相对较少，其研究成果主要体现在一些单位开发的钢轨探伤系统中。如 公司的探伤车可对各种类型的钢轨缺陷进行检测和分类。美国铁路协会的超声波探伤系统可检测整个钢轨部分，包括轨头、腹板和底座。基于对 型图像中各伤损特征的研究，本文课题组提出一种伤损检测及其参数学习方法。该方法的检测准确率高于 ，检测效果良好。此外，为进一步提高钢轨内部伤损的智能化检测，本文课题组曾提出一种基于伤损特征分析的钢轨伤损智能识别与分类方法。该方法的检测准确率高于 ，平均检测时间为 帧，可用于实时检测。尽管该类方法具有高效率和高自动化的特点，但仍存在鲁棒性差和受限于特定伤损特征等问题。综上所述，准确率较低、泛化能力不足、鲁棒性不高和受限于特定伤损特征是当前钢轨伤损检测方法面临的主要问题。随着深度学习在目标检测和分类领域的快速发展，上述问题有望得以解决。目前已有基于深度学习的表面缺陷检测方法成功应用于工业场景中。黄凤荣等为提高发动机零件表面缺陷的检测准确率和效率，提出一种基于聚类算法生成 的 表面缺陷检测方法，可准确有效地检测零件的表面缺陷，满足智能制造的生产需求。为检测钢轨表面裂缝，文献设计了一种基于深度迁移学习的检测算法，可有效降低图像噪声对检测结果的影响，召回率高，且可检测大、小尺寸的裂纹。等提出一种基于深度学习的铁路检测方法，其精确率和召回率分别可达 和 以上，可实现钢轨接头或缺陷的良好检测。此外，文献提出一种基于贝叶斯 和注意力网络的钢轨表面缺陷检测算法，旨在复杂多样的钢轨场景下提高缺陷的检测精度和速度。试验结果表明，该算法的分割精度可达 ，运行时间为 帧。从上述分析可知，深度学习算法可自动获取图像中丰富的特征信息，具有检测准确率高、鲁棒性强和泛化能力好等优点，可有效检测钢轨伤损。因此，为准确地检测钢轨内部伤损，提出一种基于 设计和模型迁移的钢轨内部伤损检测方法。首先，采用图像数据增强技术扩充现有的伤损图像数据集，避免所提模型发生过拟合。其次，采用 聚类算法设计新的 多维度约束，提高伤损的检测精度。最后，在基于改进 模型的迁移学习方法和扩充的样本数据集的基础上，训练并检验所提的钢轨伤损检测模型。钢轨内部伤损类型及其特征分析超声波钢轨探伤仪检测钢轨内部伤损时，其探头向钢轨内部发射一定频率的声波。声波在钢轨内部传播以检测内部伤损。当遇到不同阻抗的伤损时，声波会产生一次反射和二次反射。然后，通过分析反射波的大小、数量和波形，可对各类钢轨伤损进行成像和显示，成像后的图像即为 型图像，见图。图 钢轨内部伤损的 型图像 型图像显示了伤损在钢轨内部的水平和深度信息。在使用探伤仪检测伤损时，不同角度的探头检测不同位置的伤损，并采用不同的颜色进行区分。此外，受检测位置和环境等因素的影响，检测过程产生的杂波也在 型图像中显示。结合超声波成像方式、伤损位置、伤损特征和传统的钢轨伤损分类方法，将钢轨内部伤损归类为 种，见表。表 钢轨内部伤损分类序号伤损类型标注时的英文缩写伤损标记颜色轨头内侧核伤红色轨头中间核伤绿色轨头外部核伤蓝色螺孔内侧上裂绿色螺孔内侧下裂绿色螺孔内侧倒打下裂绿色螺孔外侧上裂蓝色螺孔外侧下裂蓝色螺孔外侧倒打下裂蓝色螺孔水平裂红色轨底横裂绿色和蓝色铁 道 学 报第 卷图 为各种类型伤损的集合。图 中标识的伤损序号与表 对应，其中，黑色椭圆内的图像为各种类型杂波，黄色三角形内的图像为接头。由图 可知，轨头核伤的成像长短不一，且单独或成对出现。螺孔下裂图像位于正常螺孔图像下方。轨底横裂图像的粗细程度和长度均有差异，但以成对形式实现超声波成像。图 钢轨内部伤损集合检测时，此类伤损图像主要存在以下检测难点：受钢轨表面平滑度和探伤车灵敏度等因素的影响，型图像的噪声无明显规律，对伤损的检测带来干扰；在 型图像中，不同类型伤损分布在不同区域，易对 型图像的数据增强引入不确定因素，如使用旋转方式对 型图像进行数据增强时，检测效果可能适得其反；型图像中伤损标注误差大。型图像中，通常需要结合多个通道的图像来判断伤损的类别。然而，各个通道的图像形状并不固定，人工标注边界框时会产生比普通图像更大的标注误差。在深度学习的边界框回归阶段可能会发生边界框定位偏离的现象。为此，拟通过提出基于 设计和改进 模型的迁移学习伤损检测方法，解决 型图像中存在的噪声干扰、伤损分类困难和定位误差大的问题，提高伤损检测精度。基于 设计和模型迁移的伤损检测方法 综合上述分析可知，钢轨内部伤损种类多、颜色组成和位置特征差异大。此外，伤损所在的区域仅为整幅图像极小的一部分。若采用经典 架构检测钢轨伤损，可能存在以下问题：现有的 约束针对原检测目标设置，无法满足和应用于复杂多样的钢轨内部伤损检测；仅使用最后一层特征图检测伤损，无法有效提取钢轨伤损的特征信息。由于最后一层特征图分辨率小且对应原图的视场范围较大，易丢失关键的细节信息，不利于检测钢轨伤损（小目标）。针对上述问题，提出一种基于 设计的改进 架构，见图，以检测钢轨内部伤损。该架构采用 为特征提取网络，并设计新的 约束以检测钢轨伤损。首先，将钢轨内部伤损图像输入 网络，结合特征金字塔结构提取不同大小的特征图并进行融合处理。其次，采用 聚 类 算 法 设 计 与 钢 轨 内 部 伤 损 相 关 的 多 维 度 约 束。然 后，通 过 （）网络得出候选区域，并将不同大小的特征图和候选区域输入到 （）中进行区域校准池化。最后，将得到的特征图送入两个全连接层进行分类和边框回归。图 基于 设计的改进 架构 基于 聚类算法的 设计现有的 无法直接用于当前的钢轨内部伤损数据集，因此，需对 进行重新设计，以适应检测目标的实时变化。由于人工设计 需要进行大量的统计试验并进行验证，且设计不合理易对检测结果造成较大的标注误差。为解决上述问题，拟采用 聚类算法设计适用于检测钢轨内部伤损的 多维度约束。首先，以交并比为距离度量对数据集中各类型伤损进行聚类。然后，根据聚类结果重新设计，以更好地检测钢轨伤损。度量该距离为（，）（，）（）式中：（，）为标注框 和聚类中心 之间的距离；第 期吴福培等：基于 设计和模型迁移的钢轨内部伤损检测方法（，），其中，为预测框，为标注框。当使用式（）作为度量时，标注框与聚类中心越接近，交并比 越大，此时距离度量（，）越小，越容易被归为一类，聚类结果越准确。结合钢轨伤损特点和所提改进 模型的结构特征，并通过试验测试结果分析，可得聚类中心为。经过 次聚类分析，对聚类后的 面积进行向上取整后可得图。同时，对聚类后的 宽高比进行统计和分析后可得图。在此基础上，设计 的面积取值分别为、和，且每种面积的 具有 、三种不同的宽高比。图 面积统计图 宽高比统计 基于改进 模型的迁移学习方法由于 特征提取网络在训练时需要大量的样本图像才能学习到合适的参数权重，而研究中钢轨内部伤损图像通常有限，在训练网络时参数权重容易过拟合，导致模型训练不理想。为此，论文拟采用基于改进 模型的迁移学习方法实现小样本下钢轨内部伤损检测。与经典 相比，改进 模型重新设计了新的 约束和分类器，结合了 特征提取网络和特征金字塔，并采用 操作以最终实现钢轨伤损检测。图 为基于改进 模型的迁移学习方法示意。首先，在样本数据充足的源域上进行预训练，可得模型 的网络参数权重。然后，将该参数权重迁移至模型 中。最后，利用数据量有限的目标域对模型 进行训练。图 基于改进 模型的迁移学习示意基于上述分析，提出基于改进 模型的迁移学习方法，见图。首先，采用 数据集对模型进行训练，得到模型的预训练参数权重。其次，保留模型特征提取层的参数权重。然后，根据钢轨内部伤损的特点设计新的 多维度约束和分类器。最后，在扩充的伤损图像数据集上继续进行训练，得到钢轨内部伤损检测模型。图 基于改进 模型的迁移学习方法 模型损失函数和评价指标 损失函数训练过程中，为使所提模型正确预测伤损类别和位置，使用多任务损失函数对模型进行训练，其表达式为（，）（，）（，）（）（，）（）（）（）（，）（）（）（）其他（）式中：（，）为 的损失函数，用于衡量模型所作出的预测值与真实值之间的偏离程度；为分类损失，用于衡量模型所作出的类别预测与真实类别之间的偏离程度；为回归损失，用于衡量模型预测值与真实值之间距离的偏离程度；为 索铁 道 学 报第 卷引；为第 个 被预测为真实标签的概率；为 或，当 为正样本时，取；当 为负样本时，取；为预测第 个 的边界框回归参数；为第 个 对应的真实标注框的边界框回归参数；为一个 中的样本数量，其值为；为 位置的个数；为分类和回归的平衡参数。评价指标采用 （）、召回率和精确率三个指标，以准确和全面地评价所提模型的伤损检测能力，其表达式为 （）（）（）式中：为精确率；为召回率；为 和 的调和平均值，值可验证模型对测试集中每个标签的分类效果，并进一步考虑分类结果中的假阳性和假阴性错误；（正阳性）为正确识别为伤损的数量；（假阳性）为被误识别为伤损的数量；（假阴性）为漏识别的伤损数量。试验结果与分析 试验环境与参数设置采用的硬件环境主要为：八核处理器，显卡。软件环境主要为：基于 位的 操作系统，基于 和 的集成开发环境，基于 的深度学习框架，运行环境为 。反复调试参数后，得到最终的超参数设置为：优化器采用随机梯度下降法（，），优化器的初始学习率设置为 ，动量为，权值衰减为 。批量大小设置为，设置为。每次训练 个 后，学习率将进行衰减，衰减因子为 。模型训练与试验结果分析在上述试验环境和超参数设置的基础上，建立钢轨内部伤损数据库。首先，通过数据增强技术使数据库图像扩充至 张（图像分辨率均为 ），且每张图像至少含有一种类型的伤损。需要特别说明的是，本试验所用原始图像均基于课题组与合作单位共同研制的钢轨探伤仪于高速轨道现场和合作单位的试验线上采集。其次，将该数据库按照 的比例分别划分为训练集、验证集和测试集。然后，利用标注工具按 数据集的标注格式对训练集和验证集图像进行标注，生成 类型的标注文件。最后，将已标注的数据集按图 所示流程进行训练。图 为训练时的总损失和学习率变化情况。由图 可知，训练共进行了 个。训练过程中，所提模型的网络总损失函数在第 个 之前呈现下降趋势，个 之后基本趋于稳定，模型达到收敛。与此同时，模型学习率基本趋于。图 总损失函数和学习率变化情况利用已训练好的模型对测试集的伤损图像进行检测，以检验模型的性能。检测结果见图。由图 可知，对于不同类型的钢轨伤损，模型均能达到良好的检测效果，可准确地识别出伤损的大小和位置，并具有较高的类别预测能力。进一步地，统计测试集中各类型伤损的检测结果和分析相关的评价指标，见表 和表。从表 可知，测试集中共含有 个伤损，其中，所提模型能正确检测出 个伤损，误将 个非伤损目标识别为伤损，未检测出 个伤损。基于上述分析，模型整体的平均预测概率可达 ，精确率、召回率和 均达到 。另一方面，在检测单一类型伤损时，精确率最低为 ，最高可达 ；召回率最低为 ，最高可达 ；最低为 ，最高可达 ，表明所提模型可有效检测钢轨内部各类型伤损，并为钢轨内部的伤损检测提供借鉴意义。然而，所提模型仍存在不足之处。如检测个别伤损时，将非伤损目标误识别为伤损的次数较多（如表 中的 和 等），其原因可能是非伤损目标在形状、位置和颜色等特征上与某类型伤损非常接近，导致在较高的概率上被识别为目标伤损。另一方面，所提模型仍存在伤损漏检问题，其原因可能是训练样本中相关类型伤损的数量不足，导致模型的泛化能力略差，未能识别所有伤损。第 期吴福培等：基于 设计和模型迁移的钢轨内部伤损检测方法图 所提模型的伤损检测结果与本课题组前期研究所提的伤损检测方法比较，可得表 和表。表 中，文献和文献所提方法检测的伤损类型较少，而本文所提方法可检测钢轨中常见的 种类型伤损。从表 可知，在检测更多 表 各类型伤损的检测结果统计个伤损缩写伤损总数量总数 表 各类型伤损的评价指标分析伤损缩写平均预测概率总体评价类型伤损的基础上，本文方法的精确率和召回率均可达到 ，具备更好的伤损检测性能。表 不同方法的数据分析个伤损类型数据统计文献方法文献方法本文所提方法总数正检误检漏检总数正检误检漏检总数正检误检漏检总数 表 不同方法的性能对比评价指标文献方法文献方法本文所提方法进一步地，将本文所提方法与文献中的方法进行对比分析。文献中的伤损类型与本文相比略有不同。因此，分析后可将伤损归纳为轨头核伤、螺孔裂纹和轨底裂纹三种类型进行对比，其结果见表，铁 道 学 报第 卷其中，识别准确率 和误报率 的表达式为（）（）式中：为伤损总数。表 本文方法与文献所提方法的对比伤损类型文献方法本文方法轨头核伤螺孔裂纹轨底裂纹从表 可知，在同类型伤损中，文献所提方法的识别准确率低于本文所提方法。本文方法在识别准确率方面优势明显。同时，本文所提方法的误报率低于文献所提方法，伤损检测性能更优。试验结果与文献对比分析表明，本文所提方法具有较高的精确率、召回率和，可有效检测钢轨内部伤损。同时，该方法的识别准确率高，误报率低，伤损检测性能更优。结论为准确检测钢轨内部伤损，提出一种基于 设计和模型迁移的伤损检测方法，得出以下主要结论：（）特征提取网络可从 型图像中提取丰富的特征信息，并能准确检测现有的钢轨内部伤损。（）采用 聚类算法设计 的多维度约束，可有效解决经典 对钢轨内部伤损定位不准确的问题。（）引入基于改进 模型的迁移学习方法，旨在解决训练样本少和模型训练时间较长等问题。试验结果表明，以小样本数据集训练时，所提方法可在较短时间内达到收敛，且具有良好的伤损检测性能。（）试验结果表明，所提方法在测试集上获得的精确率、召回率和 均可达 ，检验了该方法的有效性。同时，在检测单一类型伤损时，该方法的精确率、召回率和 最高可达 ，具有较高的伤损检测性能。此外，所提方法的识别准确率高，误报率低，可为钢轨内部伤损的智能化检测提供借鉴。本文所提方法仍存在伤损漏检问题，主要原因在于小样本下模型所学习到的伤损特征未能满足所有伤损的检测要求，导致其在工程应用方面仍有不足。如何避免伤损漏检和进一步提高所提方法的伤损检测性能，是后续的研究方向。参考文献：姚宗伟，杨宏飞，胡际勇，等基于机器视觉和卷积神经网络的轨道表面缺陷检测方法 铁道学报，（）：，（）：，：，：胡文博，邱实，许馨月，等基于深度学习的钢轨伤损超声检测与分类 铁道学报，（）：，（）：，：张辉，宋雅男，王耀南，等钢轨缺陷无损检测与评估技术综述 仪器仪表学报，（）：，（）：，（）：，（）：闵永智，岳彪，马宏锋，等基于图像灰度梯度特征的钢轨表面缺陷检测 仪器仪表学报，（）：，（）：彭方进一种高鲁棒性的钢轨表面缺陷检测算法 中国机械工程，（）：，（）：，：，（）：第 期吴福培等：基于 设计和模型迁移的钢轨内部伤损检测方法 ，（）：，：，（）：吴福培，魏亚辉，李庆华，等高速轨道超声成像伤损检测及其参数学习方法 计算机集成制造系统，（）：，（）：，：陶显，侯伟，徐德基于深度学习的表面缺陷检测方法综述自动化学报，（）：，（）：黄凤荣，李杨，郭兰申，等基于 的零件表面缺陷检测算法 计算机辅助设计与图形学学报，（）：，（）：，：，（）：金侠挺，王耀南，张辉，等基于贝叶斯 和注意力网络的钢轨表面缺陷检测系统 自动化学报，（）：，：，（）：，（）：贺振东，王耀南，毛建旭，等基于反向 扩散的钢轨表面缺陷 视 觉 检 测 自 动 化 学 报，（）：，（）：中华人民共和国铁道部钢轨伤损分类：北京：中国铁道出版社，：，（）：，：孙次锁，刘军，秦勇，等基于深度学习的钢轨伤损智能识别方法 中国铁道科学，（）：，（）：（责任编辑 刘 霞）