基于FRL-Net的高鲁棒性多尺度小样本轨道入侵异物检测方法研究.pdf

第 45 卷 第 1 期2024 年 1 月仪器仪表学报Chinese Journal of Scientific InstrumentVol.45 No.1Jan.2024DOI:10.19650/ki.cjsi.J2311939收稿日期:2023-09-19 Received Date:2023-09-19基金项目:天津 市交通 运输科 技发 展计划(2022-09)、北 京市自 然科学 基金(L221018)、光纤传 感与 系统北 京实验 室开放 课 题(GXKF2022001)、天津大学自主创新基金(2023XHX-0019)项目资助基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究赵宗扬1,康杰虎1,吴 斌1,叶 涛2,张 振1(1.天津大学精密测量技术及仪器全国重点实验室 天津 300072;2.中国矿业大学(北京)机电与信息工程学院 北京 100083)摘 要:针对轨道入侵异物严重威胁行车安全,而基于广义深度学习的目标检测方法无法打破大数据驱动的训练壁垒、小样本目标检测方法在复杂轨道环境中对多尺度入侵异物检测能力差、鲁棒性低等问题,本文提出了一种高鲁棒性多尺度小样本轨道入侵异物检测模型。该模型采用元学习策略,通过多尺度小样本入侵异物特征提取模块增强模型对于不同尺度小样本异物特征的表达能力。使用轨道入侵异物元特征精准重加权模块对小样本异物的元特征进行精准优化。提出小样本轨道入侵异物检测优化模块进一步提升模型的检测性能。实验结果表明,该模型在 7-way 30-shot 的小样本轨道异物检测任务中的平均检测精度为 81.8%,比 FSRW 高 3.2%,更适合在实际轨道环境中检测多尺度小样本入侵异物。关键词:轨道入侵异物;元学习;小样本目标检测;多尺度;深度学习中图分类号:U491.2 TH39 文献标识码:A 国家标准学科分类代码:580.70Research on the high robust multi-scale few-shot railway intrusion obstacles detection method based on FRL-NetZhao Zongyang1,Kang Jiehu1,Wu Bin1,Ye Tao2,Zhang Zhen1(1.State Key Laboratory of Precision Measuring Technology and Instruments,Tianjin University,Tianjin 300072,China;2.School of Mechanical Electronic&Information Engineering,China University of Mining&Technology,Beijing 100083,China)Abstract:Aiming at the serious threat to train safety posed by the railway intrusion obstacles,while the general object detection methods based on deep learning struggle to break the barrier of data-driven training,the few-shot object detection methods have weak detection ability and low robustness for multi-scale obstacles in complex railway environments,this paper presents a high robust multi-scale few-shot railway intrusion obstacles detection model(FRL-Net).The model utilizes the meta-learning strategy to capture rich feature information by designing the multi-scale few-shot obstacle feature extraction module,which can enhance the models ability to express the features of few-sample objects at different scales.The precise reweighting module is used for optimizing the meta-feature at different scales,and the few-shot railway obstacle detection optimization module is proposed to further enhance the few-shot railway obstacle detection performance of the model.The experimental results show that the proposed model achieves the mAP of 81.8%in the 7-way 30-shot few-shot railway obstacle detection task,which is 3.2%higher than that of FSRW.It is more suitable for detecting few-shot multi-scale railway obstacles in actual railway environments.Keywords:railway intrusion obstacles;meta learning;few-shot object detection;multi-scale;deep learning0 引 言 轨道运输业是国民经济的重要组成部分,在居民出行、货物运输等领域发挥着不可替代的作用1-2。愈加庞大的铁路运输网络给大众出行带来了极大的便利,与此同时列车的运营安全也越来越受到社会的重视。在发生重大交通事故的轨道场景中,入侵异物因突发性强、不可240 仪 器 仪 表 学 报第 4 5 卷见性高等特点成为引发上述事故的重要因素3-4,这不仅严重影响人员日常出行,还会给人民的生命和财产造成不可挽回的巨大损失。因此,精准有效的检测轨道入侵异物对于避免重大轨道交通事故的发生,进而确保列车行车安全和人民生命财产安全具有重要意义。随着计算机视觉和相关技术的发展,越来越多的学者将基于深度学习的目标检测模型如 Faster-RCNN5和你只需看一次(you only look once,YOLO)6-7等进行改进并应用于轨道入侵异物检测领域中。徐岩等8通过增加Faster-RCNN 中的锚框数量提升模型对轨道入侵异物的检测性能;Guan 等9通过设计轻量型注意力机制并改进后处理方式,在保证模型检测精度的前提下大幅度降低模型的计算量;叶涛等10-12提出了一系列高精度轨道入侵异物检测模型研制了小型智能检测样机。然而,上述基于广义深度学习的轨道入侵异物检测方法需要大量的数据驱动,收集和标注数据的过程费时费力。更重要的是,由于轨道入侵异物的突发性和不可预测性,在发生重大交通事故的轨道场景中数据样本往往难以采集,上述模型在数据样本较少的训练前提下检测能力将大幅下降甚至失效。小样本目标检测技术是打破上述大数据驱动壁垒的有效手段。TFA13通过冻结模型主干网络并微调最后一个卷积层以实现小样本检测;FSCE14将对比学习策略15应用于小样本目标检测任务中。MPSR16输入不同大小的目标图像旨在消除小样本数据集中的尺度稀疏性,提升模型的检测能力,但由于该过程需要人工干预,因此其泛化能力存在一定的局限性。FSRW17、Meta-RCNN18分 Meta-DETR19别将元学习策略20应用于YOLOv2、Faster-RCNN、DETR21中,使得改进后的模型具备小样本目标检测能力。Li 等22将元学习和 YOLOv37结合以增强模型的特征提取能力;Zhu 等23将 GAN24应用于小样本目标检测领域,二者都在遥感数据集上取得了非常不错的结果;CME25在 FSRW 的基础上优化特征空间表达以提升模型的小样本检测性能。Chen 等26设计了一种双重感知注意力机制,能够嵌入至多种小样本目标检测算法中。然而,上述模型的设计和实验大多都是建立在公共数据集之上的,由于轨道环境天气、背景等的复杂性和入侵异物种类和尺度的多样性,上述小样本检测模型难以高精度鲁棒地识别多尺度小样本轨道目标。而且,目前也鲜有学者对小样本轨道入侵异物检测进行研究。Gong 等27首次将小样本目标检测技术应用于铁路视频入侵异物检测中,其在 MAML 算法28的基础上通过标签冲洗、随机舍去神经元等方式避免异物所在的铁轨场景因过度相似而产生的过拟合问题。该项研究是小样本检测技术应用于轨道入侵异物检测领域的初步探索,但其所研究的入侵异物类别种类较少且所涉及的轨道场景过于单一。郭保青等29通过设计特征映射网络和类中心微调网络对小样本轨道入侵异物进行识别,但该模型并未对多尺度轨道入侵异物(尤其是小目标)的检测精度和鲁棒性问题进行深入讨论,且该模型在复杂轨道环境中的检测性能也仍需进一步验证。针对上述问题,本文提出一种高鲁棒性多尺度小样本轨道入侵异物检测模型(high robust multi-scale few-shot railway intrusion obstacle detection model,FRL-Net),能够在训练样本数量受限的前提下高精度鲁棒地识别小样本轨道目标。该模型在 7-way 30-shot 的轨道入侵异物检测任务中实现了 81.8%的平均检测精度,比 FSRW 高3.2%,更适合在实际复杂轨道环境中精准检测多尺度入侵异物,尤其是小目标入侵异物。1 小样本轨道入侵异物检测模型的设计原理和结构1.1 模型设计原理和总体结构 本文所提出的高鲁棒性多尺度小样本轨道入侵异物检测模型 FRL-Net 的整体结构如图 1 所示,由多尺度小样本 入 侵 异 物 特 征 提 取 模 块(multi-scale few-shot intrusion obstacle feature extraction module,SEM)、轨道入侵异物元特征精准重加权模块(precise weighting module for the meta features of railway obstacles,PRM)和小样本轨道入侵异物检测优化模块(optimization module for few-shot intrusion obstacle detection,FPM)组成。其中,多尺度小样本入侵异物特征提取模块由上下两分支网络构成,上分支网络实现多尺度轨道入侵异物特征的提取和全局特征信息的整合,下分支网络负责整合不同类别的小样本入侵异物的元特征;轨道入侵异物元特征精准重加权模块负责对多尺度小样本入侵异物特征提取模块中两分支所提取的特征信息进行加权调整,进而提升模型的检测精度和检测鲁棒性;小样本轨道入侵异物检测优化模块通过针对性改进损失函数对检测过程进行优化,使模型快速收敛并进一步提升模型的小样本轨道目标检测性能。1.2 多尺度小样本入侵异物特征提取模块(SEM)多尺度小样本入侵异物特征提取模块由上下两分支网络组成,查询集和支持集分别作为二者的输入。上分支多尺度轨道入侵异物特征提取网络 CNNU由残差模块、SPPF 和 FPN 多尺度特征融合网络组成,如图 2 所示。以 416416 大小的输入图像 Iq Rhwm为例,该图像首先经步长为 1 的 33 卷积进行维度扩张,然后经多个残差网络模块提取丰富的高级语义信息并完成图像下采样,目的是提升模型的特征提取能力并避免梯度消 第 1 期赵宗扬 等:基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究241 图 1 小样本轨道入侵异物检测模型(FRL-Net)整体构架Fig.1 Overall framework of few-shot railway obstacle detection model(FRL-Net)图 2 上分支多尺度轨道入侵异物特征提取网络Fig.2 Up-branch multi-scale railway obstacle feature extraction network失带来的不利影响。然后,上述特征信息经 SPPF 模块中 3 个大小为 55 的 Maxpooling 层进一步提取后进行拼接,实现全局信息和局部信息的特征融合。最后,使用多尺度特征融合结构 FPN 自底向上充分利用和融合不同尺度的高级语义信息,得到大中小 3 个尺度的轨道入侵异物特征信息。上分支网络所提取到的多尺度特征 Fm可表示为:Fm=U(IQ)Rhmwmcm(1)其中,U()为上分支多尺度特征提取网络,m 1,2,3 代表不同的特征尺度,hm、wm和 cm代表对应特征图的长宽和通道数。下分支网络的输入是支持集图像及其对应的掩码(mask)信息。在模型进行特征提取的过程中,轨道环境背景的复杂性会对视觉特征匮乏的小样本轨道入侵异物造成较大干扰,为使得小样本检测算法能更精准的提取轨道入侵异物的特征信息,本文设计了一种掩码操作,在RGB 通道后再加入一个掩码通道,目的是在轨道背景中区分出入侵异物。如图 3 所示,在掩码通道中入侵异物出现位置边界框及内部的值为 1,其他位置的值为 0。将支持集图像和对应的掩码标注通道拼接后作为下分支网络 CNNL的输入,能够在提供目标检测所需要的类别信息和位置信息,实现了小样本轨道入侵异物类别和位置的准确指定。图 3 掩码操作Fig.3 Mask operation下分支不同类别多尺度轨道入侵异物元特征建模网络的结构示意图如图 4 所示,主要由卷积层、池化层和全局最大池化层组成。支持集图像及其掩码输入网络后,由卷积和最大池化层进行特征提取和下采样,目的是获得与上分支网络相同的 3 个不同尺度的输出特征图。上242 仪 器 仪 表 学 报第 4 5 卷述特征图再经全局最大池化转化为对应尺度的元特征,以指导模型识别不同类别的多尺度轨道入侵异物。图 4 下分支不同类别多尺度轨道入侵异物元特征建模网络Fig.4 Lower branch network of different types multi-scale railway obstacles meta-feature本文提出多尺度小样本入侵异物特征提取模块以充分提取不同尺度轨道入侵异物的特征信息和不同类别小样本目标的元特征,进而实现高鲁棒性多尺度小样本轨道入侵异物检测。1.3 轨道入侵异物元特征精准重加权模块(PRM)轨道入侵异物元特征精准重加权模块负责重新加权某类别轨道入侵异物的元特征并突出显示更重要的相关特征。每类轨道入侵异物的元特征来自于多尺度小样本入侵异物特征提取模块下分支网络所生成的重加权向量,输入图像的特征信息经该元特征优化调整后再进行小样本目标检测。对于 N-way K-shot 小样本轨道入侵异物检测任务(共有N类目标,每类目标含K张相关图像数据样本),支持集 S 可具体定义为ISik,MSik,i=1,N,k=1,K,则第 i 类目标的第 k 个样本的元特征向量 vmik生成过程可表示为:vmik=L(ISMS)(2)其中,L()为 SEM 下分支不同类别多尺度轨道入侵异物元特征建模网络,m 1,2,3 代表不同的特征尺度,IS和 MS分别代表支持集图像及对应掩码。第 i 类小样本轨道入侵异物的类元特征向量原型 mi用以描述该类的代表性语义信息,计算方式为该类别异物所有样本对应的元特征 vmik的均值,如式(3)所示。mi=1Kk=1Kvmik(3)受 FSRW17和 FSODM22等研究的启发,本文所使用的轨道入侵异物元特征精准重加权模块通过全局元特征对多尺度轨道入侵异物特征信息进行优化的过程如图 5 所示。图 5 轨道入侵异物元特征精准重加权模块(PRM)Fig.5 Precise weighting module for the meta features of railway obstacles(PRM)在该过程中,3 个尺度的特征信息都会得到相应的优化,目的是针对性突出显示对于不同尺度轨道入侵异物检测相关性更高的特征信息,进而提高模型的小样本目标检测能力。元特征优化过程如下:Fmi=Fm mi Fm,i=1,2,N(4)其中,m=1,2,3 代表不同的特征尺度。表示逐通道相乘,通过上述计算能够在突出模型对于有利于轨道入侵异物的高级语义信息的同时,保持模型的检测鲁棒性,提升模型的小样本目标识别性能。轨道入侵异物元特征精准重加权模块能够利用不同种类轨道入侵异物的全局元特征对输入图像中多尺度目标特征进行重加权和优化,突出与多尺度轨道入侵异物分类和定位相关性较大的特征,有利于提升模型的小样本多尺度轨道入侵异物检测精度和鲁棒性,尤其是小目标检测能力。1.4 小样本轨道入侵异物检测优化模块(FPM)在样本稀缺、视觉特征匮乏的小样本轨道入侵异物检测任务中,损失函数的设计与模型的性能密切相关。小样本轨道入侵异物检测优化模块中的损失函数由小样本入侵异物分类损失函数 Lcls、置信度损失函数 Lconf和位置回归损失函数 Lreg组成。其中回归损失函数 Lreg采用CIOU 损失函数30,分类损失函数的计算公式为:Lcls=-S2i=0Bj=0IobjijCc=1 pji(c)log(pji(c)-(1-pji(c)log(1-pji(c)(5)第 1 期赵宗扬 等:基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究243 其中,S2为网格总数,B 为每个网格的锚框数,pji(c)和 pji(c)分别代表第 i 个网格中第 j 个锚框中预测框和真实框的概率值。代表正样本增强系数,由于小样本轨道入侵异物检测任务中正样本视觉特征的稀缺性,使用该增强系数有利于加快模型收敛并提高模型的检测精度。置信度损失函数的计算公式为:Lconf=-S2i=0Bj=0IobjijCilog(Cji)+(1-Cji)log(1-Cji)-noobjS2i=0Bj=0IobjijCjilog(Cji)+(1-Cji)log(1-Cji)(6)若第 i 个网格的第 j 个锚框中存在目标则 Iobjij=1,否则为 0。Cji和Cji分别代表真实框和预测框的置信度得分,noobj为权重系数。此外,不同尺寸的锚框在训练过程中不断优化迭代,最后完成对轨道入侵异物的分类与回归,如图 6 所示。图 6 目标框回归预测图Fig.6 Object box regression prediction小样本检测网络中每个网格对应 3 个不同尺寸的锚框,每个锚框学习 tx、ty、tw、th和 po 5 个参数,分别代表中心点和目标框长宽等偏移量,回归计算过程为:bx=(tx)+cxby=(ty)+cybw=pwetwbh=phethp0=Pr(object)IOU(bounding,predict)(7)其中,pw和 ph代表参与预测锚框的宽和高。cx和 cy代表目 标 中 心 点 所 在 网 格 处 左 上 角 的 坐 标。为Sigmoid 激 活 函 数,目 的 是 进 行 数 值 的 归 一 化。IOU(bounding,predict)为真实边界框和预测框的重合度,数值越高代表位置预测的越准确。p0代表轨道入侵异物 位 置 回 归 的 精 准 度,若 单 元 格 中 包 含 目 标 则Pr(object)=1,反之为 0;轨道入侵异物的分类通过Softmax 实现,计算过程如式(8)所示。Pi=eciNj=1ecj(8)其中,ci(i=1,2,n)代表检测框对每个目标类别的预测值,Pi为对于第i类轨道入侵异物最终的分类分数且Ni=1Pi=1。本文所提出的小样本轨道入侵异物检测优化模块充分的利用了轨道入侵异物元特征精准重加权模块中所优化的多尺度目标特征信息,使得模型在加速收敛的同时能够更精准的对轨道入侵异物进行分类和回归,进而进一步提高了小样本多尺度轨道入侵异物检测模型的检测精度和检测鲁棒性。2 实验结果与分析 为评估高鲁棒性多尺度小样本轨道入侵异物检测模型的有效性,本文在实际轨道数据集上进行了实验和测试。训练服务器的 CPU 型号为 Intel i7-6950X 并配有4 块 NVIDIA GTX 1080TI 型号的 GPU 显卡,每块显卡的运行内存为 11 G。服务器中的系统为 Ubuntu 18.04.5,固态和机械硬盘的容量分别为512 GB 和4 TB,能够满足模型的高性能计算需求。本文所使用的深度学习框架和编程语言分别为 Pytorch 1.9.0 和 Python3.7。2.1 数据采集与检测任务划分 为评估小样本检测模型在实际轨道场景中的检测性能,我们在实际轨道场景中进行图像采集,并精选出 210 张涵盖多种场景和轨道目标的图像构建小样本轨道入侵异物数据库,该数据库的部分示例如图 7 所示。图 7 小样本轨道数据库图像示例Fig.7 Image examples of few-shot railway dataset244 仪 器 仪 表 学 报第 4 5 卷本文将收集到的图像中的轨道入侵异物分为 7 个类别:列 车(bullet train)、行 人(pedestrian)、直 行 轨 道(railway straight)、左转 轨 道(railway left)、右 转 轨 道(railway right)、头盔(helmet)和扳手(spanner)。小样本目标检测的任务为 N-way K-shot,由于轨道入侵异物的类别数为 7,故本文的检测任务为 7-way K-shot,K 1,2,3,5,10,30。2.2 模型性能评价指标和参数设计 本文选择涵盖多类目标、样本数量丰富的 PASCAL VOC 作为基类训练的数据集,使用包含 7 类轨道入侵异物共 210 张数据样本的小样本数据库作为模型微调阶段的数据集,模型的评价指标为不同类别的检测精度(AP)以及平均检测精度(mAP),基类训练和新类微调过程皆在高性能 GPU 显卡上进行。模型采用随机梯度下降法SGD 进行优化,在基类训练过程中初始学习率为 0.02,模型最大迭代次数为 350 轮;模型微调阶段初始学习率为 0.01,最大迭代次数为 100 轮,动量为 0.937,权重衰减系数为 0.000 5,batch size 设定为 16,非极大值抑制值域(NMS)设定为 0.4,目标检测置信度值域设定为 0.35。2.3 实验结果分析 本文将 FRL-Net 与小样本目标检测领域广为使用的多个经典模型进行对比,实验结果如表 1 所示,最优和次优结果分别由加粗黑体和斜体标记。表 1 不同 shot 任务中模型检测结果对比Table 1 Comparison of model detection results in different shot tasks%模型/shot12351030FSCE1424.926.326.636.343.262.3TFA1321.223.825.228.134.139.7Meta-RCNN1820.722.426.027.632.937.4MPSR1627.138.052.451.961.275.7FSRW1746.355.458.761.769.978.6CME2143.956.858.563.567.279.3FRL-Net(本文模型)47.558.760.363.872.681.8 实验结果表明 FRL-Net 在不同 shot 小样本目标检测任务中都取得了最高的检测精度,展现了强大的小样本多尺度轨道入侵异物检测能力。TFA 和 Meta-RCNN 的平均检测精度过低,无法精准检测轨道目标。与上述模型相比,FSCE 和 MPSR 具有更好的小样本检测能力,但二者的检测精度与 FRL-Net 相比有着较大差距。FSRW 和 CME 的检测效果较好,次优结果均在二者间产生,但该模型的检测精度仍落后于 FRL-Net。在 1-shot 的小样本轨道入侵异物检测任务中,FRL-Net 的平均检测精度为 47.5%,比 FSRW 高出1.2%。随着训练样本数量的增加,FRL-Net 的检测优势依然存在且在 30-shot 的情况下更加明显,展现了元学习和多尺度特征融合结构所带来的优越鲁棒性。在 30-shot 的小样本轨道入侵异物检测任务中,FRL-Net 的平均检测精度为 81.8%,比次优结果提高了 2.5%。结果表明,本文所提出的小样本检测模型在 7-way K-shot 轨道入侵异物检测任务中都取得了最高的检测精度,检测性能最优。如图 8 所示,本文对上述模型的检测结果进行了可视化,横轴表示不同 shot 的小样本检测任务,训练数据样本的数量从左到右依次增加,纵轴代表平均检测精度(mAP)。可视化结果表明,FRL-Net 在不同的 shot 的检测任务中均取得了最高的检测精度。Meta-RCNN 和 TFA 的检测精度较低。尽管 MPSR 的检测能力有所提高,但随着训练样本数的增加(3-shot 到 5-shot),模型从的检测精度却有所下降,无法保证鲁棒有效的检测小样本轨道入侵异物。FSRW 和 CME 的检测结果与 FRL-Net最为相近但仍存在一定差距,且该差距随着样本数的增加呈上升趋势。在 10-shot 和 30shot 小样本轨道入侵异物检测任务中,FRL-Net 的 平均检测精度分别为 72.6%和 81.8%,比次优结果分别高出 2.7%和 2.5%。综上所述,FRL-Net 在不同 shot 设置的小样本轨道入侵异物检测任务中的检测性能最优,其多尺度特征融合策略能保证对小样本轨道目标精准有效地进行检测。图 8 模型检测结果可视化Fig.8 Visualization of model test results为更好的展示所提模型对于不同尺度轨道入侵异物的检测精度,本文将各模型对 7-way 30-shot 小样本轨道入侵异物检测任务对于每类目标的检测精度和平均检测精度进行对比分析,如表 2 所示。实验结果表明,除右转轨道取得次优结果外,FRL-Net 在各类轨道入侵异物检测中均取得最优结果,对于小样本多尺度轨道目标的检测能力具有明显优势,尤其是小目标轨道入侵异物。TFA 和 Meta-RCNN 的检测精度过低,FSCE 和二者相比虽有所提高,但相较于其他模 第 1 期赵宗扬 等:基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究245 表 2 7-way 30-shot 检测任务各类模型性能对比Table 2 Performance comparison of various models for 7-way 30-shot detection task%目标类别/模型FSCETFAMeta-RCNNMPSRFSRWCMEFRL-Net(本文模型)列车65.750.348.278.286.485.988.3行人63.642.940.872.685.283.687.2直行轨道70.255.053.687.086.585.488.9左转轨道58.445.236.357.660.764.368.7右转轨道66.336.443.775.071.872.072.4安全帽60.830.527.979.580.283.685.9扳手51.117.621.380.579.480.381.2平均精度62.339.737.475.778.679.381.8型的小样本检测性能仍差距较大。MPSR 在右转轨道目标检测上取得了最高精度,但该模型对于其他目标的检测精度均低于 FRL-Net,无法精准鲁棒地检测其他目标。FSRW 和 CME 表现出了不错的小样本轨道目标检测性能,次优检测结果多为二者取得,但上述模型的小目标轨道入侵异物检测精度较低。对于安全帽和扳手两类小目标轨道入侵异物,FRL-Net 的检测精度为85.9%和 81.2%,分别比次优结果高了 2.3%和 0.7%,实现了更精准的小样本小目标轨道入侵异物检测。综上所述,本文所提出的模型取得了最优的小样本轨道目标检测性能,能够精准鲁棒地检测多尺度轨道入侵异物,尤其是对于小目标轨道入侵异物的检测性能有明显提升。图 9 展示了不同模型在小样本轨道交通数据集上的检测结果。从左到右,每一列分别代表原始图像、FSCE检测结果、FSRW 检测结果和本文所提出模型 FRL-Net的检测结果。每一行代表某类轨道典型场景。其中,第1 行展示的列车在实际空旷轨道环境运行过程中对动态轨道入侵异物的检测结果。可视化结果表明 FSCE 对右侧的直行轨道和远处的列车漏检,相比之下 FSRW 和FRL-Net 都能够检测出当前轨道场景中存在的目标,但FRL-Net 对多个目标的检测精度更高,尤其是对于右转轨道的置信度为 90.8%,对不同方向轨道的检测性能更为优越。第 2 行展示了模型对不同距离的多尺度轨道入侵异物的检测结果,FSCE 无法检测出行人目标,FSRW 能够检测出图像右侧的行人,但对远处的行人目标存在误识别现象。相比之下,FRL-Net 能够鲁棒地对多尺度目标入侵异物进行分类和回归,展现了检测优化模块对目标优良的定位性能。此外,该模型能以较高的精度识别远处的小目标行人,对视觉特征匮乏的小目标入侵异物检测性能更好,验证了多尺度融合策略对于小样本目标检测性能提升的有效性。第 3 行选取轨道交通场景中的室内运检环境,该场景存在小目标安全帽和扳手,FSCE 无法检测出这两个小目标入侵异物,FSRW 能够对安全帽进行识别但对扳手漏检。相比之下,FRL-Net 能够很好的对小目标进行识别,对安全帽和扳手的检测置信度分别为 85.1%和 73.1%,在实际轨道场景中对多尺度目标的检测能力更强。第 4行选取雾天行车环境作为模型的输入,该环境中能见度条件较差且远方的列车视觉特征较为模糊,为小样本目标检测任务带来巨大挑战。FSCE 对轨道和远处的列车均存在漏检现象,检测精度和检测鲁棒性较差。FSRW 能够识别出当前图像中大多数目标,但仍存在漏检现象。相比之下,FRL-Net 能够精准的检测出不同类别的入侵异物,尤其是对远处视觉信息模糊列车的检测性能优越,展现出了良好的检测鲁棒性。上述模型检测结果的可视化和分析表明,本文所提出的小样本目标检测模型能够很好的检测多尺度轨道入侵异物,尤其是小目标检测能力较强,即便是在目标体积较小、视觉特征模糊、尺度变化大和行车环境复杂的轨道场景中仍能保持精准鲁棒的多尺度轨道入侵异物检测能力。2.4 不同环境下的鲁棒性检验 为进一步验证本文所提出小样本多尺度轨道入侵异物检测模型的高鲁棒性,本文展示了模型在隧道、夜晚、雨天和高亮度等不同实际复杂轨道环境中的检测结果,如图 10 所示。图 10(a)为隧道行车场景,虽然光照环境较暗但FRL-Net 能够精确的对轨道方向和位置进行分类和回归;图 10(b)为夜间行车的检测结果,即便环境的轨道存在反光现象而 FRL-Net 能够以 95.8%的高置信度对其进行识别,进一步证明了本文所提出小样本目标检测模型的高鲁棒性;图 10(c)为雨天,实验结果表明 FRL-Net 仍旧能准确的检测出前方轨道朝向;图 10(d)为高亮度环境的检测结果,该环境能见度较差且轨道存在反光现象,而 FRL-Net 能够精准有效的对其进行检测。鲁棒性实验246 仪 器 仪 表 学 报第 4 5 卷 图 9 小样本目标检测模型检测结果对比Fig.9 Comparison of detection results about few-shot object detection models图 10 鲁棒性检测结果可视化Fig.10 Visualization of robustness test results表明,本文所提出的小样本多尺度轨道入侵异物检测模型能够精准鲁棒地检测轨道目标,即便是在复杂的实际轨道场景中也能保持较高的检测鲁棒性。2.5 消融实验对比结果 为验证多尺度小样本入侵异物特征提取模块(SEM)、轨道入侵异物元特征精准重加权模块(PRM)和小样本轨道入侵异物检测优化模块(FPM)等结构的有效性,本文设计了多组消融实验并进行对比分析,如表 3 所示。FSRW 不含上述 3 个模块,其检测结果作为基线对比标准;PF-Net 由轨道入侵异物元特征精准重加权模块和小样本轨道入侵异物检测优化模块组成,目的是验证小样本入侵异物特征提取模块对多尺度目标特征提取的有效性;SF-Net 由多尺度小样本入侵异物特征提取模块和小样本轨道入侵异物检测优化模块组成,以阐述轨道入侵异物元特征精准重加权模块对小样本目标元特征优化的有效性;SP-Net 由小样本入侵异物特征提取模块和轨道入侵异物元特征精准重加权模块组成,以小样本轨道入侵异物检测优化模块对模型检测精度提升的有效性。首先,本文将 PF-Net 中的特征提取模块替换为 SEM模块。与 PF-Net 相比,FRL-Net 对于各类轨道入侵异物的检测精度都有较为明显的提升,尤其是对小目标安全 第 1 期赵宗扬 等:基于 FRL-Net 的高鲁棒性多尺度小样本轨道入侵异物检测方法研究247 表 3 消融实验结果对比Table 3 Comparison of ablation experiment results子模块名称FSRWPF-NetSF-NetSP-NetFRL-Net(本文模型)SEM-PRM-FPM-列车/%86.487.487.887.688.3行人/%85.286.285.586.887.2直行轨道/%86.587.387.488.588.9左转轨道/%60.764.566.868.268.7右转轨道/%71.871.473.171.972.4安全帽/%80.282.585.384.685.9扳手/%79.478.680.480.881.2平均精度/%78.679.780.981.281.8帽和扳手的检测精度分别上升了 3.4%和 2.6%,更利于小样本多尺度轨道入侵异物特别是视觉特征匮乏的小目标入侵异物检测;然后,将 PRM 模块替换至 SF-Net 中,虽然对右转轨道的检测精度略有降低,但 FRL-Net 对其他类别入侵异物的检测精度皆有提升,该实验结果充分说明了小样本轨道入侵异物元特征重加权模块的有效性;最后,本文使用 FPM 模块对 SP-Net 进行优化,实验结果表明 FPM 对各类轨道目标的优化效果较为明显,使得平均检测精度提升了 0.6%,且对安全帽和扳手的检测精度分别提升了 1.3%和 0.4%,更利于轨道场景中的小样本入侵异物检测。总之,FRL-Net 在绝大多数小样本轨道入侵异物类别中都取得了最好的检测结果,尤其是对安全帽、扳手等小目标的检测精度分别比 FSRW 提升了5.7%和 1.8%,在实际场景中对于多尺度轨道入侵异物的检测性能更好。3 结 论 针对基于广义深度学习的目标检测方法过于依赖训练样本的数量,但发生重大交通事故的样本难以采集、现有的小样本目标检测方法对多尺度轨道入侵异物识别能力弱且在复杂轨道环境中的检测鲁棒性差等问题,本文提出了一种高鲁棒性小样本轨道入侵异物检测模型,具体贡献如下:1)本文提出了一种高鲁棒性多尺度小样本轨道入侵异物检测模型 FRL-Net,打破了基于广义深度学习目标检测算法依赖于大数据驱动训练的技术壁垒,能够在较少训练样本数量的限制下高鲁棒性检测实际轨道环境中的多尺度轨道入侵异物。2)本文所提出的小样本检测模型在 7-way K-shot 的小样本轨道入侵异物检