基于BMBC模型的高速铁路道岔故障信息实体识别_林海香.pdf

第 20 卷 第 4 期2023 年 4 月铁道科学与工程学报Journal of Railway Science and EngineeringVolume 20 Number 4April 2023基于BMBC模型的高速铁路道岔故障信息实体识别林海香1，白万胜1，陆人杰2，卢冉1，赵正祥1，李新琴3(1.兰州交通大学 自动化与电气工程学院，甘肃 兰州 730070；2.卡斯柯信号有限公司，上海 200071；3.中国铁道科学研究院集团有限公司 电子计算技术研究所，北京 100081)摘要：随着铁路信号设备故障文本的不断积累，亟待构建集故障信息、专业知识、技术规则及其内在关联于一体的铁路信号设备故障知识图谱，为铁路运营及设备维修提供全面高效的辅助策略。故障信息实体识别是构建铁路信号设备故障知识图谱的核心。以高速道岔故障文本为基础，并针对此文本挖掘过程中使用传统方法导致知识获取不够全面以及文本语义稀疏等问题，提出一种用于高速道岔故障信息实体识别任务的BMBC多层级模型。首先，通过分析高速道岔故障文本的结构特征，从中提取出故障现象、故障定位和故障致因等7类实体；其次，利用BERT预训练模型的迁移特性构建双向词表征并嵌入位置信息，引入多头注意力机制(MHA)使关键特征信息得到重点关注，随后依靠双向长短期记忆网络(BiLSTM)进行特征信息融合，从而充分获取全局语义信息以及更好表达序列间的长距离依赖关系；最后，依托条件随机场(CRF)赋予标签约束条件，从而获得最佳识别结果。以各铁路局近 5 年的高速铁路道岔故障文本为基础进行实验，实验结果表明，BMBC模型能够精确识别各类故障信息实体，有效缓解实体边界不清晰问题，模型识别精确率、召回率和F1值分别可达91.43%，93.15%和92.31%。实验完成后进行案例识别测试，证明所构建的BMBC多层级道岔故障信息实体识别模型具有良好的识别性能。关键词：道岔；故障文本；迁移学习；命名实体识别；BMBC多层级模型中图分类号：U284 文献标志码：A 开放科学(资源服务)标识码(OSID)文章编号：1672-7029（2023）04-1149-11Named entity recognition of fault information of high-speed railway turnout from BMBC modelLIN Haixiang1,BAI Wansheng1,LU Renjie2,LU Ran1,ZHAO Zhengxiang1,LI Xinqin3(1.School of Automation and Electrical Engineering,Lanzhou Jiaotong University,Lanzhou 730070,China;2.CASCO Signal Ltd.,Shanghai 200071,China;3.Institute of Computing Technology,China Academy of Railway Sciences Corporation Limited,Beijing 100081,China)Abstract:With the continuous accumulation of fault texts of railway signal equipment,it is urgent to build a fault knowledge graph of railway signal equipment integrating fault information,professional knowledge,technical 收稿日期：2022-04-01基金项目：中国铁道科学研究院集团有限公司科研项目(2021YJ184)通信作者：林海香(1977)，女，甘肃天水人，副教授，博士，从事交通信息数据挖掘研究；E-mail：DOI:10.19713/ki.43-1423/u.T20220637铁 道 科 学 与 工 程 学 报2023 年 4月rules,and their intrinsic correlations.It can provide a comprehensive and efficient auxiliary strategy for railway operation and equipment maintenance.The named entity recognition of fault information is the core of constructing fault knowledge graph of railway signal equipment.Based on the fault texts of high-speed turnout,a BMBC multi-level model for fault information entity recognition task for high-speed turnout was proposed to address the problems of incomplete knowledge acquisition and sparse semantics of fault texts caused by using traditional methods in the texts mining process.First,seven types of entities including fault phenomenon,fault location,and fault reason were extracted from it by analyzing the structural features of fault text of high-speed turnout.Second,BERT pre-training model based on transfer learning was used to build bidirectional word representations and embed location information.The multi-headed attention mechanism(MHA)was introduced to focus on information of key feature,and then fuse feature information with bi-directional long and short-term memory network(BiLSTM).It fully obtained the feature information of training data and better expressed long-distance dependencies between sequences.Finally,the conditional random field(CRF)was utilized to assign labeling constraints and obtain the best results of entity recognition.Experiments were carried out based on the fault text of high-speed railway turnout of various railway bureaus in the past 5 years.The results indicate that the BMBC model can accurately identify various types of fault information entities and effectively alleviate the problem of unclear entity boundaries.The precision,recall and F1 value of the model can reach 91.43%,93.15%,and 92.31%,respectively.After the experiments were completed,the case identification test was carried out and proved that the constructed BMBC multi-level turnout fault information entity identification model has good identification performance.Key words:turnout;fault text;transfer learning;named entity recognition;multilevel model of BMBC 高速铁路道岔作为高速列车平稳安全运行的关键设备1，相较于普通铁路道岔具有容错率低、维修难度大、成本高等特点。经过多年来的运营维修，高速道岔设备积累了大量的故障数据2，这些道岔故障数据采用非结构化的文本记录形式，作为之后故障查找、诊断以及维修的先验知识储备。但非结构化的高速道岔文本数据存在计算机处理不便、人工分析耗时长、故障信息挖掘不全面等缺陷。道岔故障关键信息的精准获取是实现故障快速维修的基础，而现行的道岔故障领域研究多为故障诊断及粗略故障定位35，当设备发生故障时，维修人员需要根据具体情况以及相关手册去判断故障原因，维修较为低效。命名实体识别6(Named Entity Recognition,NER)是信息抽取、知识图谱等领域的核心环节，旨在从复杂的结构化、非结构化和半结构化数据中抽取特定类型的实体，如人名、地名、组织机构名等并对这些具有特定意义的实体进行归类。命名实体识别起初用于研究如何从自然文本中对公司名称进行定位提取7，目前，主要用于专业领域知识数据实体自动归类。因此为实现道岔故障知识数据的高效利用，提高故障维修效率，道岔故障信息实体识别便成为道岔故障领域知识图谱构建的关键环节8。依赖命名实体识别技术，对道岔故障现象、故障元件、维修方法等关键信息自动识别分类，实现故障元件级定位辅助，快速提供维修方案，在很大程度上提高了设备故障维修效率。早期的NER任务主要采用基于规则和词典的方法来完成910，此类方法对于复杂实体的识别效果欠佳，且无法做到实体消歧。随着深度学习的不断发展，这类具有自主学习能力的方法已广泛应用于 NER 领域1113。但上述文献只采用单个神经网络模型无法达到较为理想的识别效果，所以须通过文本语料的自身特点构建多网络融合模型，在发挥各层网络最大优势的同时，又可避免因单网络自身缺点导致整体识别准确度较差的缺陷1416，然而这些网络对已标注的文本数据有很强的依赖性，不适合标注数据欠缺的情况。因此，DEVLIN等17提出基1150第 4 期林海香，等：基于BMBC模型的高速铁路道岔故障信息实体识别于 Transformer 的预训练语言模型 BERT(Bidirectional Encoder Representations from Transformers)，具备在较少标注数据的情形下从无标注文本数据中进行知识学习并迁移到下游任务的能力，故对于标注数据稀缺的道岔故障信息类文本处理尤其适用，同时其多头注意力机制的特性可使关键词向量关系更为紧密。综上，为了解决当前实体抽取模型无法充分适应高速道岔故障领域的实体识别任务和实体边界确定不理想问题，本文提出一种BERT-MHA-BiLSTM-CRF多层级网络模型，简称BMBC模型。该模型在基线模型BiLSTM(Bi-directional Long Short-Term Memory,BiLSTM)与CRF(Conditional Random Field,CRF)基础上融合 BERT与多头注意力机制，利用BERT处理语义稀疏的道岔故障标注数据，在模型参数调整时可持续关注下游任务，并采用多头注意力机制(Multi-Head Attention,MHA)使关键特征信息权重分配更为精确。通过充分发挥各层网络优势，使模型在更新优化适应任务时避免损失太多通用的语言学知识，从而高效处理道岔故障文本，实现高速道岔故障领域的命名实体识别，从而得到最优识别结果。为检验所提模型的可靠性，通过对铁路局近5年的高速道岔故障文本数据进行实验验证。1 数据分析与处理方法1.1道岔文本数据来源本文中所涉及的实验数据为各铁路局辖区内的现场高速铁路道岔故障数据，涵盖了近5年的高速道岔故障文本记录数据，涉及到引发道岔设备工作不良、瘫痪等故障的元件级致因，如断相保护器、表示杆绝缘、转辙机接点组、道岔接地漏流装置、密贴检查器等具体部件的故障描述。1.2道岔故障文本特征分析对高速道岔故障信息进行统计分析，发现在诸多道岔故障描述中，通常先给定故障结果，如“XX站22/24号道岔定位无表示”；其次进行故障原因分析：“上道检查24号道岔芯二锁闭铁和钩头卡阻，定性为电务责任检修不良”。存在于上述故障描述中的实体包含5类：故障现象-24号道岔定位无表示、故障定位芯二+锁闭铁+钩头、故障致因卡阻、维修策略上道检查和故障定性检修不良。通过对超65万字符的高速道岔故障文本语料进行分析统计，道岔故障信息中包含的基础实体有7个类别，各类实体名称、具体数量及其分布如表1所示。虽然高速道岔故障文本是由7类实体组成，但是文本结构形式多样化，需要对此文本数据的结构进行全面剖析，才能够更加准确地识别出每一类实体。考虑到某些涵盖实体类型不全面的文本数据，在进行上下文特征提取时可能与全实体类型的语料有所区别，这就造成了道岔故障文本独特的结构形态，但每一条文本都涵盖了故障现象、故障定位和故障致因这3类固定实体，且位置关系基本保持不变，其他4类基础实体起到辅助作用，在构建实体识别模型时应将该结构考虑在内。尽管在实体识别过程中不能将整条故障文本作为标签来进行训练，但只要将这7类标签输入到训练模型中，在最终的测试阶段能够识别出任意测试集文本所包含的实体以及这些基础实体间的位置关系，即可达到预期的实体识别效果。1.3道岔故障信息实体标注方法在模型训练初期需要完成文本序列标注这一核心步骤，当前NER领域中，运用最为广泛的是BIO(Begin-词头，Inside-词中，Other-其他)标注方法18。由于道岔故障文本由7类基础实体组成，相较于其他普通文本有着鲜明的结构特点，采用基本的 BIO标注方法无法正确标定出道岔专业性实体范畴，因此需要根据道岔故障文本的特有结构设计出一种特定的标注方法。该方法是在BIO标注的基础上进行改进和扩展，基于原有 BIO扩展类别信息，相较于其他序列标注方法所不同的是，这种特定标注方法关照了道岔故障文本的结构与形态，对实体标签类别进行定义，定义后的部分表1道岔故障信息实体类别Table 1Entity type of turnout fault information实体名称故障现象故障定位故障致因维修条件维修策略维修结果故障定性标注标签PHE(Phenomenon)LOC(Location)REA(Reason)CON(Condition)MEA(Measure)RES(Result)QUA(Quality)实体数量2 6855 8322 6851 8462 6851 5392 685字符数量16 23867 98410 6593 67832 1564 61716 110字符占比/%2.410.31.60.54.80.72.41151铁 道 科 学 与 工 程 学 报2023 年 4月标签类型如表2所示。2 道岔故障信息识别模型设计在进行道岔故障信息识别时，需综合考虑位置信息、各类型序列语义特征获取、特征权衡和标签约束等因素。本文构建的BMBC多层级道岔故障信息识别模型如图1所示，由图1可知，道岔故障信息实体识别流程为：首先将标注文本输入到BERT网络，从而获取融合全文语义信息的词向量表征，再由多头注意力机制完成权重分配策略，然后经下游 BiLSTM-CRF网络得到全空间语义表征并解码获得最佳约束性标签。2.1BERT层BERT 作为基于 Transformer 的双向编码器19，在道岔故障文本信息识别中可融合字符、位置和段落向量，兼顾上下文信息的同时，还能在全模型训练前进行字、词单元间关系的提取20。本文面向高速道岔故障文本的BERT模型如图2所示，运用屏蔽语言模型法，将输入中的某些字或词附加MASK标签进行随机掩盖，最终依据语境预测出被遮盖的部分。在处理数据过程中，用标签CLS表示该段文本的起始位置，模型会将整条文本进行句分割，每个句子的结束位置以标签SEP表示，用于产生文本段落和位置信息，从而获得更加完整的文本语义信息2122。2.2MHA-BiLSTM层2.2.1BiLSTM网络通过对道岔故障文本语料进行实体标注时发现同一类型的实体长度差别较大，尤其是在故障致因和维修策略 2个方面，实体最大长度可达 10个中文字符。例如“北京XX场119/121号道岔定、反位无表示。故障自然恢复。夜间天窗点对室内、外设备进行全面检查，更换了室内119号尖DBJ继电器，相关单位责任设备厂家”，其中包含的实体有：故障现象定反位无表示、故障定位室内119号尖DBJ继电器、维修策略全面检查+更换、维修条件天窗点、故障定性设备厂家。由于此处故障定位字符较长，故在本文识别模型中融入LSTM网络来实现道岔故障信息识别任务中的长序列记忆功能23，其基本结构如图3所示。LSTM网络中的遗忘门机制、输入门机制和内部记忆单元分别如式(1)式(3)所示，输出门机制如式(4)和式(5)所示。ft=(Wfht-1,xt+bf)(1)表2部分标签类别定义Table 2Definition of partial label entity标签类别B-PHEI-PHEB-LOCI-LOCB-REAI-REAB-CONI-CON标签含义“故障现象”实体起始字符“故障现象”实体非起始字符“故障定位”实体起始字符“故障定位”实体非起始字符“故障致因”实体起始字符“故障致因”实体非起始字符“维修条件”实体起始字符“维修条件”实体非起始字符图1BMBC多层级道岔故障信息实体识别模型总体架构设计Fig.1Architecture design of BMBC multi-level turnout fault information entity recognition model1152第 4 期林海香，等：基于BMBC模型的高速铁路道岔故障信息实体识别it=(Wiht-1,xt+bi)(2)ct=tanh(WCht-1,xt+bc)(3)ot=(Woht-1,xt+bo)(4)ht=ottanh(ct)(5)式中：xt和ht分别表示t时刻的输入向量和隐含层状态值；W和b分别表示权重系数矩阵和偏置项；和 tanh分别表示 sigmoid激活函数和双曲正切激活函数。但是LSTM存在当前时刻词权重小于后一时刻词权重的缺陷24。为了克服这种权重分配问题，引入正向LSTM与反向LSTM相结合的双向长短期记忆网络BiLSTM来进行本次实体识别任务，既可以解决序列长距离依赖问题，也可以平衡各时刻的权重分配。2.2.2多头注意力机制道岔故障文本表现形式较为口语化，语句长图3LSTM网络结构图Fig.3Structure diagram of LSTM network图2面向道岔故障文本的BERT预训练模型Fig.2BERT pre-training model for fault text of turnout1153铁 道 科 学 与 工 程 学 报2023 年 4月度会随故障的性质及复杂程度而变化，并且在道岔故障文本中存在较多简写词语，如密贴检查器简称为密检器，尖轨第3牵引点简称尖3，芯轨第1牵引点简称芯1等，这些缩略词易造成局部语义欠缺，故单一的BiLSTM模型无法较为完整地捕获道岔故障文本序列的全局信息以及在该条故障描述中字、词单元间的依赖关系，易造成关键信息丢失。为弥补语义缺失的漏洞，用多头注意力机制来进行知识重构学习，优化填充BiLSTM网络的全局特征25，多头注意力机制的宏微观结构如图4所示。注意力机制作为 Transformer架构的支柱，通过权重系数矩阵反映语句中词语间的关联程度并获取词表征26，得到权重差异输出。而多头注意力机制可由多个单头注意力分别表示不同位置的特征子空间，最终汇聚所有注意力单元的表示结果。根据多头注意力机制的微观模型可得公式如下：MultiHead(Q,K,V)=Concat(head1,head2,headn)W0(6)其中，权重参数Q，K和V分别代表查询向量、键向量和值向量，经过W0线性变换得到多头注意力权重。headi=Attention(QWQi,KWKi,VWVi)(7)其中，headi为单头注意力，QWiQ，KWiK和VWiV表示Q，K和V对应不同注意力单元的权重矩阵。2.3CRF层在经过 BERT 模块、MHA-BiLSTM 模块多层处理后得到大量无标签向量，此时需要对这些向量进行序列标注，本文在标签输出后引入条件随机场(CRF)，即可通过相邻故障信息标签之间的关联性求得最优的预测序列，最大程度弥补BiLSTM无法获取相邻标签依赖关系的缺陷27，具体操作是将 BiLSTM 输出的标签序列作为 CRF的输入，并使用CRF中的特征函数对这些无约束标签序列进行概率计算，特征函数公式如下：Y*=argmaxYrYx score(X,Yr)(8)其中，Yr代表已标注序列，Yx为所有标签序列，经维特比算法求得预测标签序列Y*。3 实验分析与应用3.1实验样本集和环境说明在数据集构建环节中，首先选取已在1.1小节中提及的高速道岔故障文本作为实验数据集，再选用MSRA28和Weibo这2个NER公开数据集验证模型的稳定性和识别能力，公开数据集统计信息如表3所示。图4多头注意力机制宏微观结构图Fig.4Macro-micro structure diagram of multi-headed attention mechanism表3 MSRA和Weibo数据集统计Table 3 Data set statistics of MSRA and Weibo数据集MSRAWeibo训练集句子50 70011 700实体74 70029 500验证集句子4 500实体6 000测试集句子4 4004 600实体6 2007 3001154第 4 期林海香，等：基于BMBC模型的高速铁路道岔故障信息实体识别本文实验采用Python编程语言，Pycharm作为Python语言编辑器，Anaconda提供实验所需编程库，模型搭建基于Tensorflow框架。在对模型的性能评估方面，采用准确率、精确率(P)、召回率(R)和F1值等评价指标23。3.2模型参数设定实验为了达到更好的训练水平，设置训练集与测试集的比例为8 2，在实验中加入十折交叉验证方法，以提高BMBC模型泛化能力。在训练参数调整过程中发现迭代轮次epoch这一参数对BMBC模型整体性能有显著影响，图5反映了epoch对应模型损失值与准确率的变化曲线，当epoch数值超过80 时，准确率与损失值均趋于较为理想的水平，对应的模型识别效果也最佳，因此将训练迭代轮次设为80。此外，本模型根据多次试验结果，最终确定BMBC模型中的相关超参数配置如下：BERT词嵌入维度768，最大序列长度设为80，隐藏层维度为500；LSTM隐含层节点256，用Adam优化器进行参数更新，批处理大小为20，学习率取0.001，并在实验中引入Dropout机制防止训练过拟合问题，Dropout值取0.5。结合图5可得，在确定各相关超参数后，模型运行效率与识别结果达到最佳状态，并且在优化过程中利用 Adam 算法得到的更新越多，通过调整合适的Adam参数可以得到模型最合适的更新程度。3.3对比实验分析3.3.1模型综合性能比较实验在BiLSTM，CNN，BERT及其组合网络作为模型编码器的前提下，选择与模型契合度最高的2种分类器Softmax与CRF进行比较，综合不同组合模型的实验结果如表4所示。由表4可知，无论采用何种分类器，在传统的神经网络中，CNN结合 BiLSTM 作为编码器时的识别准确率最高，由于CNN网络的加入，使得道岔故障信息细粒度特征得到充分利用，从而使得精确率和召回率较 CNN-CRF 模型分别提升了4.87%和 9.31%。但随着迁移学习模型 BERT的加(a)损失值变化曲线；(b)准确率变化曲线图5BMBC模型训练曲线Fig.5Training curves of BMBC model表4不同模型的性能实验结果Table 4Experimental results of different combined modelsSoftmax编码器P/%R/%F1/%BiLSTM79.9774.2276.98CNN78.4876.3177.38CNN+BiLSTM83.3585.6284.47BERT86.7188.9487.83BERT+MHA-BiLSTM89.6690.5390.11CRFBiLSTM82.9674.3978.44CNN80.0378.5279.27CNN+BiLSTM84.8884.9284.90BERT89.1490.7289.92BERT+MHA-BiLSTM91.4393.1592.311155铁 道 科 学 与 工 程 学 报2023 年 4月入，F1 值在 CNN-BiLSTM-CRF 的基础上提升了3.36%和 5.64%。由于 Softmax 分类器的加入使得模型评价指标更均衡，故实验选取Softmax作为道岔故障信息实体识别的基准方法。当选择CRF作为分类器时，各模型训练时的准确率变化曲线如图6所示，可见传统模型采用传统单神经网络编码器CNN与BiLSTM时取得的实验效果基本持平，CNN-BiLSTM-CRF与BMBC这2类复合模型相较于同类型单网络编码器模型的识别效果凸显。同样，网络中引入BERT预训练模型后各项指标又有了显著提高，尤其是BMBC模型，在迁移特征信息进行模型训练时，又兼顾了长序列记忆能力，充分展现BERT模型在高速道岔故障文本方面的综合处理能力，依据评价指标证明BMBC模型在道岔故障信息实体识别任务中达到了较高水平。3.3.2不同类别实体识别结果比较实验针对7类高速道岔故障信息实体在不同模型下的识别准确率如表5所示，得出BMBC模型的综合识别准确率为最优，表明该模型可更加准确地识别出道岔故障文本中所包含到的各类实体，BMBC模型在各类别实体中的具体识别表现如图7所示。此对比实验模型均采取CRF作为分类器。由图7可知，故障现象与故障定性2类实体的F1值均在95%左右，主要原因在于这2类实体具有固定的描述形式与明显的边界特征，故障现象多是XX道岔定(反)无表示，故障定性则为设备厂家、检修不良、自然灾害等固定词汇，并且这2类实体的长度适中，故识别效果优异。对于其余类别实体的识别结果较前2类而言有明显下降，由于实体描述形式复杂多样且边界特征模糊，尤其是故障致因这一实体类型，一种故障元件可能对应多种故障，如造成密贴检查器故障的原因有表面结冰、接点不良、密封不良等，并且这5类实体中每种类型在一条故障文本中涵盖的实体可能不止一个，从而造成了实体识别的差异性。3.4消融实验为了探究高速道岔故障信息抽取BMBC模型架构中各部分所起的作用，即进一步研究 BMBC多层级模型中的各组件对整体性能的影响程度，加入了多组消融实验，各部分消融实验步骤如下。1)BiLSTM-CRF：去除BERT与多头注意力机图6各模型识别准确率Fig.6Recognition accuracy of each model表5 各类型实体在不同模型下的识别准确率Table 5 Recognition accuracy of various types of entities under different models实体名称故障现象故障定位故障致因维修条件维修策略维修结果故障定性模型CNN-CRF87.0774.8474.1278.8979.2280.3185.80BiLSTM-CRF89.7373.9777.0278.5683.1082.9386.41CNN-BiLSTM-CRF92.5779.2181.3383.7484.9185.2589.38BERT-CRF96.0583.5584.6288.0188.5791.1196.74BMBC97.5886.3584.9989.6290.1191.2096.53图7BMBC模型下的各类型实体识别结果Fig.7Recognition results of various types of entities of switch fault information under BMBC1156第 4 期林海香，等：基于BMBC模型的高速铁路道岔故障信息实体识别制，由双向 LSTM 网络与 CRF分类器组合作为实验基线模型，BiLSTM获取故障描述语句的语义表征，建立道岔故障文本数据集的上下文语义关系，并进行编码得到向量集合，再通过CRF解码得到最优道岔故障信息实体标签。2)BiLSTM-MHA-CRF：在基线模型的基础上加入多头注意力机制(MHA)模块，使得基线模型更加关注关键特征信息。3)BERT-CRF：在基线模型基础上采用BERT代替BiLSTM作为模型编码器，加入迁移学习模型BERT使某些易遗漏信息迁移到全局信息中，使得模型优化参数达到较为理想的水平。4)多层级模型 BMBC：作为本文所提出的实验模型，将前 3个分块实验模型进行融合，在用BiLSTM网络提取道岔故障文本全局特征的同时，用 BERT 进行特征信息迁移，多头注意力机制对BiLSTM进行细节特征填充，最后通过解码得到最佳实体标签。考虑到道岔故障文本表达多样性对模型消融实验的影响，将道岔故障数据集按年份分为5个小数据集，进行4个模型的性能对比，实验结果如表6所示。由表6可知，BiLSTM-CRF模型在5个数据集上的准确率和 F1 值均不及另外 3 个模型。BiLSTM-Att-CRF 在 Att 的加持下，其平均准确率较BiLSTM-CRF模型提高了1.86%，但与BMBC模型相比仍存在差距，BMBC的准确率与F1值较BiLSTM-Att-CRF分别提升了5.40%和6.33%，识别效果改善明显，表明虽然道岔故障文本结构与上下文特征对故障信息实体识别有利，但道岔专业知识概念的影响也应考虑在内。对于DataSet1，DataSet2，DataSet3 和 DataSet5 数据集，BERT-CRF模型性能要弱于 BMBC，虽然 BMBC的综合准确率提升了1.26%，但在数据集DataSet4上的BMBC准确率却下降0.13%，这和数据集自身的诸多特点有较大关系，在数据集DataSet2上二者的性能较为接近，表明DataSet2数据集的文本形式结构较为标准，实体类型辨识度较高，体现出专业文本结构以及基于知识背景的全局特征信息对于模型的影响是不容忽视的。综上，在 BMBC 模型中，由于 BiLSTM 与多头注意力机制的有效融合，使得BERT网络的迁移能力得到更出色发挥，在缺少BERT的情况下，注意力机制发挥了作用，但也不能忽略数据集等其他因素影响。3.5案例测试为了使本文提出的模型得到初步应用，构建了高速道岔故障信息实体识别系统，作为未来铁路信号设备故障知识图谱的基础分支。该系统能表6 消融实验结果Table 6 Results of ablation experiment%模型BiLSTM-CRFBiLSTM-Att-CRFBERT-CRFBMBCDataSet1准确率84.0386.9890.0792.24F182.2884.6189.8592.65DataSet2准确率84.5285.1490.9891.10F182.3385.9291.8091.49DataSet3准确率83.6484.1288.9391.98F181.9784.0389.7692.52DataSet4准确率84.1286.7591.3291.19F182.0986.8191.6792.06DataSet5准确率84.2086.7989.1490.23F182.4587.7490.9792.02图8系统识别结果展示Fig.8Display of result of system identification1157铁 道 科 学 与 工 程 学 报2023 年 4月够对除本文测试集之外的其他道岔故障文本进行识别，以沪宁高铁道岔故障为例进行系统识别测试，系统识别结果如图8所示。在图8中可以反映出各类实体的识别结果较为规范，尤其对于边界较为模糊的故障定位与故障致因2类实体实现精准识别，并且在“2号(1/18 S700K)道岔反位无表示”一句中识别出2种嵌套实体，表明该系统可有效应对各种道岔故障信息识别问题。4 结论1)针对高速道岔故障文本结构特征独特、实体类型众多且组成复杂等问题，提出一种基于迁移学习的 BMBC 多层级道岔故障信息识别模型，其中BERT在道岔故障文本中发挥出强大的迁移能力，可有效利用上游历史信息促进下游任务的实现，多头注意力机制可克制BiLSTM的关键信息不突出问题，在学习全局信息时能够充分获取词间关系紧密程度，而CRF作为模型分类器，能更好地给予标签约束条件，最终从道岔故障文本中提取出最佳实体。2)以各铁路局实际高速道岔故障文本数据为基础，通过充分的对比实验和消融实验，证明此模型可适用于高速道岔设备领域的命名实体识别任务，模型 F1 值为 92.31%，相较于 CNN-BiLSTM-CRF 与 BERT-CRF 模型分别提升了 7.41%和2.39%，经案例测试，验证了该识别方法的有效性。3)虽然该模型可有效提升高速道岔故障信息实体的整体识别性能，但对故障致因、故障定位等边界模糊的实体识别仍不够理想，后续需研究一种可有效解决因边界模糊而导致识别不到位的方法。参考文献：1林瑜筠,谭丽,涂序跃.高速铁路信号技术M.北京:中国铁道出版社,2012.LIN Yujun,TAN Li,TU Xuyue.High speed railway signal technologyM.Beijing:China Railway Press,2012.2GUO Zijian,WAN Yiming,YE Hao.An unsupervised fault-detection method for railway turnoutsJ.IEEE Transactions on Instrumentation and Measurement,2020,69(11):88818901.3林海香,陆人杰,卢冉,等.基于文本挖掘的铁路信号设备故障自动分类方法J.云南大学学报(自然科学版),2022,44(2):281289.LIN Haixiang,LU Renjie,LU Ran,et al.Automatic classification method of railway signal fault based on text miningJ.Journal of Yunnan University(Natural Sciences Edition),2022,44(2):281289.4林海香,李阳庆.面向高速铁路道岔的隐患分析与故障定位改进J.铁道科学与工程学报,2018,15(9):22172223.LIN Haixiang,LI Yangqing.Hidden-security-risk analysis and fault location improvement for high-