基于BERT-BiLSTM-CRF模型的开关柜设备运维实体抽取方法研究.pdf

收稿日期:2 0 2 2 1 0 1 1作者简介:路士杰(1 9 9 5-),男,助理工程师,主要从事电气设备在线监测与故障诊断工作。基金项目:国网河北能源技术服务有限公司科技项目(T S S 2 0 2 1 1 3)。基于B E R T-B i L S TM-C R F模型的开关柜设备运维实体抽取方法研究路士杰1,2,庞先海1,2,董 驰1,2,顾朝敏1,2,郑宝良3(1.国网河北能源技术服务有限公司,河北 石家庄 0 5 0 4 0 0;2.国网河北省电力有限公司电力科学研究院,河北 石家庄 0 5 0 0 2 1;3.科畅电气有限公司,河北 保定 0 7 2 5 5 8)摘要:开关柜设备的检修过程繁琐,需要人工手持设备对其进行检测,效率低下。为了提高开关柜设备的运维工作效率,本文将实体抽取技术运用于开关柜设备运维。首先将知网作为语料库爬取相关文献,然后对爬取的文献进行标注和分类,选择了三种实体抽取模型:使用训练集和验证集对模型进行训练和验证、使用测试集对模型的抽取能力进行测试并计算相关评价指标,最后对三种不同的实体抽取模型进行了比较,结果表明,采用B E R T预训练模型的关注上下文信息的B E R T-B i L S TM-C R F模型F 1分数最高,可达到9 7.2 4,与B i L S TM-C R F模型和HMM模型相比分别提高了1.1 3和3.1 5。关键词:开关柜;智能运维;实体抽取中图分类号:TM 7 3;T P 3 9 1.1 文献标志码:B 文章编号:1 0 0 1 9 8 9 8(2 0 2 3)0 3 0 0 8 5 0 5RR ee ss ee aa rr cc hhoo nnEE xx tt rr aa cc tt ii oo nnMM ee tt hh oo ddoo ffSS ww ii tt cc hhCC aa bb ii nn ee ttEE qq uu ii pp mm ee nn ttOO pp ee rr aa tt ii oo nnaa nn ddMM aa ii nn tt ee nn aa nn cc eeEE nn tt ii tt yyBB aa ss ee ddoo nnBB EE RR TT-BB ii LL SS TTMM-CC RR FFMM oo dd ee llL US h i j i e1,2,P ANGX i a n h a i1,2,D ONGC h i1,2,GUC h a o m i n1,2,Z HE NGB a o l i a n g3(1.S t a t eG r i dH e b e iE n e r g yT e c h n o l o g yS e r v i c eC o.,L t d.,S h i j i a z h u a n g0 5 0 4 0 0,C h i n a;2.S t a t eG r i dH e b e iE l e c t r i cP o w e rR e s e a r c hI n s t i t u t e,S h j i a z h u a n g0 5 0 0 2 1,C h i n a;3.K e c h a n gE l e c t r i cC o.,B a o d i n g0 7 2 5 5 8,C h i n a)AA bb ss tt rr aa cc tt:T h es w i t c hc a b i n e t p l a y s a n i m p o r t a n t r o l e i n t h ep o w e r s y s t e m.H o w e v e r,t h em a i n t e n a n c ep r o c e s so f t h e s w i t c hc a b i-n e t i so f t e nt e d i o u s,a n dr e q u i r e sm a n u a lh a n d h e l dd e v i c e sf o rd e t e c t i o n,i s i n e f f i c i e n t.T h et r o u b l e s h o o t i n gw o r ka l s op u t sf o r-w a r dah i g h e ra b i l i t yr e q u i r e m e n t f o rt h eo p e r a t i o na n dm a i n t e n a n c ep e r s o n n e l.I no r d e rt oi m p r o v et h ee f f i c i e n c yo fo p e r a t i o na n dm a i n t e n a n c eo f s w i t c hc a b i n e t,t h i sp a p e r s t u d i e s t h e a p p l i c a t i o no f e n t i t ye x t r a c t i o n t e c h n o l o g y t o t h eo p e r a t i o na n dm a i n t e-n a n c eo f s w i t c hc a b i n e t.T h i sp a p e rf i r s tu s e sC NK Ia st h ec o r p u st oc r a w lr e l e v a n td o c u m e n t s,t h e nl a b e l sa n dc l a s s i f i e st h ec r a w l e dd o c u m e n t s,s e l e c t s t h r e ee n t i t ye x t r a c t i o nm o d e l s,u s e s t h e t r a i n i n gs e tv e r i f i c a t i o ns e t t ot r a i na n dv e r i f yt h em o d e l,u-s e s t h e t e s t s e t t o t e s t t h em o d e l s e x t r a c t i o na b i l i t y,c a l c u l a t e s r e l e v a n t e v a l u a t i o n i n d i c a t o r s,a n dc o m p a r e s t h r e ed i f f e r e n t e n t i t ye x t r a c t i o nm o d e l s,T h eB E R T-B i L S TM-C R Fm o d e l,w h i c ha d o p t s t h eB E R Tp r e t r a i n i n gm o d e l a n dc a n f o c u so nc o n t e x t i n f o r-m a t i o n,h a s t h eh i g h e s tF 1s c o r e,r e a c h i n g9 7.2 4,w h i c hi s1.1 3a n d3.1 5h i g h e r t h a nB i L S TM-C R Fm o d e l a n dHMM m o d e l r e-s p e c t i v e l y.KK ee yyww oo rr dd ss:s w i t c hc a b i n e t;i n t e l l i g e n to p e r a t i o na n dm a i n t e n a n c e;e n t i t ye x t r a c t i o n0 引言开关柜作为一种电气设备,能够开合、控制和保护用电设备,在电力系统发电、输电、配电和电能转换的过程中扮演着重要的角色。开关柜检修过程复杂,缺少在线监测系统,往往需要人工手持设备检测,效率低下且智能化程度低。倘若变电站运维人员对开关柜设备缺少技术性把握,维护和管理的经验不够丰富,在设备出现问题时没有及时处理,会导致危害的扩大,因此需要采用更为58V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月方便智能的运维手段来提高变电站开关柜设备的运维效率12。随着电网规模的不断扩大,电力系统的知识量呈现爆炸式增长。为了有效抽取、管理和利用海量知识,需要将更高效快速的技术引入电力领域。命名实体识别(N a m e dE n t i t yR e c o g n i t i o n,N E R)又称实体抽取,是指识别文本中具有特定含义的专有名词,一般分为通用和特定两大类34。文献5 为提升对电力系统故障文本的分析处理速度,提出了一种基于预训练与多任务学习的电力故障文本信息自动抽取模型;文献6 阐述了电力领域知识的中文专业词典和实体抽取的实现分析方法;文献7 阐明了将实体抽取应用于电网调度领域的解决思路和关键技术。但是,以上研究,大部分对实体抽取技术在电力系统中的应用尚处于理论分析阶段,并没有将实体抽取技术运用于具体的电气设备中81 1。针对现有研究的不足,本文将针对实体抽取技术,采用多种深度学习模型,对开关柜设备运维进行实体抽取,分析不同模型的抽取准确度。1 知识图谱实体抽取算法1.1 基于B E R T的预训练模型B E R T模型主要由双向T r a n s f o r m e r的e n-c o d e r结构组成,利用M a s k预训练任务学习t o-k e n的上下文语义信息,并利用下一句预测任务学习句子顺序特征信息。B E R T预训练模型结构如图1所示。B E R T模型对输入的句子进行处理,加入分隔符,如“开关柜内部产生电弧时,能量转换”将被B E R T层转化为“C L S 开关柜内部产生电弧时,S E P 能量转换”,其中C L S 作为第一个句子的开头,放在首位,而S E P 标志则用来区分前后两个输入的句子。然后再将其转化为3个向量:T o k e nEm b e d d i n g s、S e g m e n tEm b e d d i n g s和P o s i t i o nEm b e d d i n g s。T o k e nEm b e d d i n g s是将输入的字划分为一组有限的公共子词单元,即注意分隔符的位置;S e g m e n tEm b e d d i n g s用于区别两个句子,给予两个句子不同的标记;P o s i t i o nEm b e d d i n g s是对一个句子内各个字的位置顺序进行编码1 21 3。处理示意如图2所示。然后,再将处理后的向量输入至下一层中。1.2 基于B E R T-B i L S TM-C R F模型的实体抽取模型1.2.1 B i L S TM神经网络图1 B E R T预训练模型结构图2 B E R T层输入转化为向量示意 知识图谱的实体抽取是典型的文本序列标注,循环神经网 络(R e c u r r e n tN e u r a lN e t w o r k,R NN)是随着时间的推移,可以重复发生的特殊神经网络结构,它可以模拟人类学习的记忆特性。如图3所示,可以将R NN网络以时间序列展开成一条链状网络。箭头右边的网络中,x0为初始时刻R NN网络的输入,h0为输出,A为隐藏层,其中保存着初始时刻的网络神经元的状态,即下一隐藏层的状态还包含着上一隐藏层的状态,并以此类推至t时刻。图3 R N N的环形结构及其展开示意虽然R NN网络可以有效地解决序列标注任务问题,但其并不能很好地处理长距离依赖问题,而长短期记忆网络(L o n gS h o r t-T e r m M e m o r y,L S TM)作为一种时间循环神经网络,引入了门限制机制,可以有效地对历史信息进行过滤,解决该问题。在双 向 长 短 时 记 忆 网 络(B i d i r e c t i o n a lL o n gS h o r t-T e r m M e m o r y,B i L S TM)模型中,采用了前向和后向两个L S TM层,分别收集对象文本的上下文信息,两者连接着同一个输出层,如图4所示。B i L S TM模型可以兼顾上下文信息,自动提取句子特征,获得较R NN网络更好的结果1 41 5。68V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月图4 B i L S T M模型结构1.2.2 B i L S TM-C R F模型架构B i L S TM-C R F模型是由双向L S TM和条件随机场C R F组成的模型,是命名实体抽取任务中常用的模型,其模型结构可分为输入层、隐含层和标注层,如图5所示。图5 B i L S T M-C R F模型结构输入层由“输入”和“查找层”组成。首先将输入的每个句子分解成每个字词,再使用W o r d 2 V e c训练 模 型 将 每 个 字 词 映 射 为 每 个 向 量。使 用W o r d 2 V e c方法可以将文本的分布式表示与字词间的含义联系起来,消除词语鸿沟现象,且很多工作1 6表明使用预先训练好的词向量较随机嵌入方法能使神经网络的收敛速度更快,模型的准确度和召回度都能有较大的提升。B i L S TM网络作为隐含层,自动识别获取句子特征。经查找层对文本数据的处理,文本将转化为字向量序列(x1,x2,xn)并输入到B i L S TM网络中。其中,输入向量的顺序序列将作为前向L S TM层的输入,而输入 向量的逆序 序列将作为 后向L S TM层的输入。在对语义信息进行建模并提取文本特征表达后,将前向和后向L S TM层的输出进行拼接,作为隐含层的输出1 7。条 件 随 机 场(C o n d i t i o n a lR a n d o m F i e l d s,C R F)层作为标注层,进行语句序列标注。C R F是概率无向图模型,它解决了长期依赖和标注偏置问题1 8,其路径得分公式如下S(X,Y)=ni=0Ayi,yi+1+ni=0Pi,yi(1)式中:X为输入的序列,X=(x1,x2,xn);Y为将要输出的标签序列,Y=y1,y2,yn;Ai,j为概率转移矩阵中第i个标签转移到第j个标签的概率;Pi,j为X被标记为第j个标签的概率;输入的序列是X=(x1,x2,xn)经隐含层处理后输出概率矩阵Pnk,其中k是标签的个数(本文k=4)。使用动态规划算法找出得分最高的路径y*作为最优路径进行序列标注。y*=a r g m a xS(X,Y)(2)经过标注层后,B i L S TM-C R F将直接输出实体预测标签。1.2.3 B E R T-B i L S TM-C R F模型架构B i L S TM-C R F模 型使 用 了W o r d 2 V e c的 方法进行了词嵌入操作,但这种操作文本序列的解析是静态的。而对于B E R T-B i L S TM-C R F模型,在B i L S TM-C R F模型前加入B E R T层。B E R T层对输入数据进行预训练处理,可以通过无监督方式学习,保存深层的特征信息,从而具有更好的泛化能力。结合了B E R T模型的预训练优势,使得B E R T-B i L S TM-C R F模型理论上进行实体抽取将得到更为准确的结果,B E R T-B i L S TM-C R F模型结构如图6所示1 92 1。图6 B E R T-B i L S T M-C R F模型结构1.3 实验方法与流程本实 验 选 择 知 网 文 献 作 为 语 料 库,使 用B E R T-B i L S TM-C R F模型对开关柜设备运维进行实体抽取,并与隐马尔可夫模型(H i d d e nM a r k-o vM o d e l,HMM)和B i L S TM-C R F模型的抽取结果进行对比,实验流程如图7所示。首先在知网上爬取开关柜设备运维相关文献,然后对爬取的文本采用“B I O E S”文本标注方法进行标注,接着将文本划分为训练集、验证集和测试集。78V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月语料库处理完毕后,先使用训练集对实体抽取模型进行训练,再使用验证集对训练结果进行验证,验证无误后使用测试集对模型进行测试,并计算相关评价指标对实验结果进行评估与比较。图7 实验流程2 实验结果2.1 识别实体设置与评价指标2.1.1 语料库的获取与识别实体设置采用爬虫程序,输入搜索关键词“电力”、“开关柜”、“运维”后,在知网上爬取文献。实验采取层次抽样的方法构建了训练集、验证集和测试集,数据划分情况如表1所示。表1 训练集、验证集、测试集字数设置 个 总字数训练集验证集测试集17 1 28 5 210 1 32 9 82 3 98 4 64 5 97 0 8 在标注数据集中设置了4种实体类型,分别是:开关柜、B J、G Z、YW。开关柜是指开关柜设备,如“开关柜”、“开关柜设备”;B J是指开关柜的故障部件,如“主控开关”、“分控开关”、“仪表”等;G Z是指开关柜发生的故障类型;YW是指开关柜发生故障后对应的变电站运维方案。2.1.2 评价指标使用准确率(A c c u r a c y)、精确率(P r e c i s i o n)、召回率(R e c a l l)和综合评价(F-M e a s u r e)作为评价指标。各指标计算公式如下:Ac c u r a c y=TP+TNTP+TN+FP+FN(3)Pr e c i s i o n=TPTP+FP(4)Re c a l l=TPTP+FN(5)式中:TP为正确预测需要关注的实体数;TN为正确预测不需要关注的实体数;FN为错误预测需要关注的实体(漏报)的数;FP为错误预测不需要关注的实体(误报)的数。F分数是统计学中用来衡量二分类模型精确度的一种指标,他同时兼顾了精确率和召回率,可以看做是精确率和召回率的一种调和平均,表示为F=2+1()Pr e c i s i o nRe c a l l2Pr e c i s i o n+Re c a l l()(6)式中:为加权系数,其值0。本文使用了F 1作为评价指标,于是取=1,有F 1=2*Pr e c i s i o n*Re c a l lPr e c i s i o n+Re c a l l(7)2.2 实验环境与结果分析 本文实验是基于P y T o r c h进行搭建的,环境配置见表2。表2 实验环境配置实验环境配置参数操作系统W i n d o w s1 1编程语言P y t h o n3.6.9深度学习库P y T o r c h1.1 0.3C P UI n t e l(R)C o r e(TM)i 7-1 0 7 5 0 HC P U 2.6 0 GH zG P UNV I D I AG e F o r c eR T X 3 0 9 0 不同模型下的实验结果如表3所示。表3 各模型实验结果模型准确率/%精确率/%召回率/%F 1分数HMM9 6.3 49 5.9 89 2.5 39 4.0 9B i L S TM-C R F9 7.4 99 6.7 69 7.0 89 6.0 1B E R T-B i L S TM-C R F9 8.6 49 7.7 39 6.5 69 7.2 4 由表3可以看到,采用B E R T-B i L S TM-C R F模型进行实体抽取的效果最好,F 1分数可以达到9 7.2 4,B i L S TM-C R F模型效果又优于HMM模型。根据HMM模型结构和实验结果分析得到,在HMM模型中,对文本序列标注的识别判断依赖于他本身的状态和文本序列对象,但是文本序列的标注不仅仅与待观察的文本序列对象有关,还与观察序列的长度、上下文相关。对 于B i L-S TM-C R F模型,其模型中的B i L S TM网络中存在前向L S TM与后向L S TM层,用于识别待观察文本序列的上下文,以更准确地进行预测,因此其实验得到的F 1分数要高于HMM模型。B i L S TM-C R F模型在获取词向量时采用的是e m b e d d i n g层的训练,方式比较简单,而B E R T-B i L-S TM-C R F模型则综合了B E R T模型的优点,即具有很强的动态词向量获取能力,能获取更好的词向量用于模型的训练和预测2 22 4,所以B E R T-B i L-S TM-C R F模型的实验结果F 1分数最高。88V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月3 结论针对变电站开关柜运维对人员的技术性要求较高,而且维护管理难度较其他变电主设备难度更大的问题2 52 7,本文结合3种不同模型,使用深度学习方法,对开关柜运维进行了实体抽取,主要结论如下。1)B i L S TM网络能够关注待识别序列上下文含义,B E R T网络能够对输入词向量进行预训练处理,而B E R T-B i L S TM-C R F模型结合了以上网络的优势,可以有效提高实体抽取的准确率,其F 1分数要分别高于B i L S TM-C R F和HMM模型1.2 3和3.1 5。2)使用实体抽取技术可以从信息量庞大的互联网快速提取需要的最新变电站开关柜运维方案,并有较高的抽取准确度,三种模型的抽取准确度均在9 6%以上。3)实体抽取所具有的强大的数据挖掘能力,使其在电力领域具有广阔的发展空间和应用前景。参考文献:1 孙 源,宋颜峰,王昊天,等.开关柜局部放电超声-T E V融合检测技术J/O L.高电压技术:1 82 0 2 2 0 9 2 9.D O I:1 0.1 3 3 3 6/j.1 0 0 3 6 5 2 0.h v e.2 0 2 2 1 3 8 6.2 潘长明,刘 刚,熊 炬,等.高压开关柜绝缘事故的分析及防范措施J.高压电器,2 0 1 1,4 7(7):9 0 9 3.3 WAN GF,WAN GS,T AN GQ,e t a l.S t u d yo n t h eC o n s t r u c-t i o n M e t h o do f R e q u i r e m e n t K n o w l e d g e A t l a s B a s e do nG r a p hN e u r a lN e t w o r kC/2 0 2 1I E E E4 t hI n t e r n a t i o n a lC o n f e r e n c eo nI n f o r m a t i o nS y s t e m sa n d C o m p u t e r A i d e dE d u c a t i o n.P i s c a t a w a y,N J:I C I S C A E,2 0 2 1:5 2 3 5 2 8.4 D I N GK,HA NH,L IL,e t a l.R e s e a r c ho nQ u e s t i o nA n s w e r i n gS y s t e mf o rC O V I D-1 9B a s e do nK n o w l e d g eG r a p hC/2 0 2 14 0 t hC h i n e s eC o n t r o lC o n f e r e n c e.C h i n a,2 0 2 1:4 6 5 9 4 6 6 4.5 纪 鑫,武同心,余 婷,等.基于多任务学习的电力文本信息抽取J/O L.北京航空航天大学学报:1 1 12 0 2 2 1 12 7.D O I:1 0.1 3 7 0 0/j.b h.1 0 0 1 5 9 6 5.2 0 2 2.0 6 8 3.6 刘 津,杜 宁,徐 菁,等.知识图谱在电力领域的应用与研究J.电力信息与通信技术,2 0 2 0,1 8(1):6 0 6 6.7 乔 骥,王新迎,闵 睿,等.面向电网调度故障处理的知识图谱框架与关键技术初探J.中国电机工程学报,2 0 2 0,4 0(1 8):5 8 3 7 5 8 4 9.8 徐增林,盛泳潘,贺丽荣,等.知识图谱技术综述J.电子科技大学学报,2 0 1 6,4 5(4):5 8 9 6 0 6.9 蒲天骄,谈元鹏,彭国政,等.电力领域知识图谱的构建与应用J.电网技术,2 0 2 1,4 5(6):2 0 8 0 2 0 9 1.1 0 高海翔,苗 璐,刘嘉宁,等.知识图谱及其在电力系统中的应用研究综述J.广东电力,2 0 2 0,3 3(9):6 6 7 6.1 1 李 刚,李银强,王洪涛,等.电力设备健康管理知识图谱:基本概念、关 键 技 术 及 研 究 进 展 J.电 力 系 统 自 动 化,2 0 2 2,4 6(3):1 1 3.1 2 GUV E NZ.A.C o m p a r i s o no fB E R T M o d e l sa n d M a c h i n eL e a r n i n g M e t h o d sf o r S e n t i m e n t A n a l y s i s o n T u r k i s hT w e e t sC/2 0 2 16 t hI n t e r n a t i o n a lC o n f e r e n c eo nC o m-p u t e rS c i e n c ea n d E n g i n e e r i n g.T u k e y:I E E E,2 0 2 1:9 81 0 1.1 3 HUS,Z HAN GH,HUX,e t a l.C h i n e s eN a m e dE n t i t yR e c-o g n i t i o nb a s e do n B E R T-C R F M o d e lC/2 0 2 2I E E E/A C I S2 2 n dI n t e r n a t i o n a lC o n f e r e n c eo nC o m p u t e ra n dI n-f o r m a t i o nS c i e n c e.I C I S,Z h u H a i:I E E E 2 0 2 2:1 0 5 1 0 8.1 4 翟社平,段宏宇,李兆兆.基于B I L S TM_C R F的知识图谱实体抽取方法J.计算机应用与软件,2 0 1 9,3 6(5):2 6 9 2 7 4,2 8 0.1 5 顾 溢.基于B i L S TM-C R F的复杂中文命名实体识别研究D.南京:南京大学,2 0 1 9.1 6 HON GP,L E A C.A C o m p a r a t i v eS t u d yo fN e u r a lN e t-w o r k M o d e l sf o rS e n t e n c e C l a s s i f i c a t i o nC/2 0 1 85 t hNA F O S T E DC o n f e r e n c e o n I n f o r m a t i o na n dC o m p u t e r S c i-e n c e.N I C S,V i e t n a m:I E E E2 0 1 8:3 6 0 3 6 5.1 7 李超凡,马 凯.基于词嵌入结合B i L S TM-C R F模型的病历实体识别J.中国数字医学,2 0 2 2,1 7(4):3 2 3 7.1 8 陈 琛,刘小云,方玉华.融合注意力机制的电子病历命名实体识别J.计算机技术与发展,2 0 2 0,3 0(1 0):2 1 6 2 2 0.1 9 Z HE N GC,WAN GZ,H eJ.B E R T-B a s e d M i x e dQ u e s t i o nA n s w e r i n gM a t c h i n g M o d e lC/2 0 2 21 1 t hI n t e r n a t i o n a lC o n f e r e n c eo fI n f o r m a t i o na n dC o mm u n i c a t i o nT e c h n o l o-g y,W uH a n:I E E E2 0 2 2:3 5 5 3 5 8.2 0 L I UX,GLHE R S C HI.K h a l i l a n dM.D e v a r a k o n d a.C l i n i-c a lT r i a lI n f o r m a t i o n E x t r a c t i o n w i t h B E R TC/2 0 2 1I E E E9 t hI n t e r n a t i o n a lC o n f e r e n c eo n H e a l t h c a r eI n f o r-m a t i c s I C H I.NY:I E E E2 0 2 1:5 0 5 5 0 6.2 1 G E H,Z HE NGS,WAN G Q.B a s e dB E R T-B i L S TM-A T TM o d e lo f C o mm o d i t y C o mm e n t a r y o n T h e E m o t i o n a lT e n d e n c y A n a l y s i s 1C/2 0 2 1I E E E 4 t hI n t e r n a t i o n a lC o n f e r e n c eo n B i g D a t aa n d A r t i f i c i a lI n t e l l i g e n c e.NYI E E E2 0 2 1:1 3 0 1 3 3.2 2 王 瑶,顾 磊.基于B E R T+B i L S TM+C R F模型与新预处理方法的古籍自动标点J.软件导刊,2 0 2 2,2 1(9):7 1 3.2 3 邓庆康,李晓林.采用B E R T-B i L S TM-C R F模型的中文位置语义解析J.软件导刊,2 0 2 2,2 1(2):3 7 4 2.2 4 WAN GY,S UNY,MAZ,e ta l.A p p l i c a t i o no fP r e-t r a i n i n gM o d e l s i nN a m e dE n t i t yR e c o g n i t i o nC/2 0 2 01 2 t h I n t e r-n a t i o n a lC o n f e r e n c eo nI n t e l l i g e n t H u m a n-M a c h i n eS y s-t e m sa n dC y b e r n e t i c s.H a n gZ h o u:I E E E2 0 2 0:2 3 2 6.2 5 芮杨武,王小华,荣命哲,等.基于红外测温技术的高压电力设备温度在线监测传感器的研究J.中国电机工程学报,2 0 0 2(9):1 1 4 1 1 8.2 6 刘文松,胡竹青,张锦辉,等.基于文本特征增强的电力命名实体识别J.电力系统自动化,2 0 2 2,4 6(2 1):1 3 4 1 4 2.2 7 陈业明,戴 齐,刘 捷.融合字位置特征的铁路事故命名实体识别J/O L.计算机系统应用:1 92 0 2 2 1 1 2 8.D O I:1 0.1 5 8 8 8/j.c n k i.c s a.0 0 8 8 6 0.本文责任编辑:秦明娟98V o l.4 2N o.3 河北电力技术 第4 2卷 第3期J u n.2 0 2 3 HE B E IE L E C T R I CP OWE R 2 0 2 3年6月