融合知识增强的ERNIE与神经网络的中文医疗关系提取.pdf

Journal of SouthtwesMinzuUniversity(NaturalScienceEdition)Vol.50No.1第50 卷第1期2024年1月Jan.2024西南民族大自然科学版）doi:10.11920/xnmdzk.2024.01.011融合知识增强的ERNIE与神经网络的中文医疗关系提取李卫榜，余文浩，杨茂（西南民族大学计算机系统国家民委重点实验室，四川成都6 10 0 41）摘要：基于深度学习的方法在关系提取中通常只侧重于细粒度文本单元的表示，导致学习文本特征不足.提出了一种融合知识增强的ERNIE模型与神经网络相结合的方式去进行关系提取.该方法分为两个部分：首先通过知识增强来对文本向量化，具体是将细粒度文本单元与粗粒度文本单元进行加权平均的操作使其达到知识增强的效果，再将该单元进行预测后的结果进行RTD判断有无替代词产生.最后将文本特征向量输入到BiLSTM网络中，使其得到词的上下文语义信息，并进行句子序列打分，选择分数最高的即可.实验结果表明，该方法在进行关系提取时，得到准确率为95%，精确率为91%，召回率为92%,fl-score为92%，与已有的方法进行对比，均提升了5%以上，因此提出的方法效果明显。关键词：知识增强；关系提取；神经网络；自然语言处理中图分类号：TP183;TP391.1文献标志码：A文章编号：2 0 95-42 7 1(2 0 2 4)0 1-0 0 93-0 8Fusion of knowledge-enhanced ERNIE and bidirectional RNNfor Chinese medical relationship extractionLI Wei-bang,SHE Wen-hao,YANG Mao(The Key Laboratory for Computer Systems of National Ethnic Affairs Commission,Southwest Minzu University,Chengdu 610041,China)Abstract:Deep learning-based methods in relation extraction usually focus only on the representation of fine-grained text units,resulting in insufficient learned text features.A combination of ERNIE model fused with knowledge enhancement and neural net-work was proposed to perform relationship extraction.The method was divided into two parts:firstly,the text was vectorizedthrough knowledge enhancement,specifically,the fine-grained text unit and the coarse-grained text unit they were operated byweighted average to achieve the effect of knowledge enhancement,and then the unit was predicted to be the result of RTD to de-termine whether there was any alternative word generated.Finally,the text feature vectors were fed into the BiLSTM network toget the contextual semantic information of the words,and the sentence sequence was scored and the one with the highest scorewas selected.The experimental results showed that the method obtained an accuracy rate of 95%,a precision rate of 91%,a re-call rate of 92%,and an fl-score of 92%for relationship extraction,which were all improved by more than 5%when comparedwith the existing methods,so the method proposed in this paper was effective.Keywords:knowledge-enhance;relationship extraction;neural network;natural language processing随着社会进步以及科学技术的发展，生活中便有了大量的杂乱数据，这些数据给信息的提取带来不收稿日期：2 0 2 3-0 7-12作者简介：李卫榜（197 9-），男，河南周口人，讲师，博士，研究方向：大数据管理、数据质量、分布式计算.E-mail：w b l i 2 0 0 3 16 3.c o m基金项目：西南民族大学中央高校基本科研业务费专项资金国家级项目培育项目（ZYN2023008）；四川省社会科学研究规划项目(SC20B127)94第50 卷西南民族大自然科学版）便.新冠疫情的发生，导致医疗领域的信息量大大增加.这些信息大多数形成了非结构化的数据.对于这些非结构化的数据，用户查找有用的信息时便显得很无力1.然而信息抽取技术正是这种情况下出现的，目的是能自动的从大规模的数据中抽取有用的信息，然后将其信息进行存储，方便用户查看.随着知识图谱的出现以及发展，信息抽取技术也被广泛的应用于知识图谱的构建中.关系提取是通过自动识别实体之间的语义联系，构建多实体相互之间的连接，成为实现新知识图谱构建或已有知识图谱扩充和更新的重要基石2.面对医疗文本数据,其中多包含着大量医疗实体及其实体之间丰富的语义关系，如治疗疾病方式、疾病诊断、注意事项等信息量大、专业性强的内容3，因此抽取难度大大增加.1相关工作知识增强中的知识的定义是对某领域的认识，而认识是具有某些能力去解决特定的目的.知识分为四大类，分别是事实性知识、概念性知识、程序性知识和元认知知识.这四类知识各有主要的目的用途，例如事实性知识是对客观事实的定义；概念性知识是对特定领域的理论术语的理解等；程序性知识是针对程序所使用的算法、领域等技术的研究；元认知知识是针对自我认知能力的了解.然而这些知识从表现形式上分，又可分为显性知识和隐性知识目前知识图谱这一类通过三元组和语法树等方式表现的知识，就是显性知识.其他的具有高度个人化且具有难以规范化的特点的就为隐性知识.面对自然语言处理技术的发展，关系提取的实质还是关系分类，确定实体之间的类别4.关系分类主要是分为三个阶段：基于规则的关系提取、基于机器学习的关系提取、基于深度神经网络的关系提取.基于规则的关系提取是通过手写规则来匹配文本，实现关系的提取5.有触发词、依存关系的规则.虽人工手写规则有高准确度，可以针对特定的领域，在小的特定数据集下容易实现，但它具有低召回率，人工手写规则需要特定专家进行构建，耗时费力，并且在后期难以维护.基于机器学习的关系提取，对于数据的标注与否，有监督学习、半监督学习以及无监督学习.基于特征向量和基于核函数的是最为常见的监督学习，通过该监督方式可以预测测试数据的关系类型.但这种监督学习的方法不适合开放性领域进行.而半监督学习对数据进行少量标注，在条件不足的情况下可提高模型的泛化能力.但监督和半监督在构建数据集时，便要对数据的关系进行明确的定义，这就造成了大量的资源浪费.而无监督模型需要大规模的语料库作为支持，从而尽可能地挖掘关系模式集，但该无监督方法最常见为对于关联名称不太清楚时，得到的评价指标却不太理想。随着人工智能的发展和学校、公司各大团队的研究，关系提取在深度神经网络中取得了较好的效果.最早出现的卷积神经网络CNN、神经网络RNN以及相关的LSTM的变体GRU网络，针对机器学习中出现的问题,这些网络模型在一定程度上解决了特征不明显、评价指标低等问题.冯贤鹤6 在2 0 19年提出的基于长短期记忆神经网络（LSTM)的实体关系抽取研究中表明该方法可以有效的避免传统词向量缺乏语义信息的缺点，但该方法却忽视了上下文信息的提取.李卫疆等7 采用双向长短期记忆网络（BiLSTM)提取句子向量特征，同时结合文本上下文信息达到关系提取的效果.面对专业的医疗领域，罗计根等8 将梯度树与BiLSTM模型结合的方式进行关系提取，取得的实验结果还是相当不错.但以上网络模型结构对人工特征具有很强的依赖性，不仅构建时耗时耗力，而且可能还会出现梯度爆炸等问题，造成训练过拟合，得到的评价指标也不是较优值.Tang等9将Transformer网络结构与神经网络的结构进行对比，神经网络模型提特征有限且获得的语义信息较差，而Transformer网络结构可以采用多层迭代获取更多语义信息，得到了不错的效果.在2019年谷歌公司推出的BERT模型在自然语言处理方面掀起了一片狂热，通过谷歌公司大量训练得到权重信息的预训练模型在实体识别、关系提取任务上取得了更好的成就.谢腾等10 采用BERT模型将文本信息和实体类型特征融合，减少了语义信息特征的丢失.龚汝鑫等4面对医疗领域提出的方法是利用BERT模型进行词嵌人，再通过BiLSTM和注意力机制进行特征处理，取得了以往较好的实验效果.随着预训练模型的发展，出现了较多的变体，目前得到广泛应用的为RoBERTa.朱展东11提出RoBERTa和多期95第李卫榜识增强的ERNIE与神经网络的中文医疗关系提取任务学习的实体关系抽取方法，利用使用RoBERTa对文本进行建模，充分学习文本的上下文语义特征，并引人实体的语义角色标签作为外部特征增强实体的语义信息.郑杜福等12 面对军事文本采用ERNIE模型获取每个词的编码序列，然后通过解码得到的抽取效果优于BERT模型的抽取效果.因此本文融合知识增强的ERNIE网络结构与BiLSTM模型联合进行中文医疗关系抽取，2知识增强的ERNIE-BiLSTM模型面对医疗领域的非结构化数据，采用传统的机器学习，常常伴随着语料库大、准确率低等情况.而采用CNN、R NN的网络模型去进行医疗领域关系提取时，则会导致提取特征不全面、得到的信息较少，训练会造成梯度爆炸等问题.而BERT网络模型中的MLM只关注细粒度文本单元表示，面对粗粒度的语言文本信息却得不到较为理想的结果.因此，本文提出一种知识增强的ERNIE与BiLSTM融合的方法去进行关系的提取，该网络模型可以更好充分考虑实体与实体之间联系，获取到丰富的语义信息，同时通过n-grams集获取粗粒度的语义信息，再联合细粒度语义信息便可获得更多的语义特征.将文本输人到知识增强的ERNIE的模型中,得到输出的句子特征向量，再将特征向量输人到BiLSTM中，使其充分理解上下文信息，最后使用Softmax分类器得到最高概率所对应的类别，进而达到关系提取的作用2.1知识增强的ERNIE模型原理在粗粒度的语言学信息中，进行掩码常用的方法是ERNIE13掩盖命名实体以及短语、BERT-wwm14去掩盖整个中文单词、SpanBERT15掩盖连续的spans.而这些方式都是隐式的整合，得到的效果不太明显.GonenH等16 考虑mbert模型去计算得到额外的n-gram表示，但这种方法存在n-gram的稀疏性和OOV问题.综合比较隐式与显示的方法，因此将ERNIE利用综合MLM掩码以及使用显示n-gram标识序列进行预测，再应用于关系提取任务中。ERNIE是多层Transformer结构的层叠，首先对输入的token进行位置编码，经过自我注意力机制与残差链接进行归一化，再经过多层前馈神经网络得到最终的embedding，再将文本通过匹配n-gram集来链接粗粒度文本信息.而n-gram是一种基于概率判别的统计语言模型17，它的输入是一句话，输出的是这句话的概率.当n=1时,就为MLM中的token.因此对于综合型的掩码来说，具体如下图1所示.OriginalreplaceOriginalOriginalRTDOriginalOriginalX1X2X3X4X5X6X7X8y1X3y4X6X7X8L层TransformerEncoder层TransformerEncoder位置向量12345678123456+输入向量MMX3MMX6X7X8MX3MX6X7X8感冒的症状为发烧感冒的症状为发烧Input：感冒的症状为发烧n-gram集Large-scaletextcorpora图1知识增强模型流程图Fig.1Flow chart of knowledge enhancement model96第50 卷西南民族大自然科学版）当输人的文本为“感冒的症状为发烧”时，经过向量化加入位置向量后，在连续型的MLM中采用M进行掩码.但引人知识增强后，对于输入文本，会在大型语料库中进行n-gram标识，根据计算的分数，选择n-grams集，具体流程如下.其中，ZM表示随机选择掩码后所对应的n-grams序列集，Z/m表示掩码ZM之后的序列.即Zm=(X1:2),X/4:5),Z/M=M,X3,M,X6,X7,X81.对于图1左边，将文本转为向量后，加上位置向量,即X=xl,x2,x3,x4,x5,x6,X7,x8.进行连续型MLM掩码后输人TransformerEncoder层中，经过L层后得到序列向量X=1X1,X2,X3,X4,X5,X6,X7,X8).得到的损失函数训练目标如式子（1)所示.-logPe(ZmI Z/m)=-Z,logPe(XI Z/m).(1)ZEZMXEZ对于图1的右边，通过大型语料库中循环计算分数得到的n-grams集后,将文本转化为序列向量，确定n-grams的开始边界集b=（1,3,4,6,7,8，得到的M对应的n-grams序列集Zm=X1:2,X4,5,通过掩码后的序列为Z/M=（M,X3,M,X6,X7,X8 .再输人到TransformerEncoder后，经过L层之后，得到输出为X=y1,X3,y4,X6,X7,X81.此损失函数的训练目标为式子（2）所示.其中，Z/M是把ym掩码之后的原序列.-logPe(yml Z/m)=-logPe(yl Z/m).(2)yEyM左右两边通过L层TransformerEncoder后，左边的序列X中的X1,X2、X4,X5,分别与右边X中的1y1,y2相连接后，经过加权平均的算法，得到X的序列为yl,x3,y4,x6,x7,x8.其中损失函数如式子(3)所示.-logP(ym.ZmI Z/m)=-log Po(yI Z/m)-yEYMlog P(XI Z/m).(3)ZEZMXEz在这里通过借用Electra18中采用的判别器来对输出的X序列进行判断是否原序列X中的向量是否被替换.2.2BiLSTM模型原理在知识增强的ERNIE网络模型中只考虑了字与字之间的上下文信息以及n-grams集中的有关信息，忽略了文本句子中的词法、句子结构等特征.故没考虑n-garms集中的单个n-gram与句子上下文的关系.故提出BiLSTM网络模型与知识增强的ERNIE进行融合.LSTM的本质是单向长短时记忆单元的循环神经网络，是为了缓解训练时产生的梯度消失问题所得来的.LSTM是由t时刻的输人词,细胞状态,临时细胞状态，遗忘门、隐层状态、记忆门和输出门组成的.遗忘门的计算：f,=o(W,hti,x,+b).(4)记忆门的计算：i,=o(W,ht-1,x,+b,).(5)C,=tanh(We-h.1,x,I+be).(6)C,=f*C.I+i,*C,.(7)输出门的计算：0,=(W。ht-1,x,+b。).(8)h,=o,*tanh(C,).(9)但LSTM只能获取句子上文的信息，对下文的信息无法获取.因此将获取上文的LSTM进行反向获取下文的信息，再将前向的LSTM与反向的LSTM结合就形成了BiLSTM.流程如下图2 所示，HIOHUHI2HI3H14HISLSTMLSTMLSTMLSTMLSTMLSTMY1X3Y4X6X7X8HroHrHr2Hr3Hr4HLSTMLSTMLSTMLSTMLSTMLSTMHOHH2H3H4HS图2BiLSTM流程图Fig.2BiLSTM flow chart97期第李卫榜,等：融合知识增强的ERNIE与神经网络的中文医疗关系提取2.3本文模型的核心算法过程算法：知识增强的ERNIE与BiLSTM融合输人：纯文本数据集中每行文本对应的字X、标签类型label输出：预测文本数据通过算法得到的关系提取结果La).Foriin num_total do/num_total:数据文本中的总行数b).Forjin idoc).Begind).通过词向量使i转化为字向量X.将数据文本j与n-grams集匹配得到词向量Y./n-grams集为大型词汇库e).Endf).Beging).X字向量随机15%的掩码矩阵Y词向量中对应掩码矩阵中的掩码X字向量与Y词向量进行加权平均求和h).Endi）.While(j)j）.if j中 label 存在:k).通过RTD判断原始词汇是否替换，并输出向量X1).Beginm).使向量X得到上下文信息，使用BiLSTM模型通过上述公式计算得到最大概率Pn).Endo.Return P所对应的label类型L3数据集通过“99健康网”上公布的医疗文本数据，将其作为词库进行收集与整理.整理后的数据大多为非结构化形式，因此这些数据都要经过数据预处理后才能作为训练数据以及验证测试数据输人到程序里.数据预处理分为三步：数据清洗、数据准备、数据标注.数据清洗：为了使杂乱无章的原始数据能够符合程序地输人，就需要对以上两种数据集进行数据清洗以及归一化.该原始数据集是一个一个文件夹里面的杂乱的文件格式的文本内容,而文本内容里面的数据通常只有一条或者一个用户的记录,其中包含大量的无用符号，以及特殊的标识符号，经过数据清洗后得到的数据集分为训练集和验证测试集.数据准备：经过数据清洗去除了无用的内容后，数据显得更加清楚明了，而在数据准备阶段是将清洗后的数据进行最大化以及隔开处理，可能清理后的一句话内容太过于长，经过数据准备阶段，将长句用逗号隔开并加上隔开符号，便于程序的识别.数据标注：经过以上两步操作的数据集，还需要进一步进行标注化.例如：“感冒的症状为发烧”，数据标注后的json格式为“ent”：“感冒”，“ent2”：“发烧”，“rel”：“症状”“text”：“感冒的症状为发烧”。经过数据标注后，输人到模型中，可以更好地得到这些文本数据的特征，在测试中可以得到更好的结果.数据样例如表1所示.表1数据样例Table:1Sampledata类别内容Text皮肤鳞状细胞癌对于光动力疗法，应用局部光敏剂，如5-氨基乙酰丙酸，能使原卧啉在接受可见光照后改变.rel：辅助治疗，entl：皮肤鳞状细胞癌，ent2：光动力疗法，text：皮肤鳞状细胞癌对于光动力疗Content法，应用局部光敏剂，如5-氨基乙酰丙酸，能使原卧啉在接受可见光照后改变，4实验4.1评价指标本实验使用精确度P（Pr e c i s i o n）、召回率R（R e-call）、F1（F1-s c o r e）和准确度A（A c c u r a c y）来对本模型做出评价.对于三个评价指标每一个指标而言，都有macro avg和weighted avg.评价指标计算公式如下98第50 卷西南民族大自然科学版所示.P=TP/(TP+FP).(10)R=TP/(TP+FN).(11)F1=(2*P*R)/(P+R).(12)Accuracy=current/total.(13)mi=1macroavg(14)mmsupportweighted avg=a*(15)all_support1其中total表示总共有多少个实体；current表示预测正确的有多少个；TP表示预测为正，实际为正；TN表示预测为负，实际为负；FP表示预测为正，实际为负；FN表示预测为负，实际为正；current表示识别正确的个数；total表示该语料库总共含有的实体个数.macroavg表示对所有类别的平均，如公式（14），其中m表示总共有m个类别，x,表示第i个类别对应的单个指标值.weighted avg表示每个类别样本数量在总样本中占比,如公式(15）.其中a,表示第i个类别对应的指标值,support表示第i类总共的数据有多少条，all_support表示整个数据集中的所有类别总数之和.4.2实验环境本实验使用的硬件设备如下表2 所示.表2 实验环境Table2Experimental environment配置环境GPUGTX3080硬盘500G内存8 CB操作系统Windows10Python3.8pytorch1.94.3模型设置在模型训练过程中,设置emdedding_dim为7 6 8，学习率为0.0 0 1,还设置batch_size=32,hidden_dim=400,max_sequence_length=300,dropout=0.1,lstm_dropout=0.3.同时选取Adam的transformer将其层数设置为12 层.如下表3所示.表3模型参数Table 3Model parameters参数值transformer12emdedding_dim768learn_rate0.001batch_size32hidden_dim400max_sequence_length300dropout0.1Istm_dropout0.34.4实验结果分析本实验是采用知识增强的ERNIE+BiLSTM模型进行迭代，得到各类别实验结果和总体平均值，具体见表4.表4数据集各类别的实验结果Table 4Experimental results for each category of the data set类别PrecisionRecallF1Support辅助治疗0.880.890.89294病因0.980.950.96502并发症0.900.890.90372检查0.930.930.93334同义词0.970.980.98616预防方法0.720.810.7669诊断0.920.940.93245辅助检查0.830.820.8391治疗0.970.970.97879临床表现0.980.970.972194发病部位0.980.990.98212macro avg0.910.920.925808weighted avg0.960.950.955808由于LSTM模型参数比较大，容易出现拟合状态.于是采用动态学习率进行拟合处理。具体方法为将学习率设置为lr=4e*（0.1（e p o c h /3）.当epoch等于3的n倍数时，使原始学习率下调至0.1的n次方再乘以原始的学习率.通过这种方法，巧妙的避免了使训练出现拟合状态.因此下图3为数据集中的训练损失值loss以及验证损失值loss期99第李卫榜识增强的ERNIE与神经网络的中文医疗关系提取随epoch的增大的变化趋势，图4为数据集中的验证损失值loss随epoch的增大的变化趋势，同时也考虑了val-loss值在迭代过程中出现的无变化情况，设置early-stop=5时，让训练停止，可以很好的避免浪费资源.整个迭代过程无异常波动，模型出现较好拟合。train-loss0.4-0.3-0.20.10.0026eopch图3训练loss值随epoch的变化曲线图Fig.3The variation curve of training loss value with epochval-loss0.2070.18-0.160.140.120.10-0.08-123456eopch图4验证loss值随epoch的变化曲线图Fig.4Graph of the variation of the validationloss valuewith epoch考虑到模型的好坏需要与其他模型进行比较才能判断该模型是否好.便将该模型与RNN、BER T、BERT+BiLSTM、R o BER T a-w w m、R o BER T a-w w m +BiLSTM以及ERNIE模型进行对比，如下表5所示.表5模型对比结果表Table 5Model comparison results模型PrecisionRecallF-scoreAccuracyRNN0.770.820.790.78BERT0.840.830.830.90BERT+BiLSTM0.880.870.870.92RoBERTa-wwm0.860.870.870.89RoBERTa-wwm+BiLSTM0.910.850.880.93知识增强的ERNIE0.870.890.880.93本文模型0.910.920.920.95根据表5可知，本文模型对比RNN模型而言，本文模型的准确率Accuracy提升了17%左右，其他三项评价指标提升了10%14%，说明RNN模型出现的梯度爆炸严重影响了该模型的结果.本文模型相对比BERT模型，本文模型的准确率提升了5%，其他三项评价指标提升了7%9%，说明本文模型的网络结构可学到更多的文本特征，达到较好的学习效果.本文模型相对比RoBERTa-wwm模型,本文模型的准确率提升了6%，其他三项评价指标提升了5%左右，说明多层Transformers网络可以使训练学习到更多的特征，但本文模型的网络结构优于RoBERTa-wwm模型.同时知识增强的ERNIE模型比其他模型都有显著的提升，说明知识增强的模型在网络构建上，采用粗细粒度语义文本信息表示能够获得更多以往获取不到特征信息.本文模型相比与BERT+BiLSTM模型，本文模型的准确率提升了3%，其他三项评价指标提升了3%5%，说明知识增强的ernie在语义信息方面比bert原网络模型结构效果更好，获得了语义信息更多.本文模型相比于RoBERTa-wwm+BiLSTM模型，本文模型的准确率提升了2%左右，其他三项评价指标提升了4%7%.说明RoBERTa-wwm+BiLSTM模型在网络训练中,得到的特征只是细粒度语义信息，而本文模型采用粗细粒度语义信息得到粗粒度文本信息，使训练后得到更多的特征向量.本文模型相比于知识增强的ernie模型,本文模型准确率提升了2%，其他三项评价指标提升3%5%，说明本文模型的双向RNN可以利用参数的优势，灵活性强，更加适合提取复杂的文本信息.总体来看，本文模型所得到的医疗文本抽取效果较好.（责任编辑：张阳英文编辑：周序林，郑玉才）100第50 卷西南民族大自然科学版）5结论面对医疗文本中的丰富语义，以往的模型过多关注细粒度语义信息，而本文模型使将粗粒度与细粒度文本信息进行融合，达到知识增强的效果.再将知识增强后的语义信息输入到双向RNN中，使文本信息能够充分理解上下文信息，从而使该混合模型训练得到充分的信息特征.通过在医疗数据集中实验后发现，该方法的准确率达到95%、精确率达到91%，召回率达到92%，fl-score达到92%.与其他模型对比后发现，该方法在三项评价指标上均有明显的提升.同时在单个类别上三项评价指标也取得了不错的效果，而且整个实验过程降低了能耗，同时还提升了训练速度.下一步将考虑该方法应用于非医疗数据集中,是否能取得同样的效果.同时面对医疗文本中的数据，该方法还可以将粗粒度信息与细粒度信息整合的过程进行优化，有望得到更好的效果.参考文献1JXING R,LUO J,SONG T.BioRel:towards large-scale biomedical rela-tion extractionJ.BMC bioinformatics,2020,21(16):1-13.2余文浩,李卫榜.基于ELECTRA与神经网络模型的中文医疗知识图谱实体识别J.西南民族大学（自然科学版），2 0 2 3，49（2）：197-205.3胡佳慧，赵琬清，方安，等.基于医疗大数据的临床文本处理与知识发现方法究J.中国数字医学，2 0 2 0 15（7）：11-13+8 8.4龚汝鑫，余肖生.基于BERT-BILSTM的医疗文本关系提取方法J.计算机技术与发展,2 0 2 2：18 6-192.5乔磊，李存华，仲兆满，等.基于规则的人物信息抽取算法的研究J.南京师大学报：自然科学版，2 0 13,35（4）：134-139.6冯贤鹤.基于LSTM的实体关系抽取研究D.云南昆明：云南财经大学,2 0 19.7李卫疆，李涛,漆芳.基于多特征自注意力BLSTM的中文实体关系抽取J.中文信息学报，2 0 19,33（10）：47-56+7 2.8罗计根,杜建强,聂斌,等.基于双向LSTM和GBDT的中医文本关系抽取模型J.计算机应用研究，2 0 19,36（12）：37 44-37 47.9 TANG G,SENNRICH R,NIVRE J.Understanding neural machinetranslation by simplification:The case of encoder-free models J/OL.arXiv preprint arXiv:1907.08158,2019.10谢腾，杨俊安,刘辉.融合多特征BERT模型的中文实体关系抽取J.计算机系统应用,2 0 2 1,30（5）：2 53-2 6 1.11朱展东.基于RoBERTa和多任务学习的实体关系抽取方法研究D.广东广州：华南理工大学,2 0 2 0.12 郑杜福，黄蔚，任祥辉。一种基于ERNIE 的军事文本实体关系抽取模型J.信息技术,2 0 2 1：38 43.13 JSUN Y,WANG S,LI Y,et al.Ernie:Enhanced representation throughknowledge integration J/OLJ.arXiv preprint arXiv:1904.09223,2019.14JCUI Y,CHE W,LIU T,et al.Pre-training with whole word masking forchinese bert J.IEEE/ACM Transactions on Audio,Speech,and Lan-guage Processing,2021,29:3504-3514.15 JJOSHI M,CHEN D,LIU Y,et al.Spanbert:Improving pre-training byrepresenting and predicting spans J.Transactions of the Associationfor Computational Linguistics,2020,8:64-77.16 GONEN H,RAVFOGEL S,ELAZAR Y,et al.Its not Greek tomBERT:Inducing Word-Level Translations from Multilingual BERT J/OLJ.arXiv preprint arXiv:2010.08275,2020.17 J GOLZ C,RICHTER D,SPRECHER N,et al.Mental health-relatedcommunication in a virtual community:text mining analysis of a digitalexchange platform during the Covid-19 pandemic J.BMC psychiatry,2022,22(1):1-8.18JCLARK K,LUONG M T,LE Q V,et al.Electra:Pre-training text en-coders as discriminators rather than generators J/OL.arXiv preprintarXiv:2003.10555,2020.