结合多特征嵌入和多网络融合的中文医疗命名实体识别.pdf

结合多特征嵌入和多网络融合的中文医疗命名实体识别雷松泽刘博*王瑜菲单奥奎(西安工业大学计算机科学与工程学院西安710021)摘要：在医疗领域中，实体识别能够从大规模电子病历文本中提取有价值信息，由于缺乏定位实体边界的特征以及存在语义信息提取不完整等问题，中文的命名实体识别(NER)实现更加困难。该文提出一种针对中文电子病历的结合多特征嵌入和多网络融合的模型(MFE-MNF)。该模型嵌入多粒度特征，即字符、单词、部首和外部知识，扩展字符的特征表示，明确实体边界。将特征向量分别输入到双向长短期记忆神经网络(BiLSTM)和该文构建的自适应图卷积网络等双通路中，全面深入地捕获上下文语义信息和全局语义信息，缓解语义信息提取不完整问题。在CCKS2019和CCKS2020数据集上进行实验验证，结果表明，相比于传统实体识别模型，该文模型能够准确且有效地提取实体。关键词：命名实体识别；多特征嵌入；多网络融合；自适应图卷积网络中图分类号：TP391.1;R-05文献标识码：A文章编号：1009-5896(2023)08-3032-08DOI:10.11999/JEIT220802Chinese Medical Named Entity Recognition Combined withMulti-Feature Embedding and Multi-Network FusionLEISongzeLIUBoWANGYufeiSHANAokui(School of Computer Science and Engineering,Xian Technological University,Xian 710021,China)Abstract:Inthemedicalfield,entityrecognitioncanextractvaluableinformationfromthetextoflarge-scaleelectronicmedicalrecords.Duetothelackoffeaturesforlocatingentityboundariesandincompletesemanticinformationextraction,theimplementationofChineseNamedEntityRecognition(NER)ismoredifficult.Inthispaper,amodelcombiningMulti-FeatureEmbeddingandMulti-Net-workFusionmodel(MFE-MNF)isproposed.Themodelembedsmulti-granularityfeatures,i.e.characters,words,radicalsandexternalknowledge,extendsthefeaturerepresentationofcharactersanddefinestheentityboundary.ThefeaturevectorsareinputrespectivelyintothetwopathsofBi-directionalLongShort-TermMemory(BiLSTM)andadaptivegraphconvolutionnetworktocapturecomprehensivelyanddeeplythecontextsemanticinformationandglobalsemanticinformation,andalleviatetheproblemofincompletesemanticinformationextraction.TheexperimentalresultsonCCKS2019andCCKS2020datasetsshowthatcomparedwiththetraditionalentityrecognitionmodel,theproposedmodelcanextractentitiesaccuratelyandeffectively.Key words:NamedEntityRecognition(NER);Multi-featureembedding;Multi-networkfusion;Adaptivegraphconvolutionalnetwork1 引言电子病历文本常常以非结构化的形式存在，从中提取出关键的医学实体信息对进一步研究患者的疾病有很大的帮助，是对医学领域进行信息挖掘的重要资源，是顺利进行后续下游任务的一个关键步骤。在中文电子病历中，命名实体识别(NamedEntityRecognition,NER)任务拥有广阔的应用场景，比如：临床决策系统1、医学信息检索2、智能问答系统3等。因此，NER对于医疗领域中病历信息的处理具有重要的研究价值。现阶段，深度学习在自然语言处理(NaturalLanguageProcessing,NLP)领域取得显著进步。Wu等人4构建一种联合卷积神经网络(Convolu-tionalNeuralNetwork,CNN)、长短时记忆网络(LongShort-TermMemory,LSTM)、条件随机场收稿日期：2022-06-17；改回日期：2022-12-02；网络出版：2022-12-08*通信作者：刘博基金项目：新型网络与检测控制国家地方联合工程实验室基金(GSYSJ2016008)FoundationItem:TheNationalJointEngineeringLaboratoryofNewNetworkandDetectionFoundation(GSYSJ2016008)第45卷第8期电子与信息学报Vol.45No.82023年8月JournalofElectronics&InformationTechnologyAug.2023(ConditionalRandomFields,CRF)的体系结构来捕获本地和远程的上下文特征。Dong等人5基于LSTM-CRF模型融入部首语义信息来提取实体。Xu等人6提出了中文命名实体识别的多重嵌入(MultipleEmbeddingsforChineseNamedEntityRecognition,ME-CNER)模型，嵌入多个字符表示来识别实体。Zhang等人7将注意力机制应用于嵌入层，实现多粒度嵌入。深度学习方法泛化能力强，能够自动挖掘深层特征。因此，本文选择基于深度学习的方法完成命名实体识别任务。命名实体识别技术8发展迅速，已经在各个领域中得到应用。张乐等人9针对军事领域军事实体边界模糊10的问题，提出基于预训练语言模型(Bi-directionalEncoderRepresentationfromTrans-formers,BERT)的深度学习识别方法。郭力华等人11设计出一种利用最大正向匹配策略和社区注意力机制(theForwardMaximumMatchingstrategyandCommunityAttentionMechanism,FMM-CAM)的法律文书命名实体识别方法，该方法能有效提取出法律文书中的实体信息。在医疗领域，Ji等人12针对标签不一致问题，设计出一种联合注意力，双向长短期记忆网络(Bi-directionalLongShort-TermMemory,BiLSTM)和CRF的模型。然而，目前NER对于医学文本中出现的专业词语还是无法精确的辨识13，对BERT14等模型的研究和应用还不够深入。因此，对于医疗领域的文本资料进行NER研究，仍然有着重大的意义。本文提出一种新的中文医疗实体识别方法，称为结合多特征嵌入和多网络融合的模型(combin-ingMulti-FeatureEmbeddingandMulti-Net-workFusionmodel,MFE-MNF)。本模型推导一种多特征嵌入的方法提取特征向量，并将多特征嵌入向量分别输入到BiLSTM和本文构建的自适应图卷积网络等双通道中捕获上下文语义信息和全局语义信息。基于CCKS2019和CCKS2020数据集的实验评估，本文为NER方法在中国医学领域的实施提供了一些有价值的见解和观点。2 中文医疗文本的多特征嵌入2.1 字符嵌入s=c1,c2,.,cnci(1 i n)ixci字符是组成文本的基础单位，本文采用BERT1)模型捕获字符嵌入，将文本序列转换成为机器能够识别的字符向量。假设描述文本中的一句话，则代表语句中的第 个字，其对应的字符向量是xci=ec(ci)(1)2.2 单词嵌入wci=wci1,wci2,.,wcijwcijillwci,l=wci,1l,wci,2l,.,wci,klwci,kliklixwi通过与词典信息进行匹配，将字符所对应的单词表示15为，其中表示的是从第 个字符开始的、长度为 的单词。其中步长为的所有单词组成集合为，其中表示的是从第 个字符开始匹配得到的第个步长为 的单词，使用BERT预训练语言模型获取单词特征表示，第 个字符所对应的单词向量为xwi=ew(wci)(2)2.3 多语义词典本文创建了多语义词典，即单词词典和部首字典。从搜狗词库医学板块2)下载医学词汇大全词典，并将其转换为可用格式，构造单词词典。在单词词典中包括了90 047个医学名词。通过对CCKS2019和CCKS2020数据集遍历，得到一个包含所有不重复字的集合，爬取新华字典3)，找到与所有字相对应的部首信息，构建一个部首字典。在该字典中总共包含12 649个键值对，其中2 041个字有多个部首，193个字等于它们自己的部首。2.4 字形嵌入rci=rci1,rci2,.,rcijrcijixri中国汉字是象形文字，其偏旁部首中蕴含着特殊的含义，比如：“疒”部首代表着属于疾病类型的实体词，“月”部首代表着属于身体器官类型的实体词。本文采用CNN提取字形的部首特征。通过与部首字典匹配，得到字符对应的部首序列集合为，其中表示与第 个字符匹配的部首，对应的部首向量为xri=pool(Conv(rci)(3)2.5 知识嵌入HowNet4)语言知识库中拥有丰富的语义资源，其是由义原信息组成的。知识嵌入模块从HowNet提供的义原信息中获得外部知识，并构建一棵语义树，知识嵌入的步骤如下：步骤1构造语义树。以HowNet为知识库基线，通过义原表征出语义关系，构造一颗语义树。在每个词中融合了语义树的信息，为词提供更加细粒度的解释。步骤2使用注意力机制提取知识特征。具体过程如图1所示。w对于每个概念单词，首先通过检索HowNet1)https:/ 的知识特征向量xyi=|S(w)|i=1att(S(w)j)S(w)j(4)S(w)jwjatt(S(w)j)其中，表示与词 相似的第 个词的嵌入表示，表示每个概念单词的注意力分数att(S(w)j)=exp(wcS(W)j)|S(W)|k=1exp(wcS(W)K)(5)wcS(W)j其中，表示上下文嵌入，表示义原信息的平均值。s=c1,c2,.,cnxci Rdcxwi Rdwxri Rdrxyi Rdy多特征嵌入层是指将多个特征融合嵌入，结合多语义词典，实现多粒度的实体提取，多特征嵌入如图2所示。对于输入的一段文本序列，其中字符特征向量，单词特征向量，部首特征向量，知识特征向量融合嵌入公式为xcwryi=xci xwi xri xyi(6)dcdwdrdyi 1,2,.,n其中，代表字符特征向量的维度，代表单词特征向量的维度，代表部首特征向量的维度，代表知识特征向量的维度，。3 模型设计3.1 多特征嵌入层提取医学实体时可以分别从字符、单词、字形、义原4个粒度提取语义特征，并构建多语义词典，准确提取语义特征。义原是最小的语义单位，每个词都可以由若干个义原来组合表示。图2展示了多个特征嵌入的模型结构。图3展示了句子“入院后诊断为阑尾炎”的语义树的形成过程。3.2 BiLSTM层将嵌入层输出的向量输入到BiLSTM层中，用来获取上下文语义信息。BiLSTM能够捕获双向的隐藏层状态，通过拼接双向隐藏层输出，建模上下文信息。3.3 自适应图卷积网络层本文构建一种新的网络模型自适应图卷积网络(AdaptiveGraphConvolutionalNetwork,AGCN)来融合邻近节点特征。具体实现步骤如下所示：图1知识嵌入模块图2基于多特征嵌入的字符表示图3“入院后诊断为阑尾炎”的语义树3034电子与信息学报第45卷V=c1,c2,.,cnci(1 i n)iWlS=S1,S2,.,SnSk(k=1,2,.,n)k首先，构建语义丰富的字符图，使用滑动窗口扫描文本捕获信息。对于一个文本字符序列，其中表示文本中的第 个字。假设滑动窗口的宽度为，以步长为 前进，取得滑动窗口字符集为，其中表示在时刻 的窗口字符间联系。其次，使用点互信息16(PointwiseMutualIn-formation,PMI)来计算字符图中每两个节点之间的关联度，边的权重计算公式如下，如果值大于0，说明两个字符之间存在关联，权重值为PMI值，如果值小于0，说明两个字符之间不存在关联Ai,j=PMI(ci,cj),PMI(ci,cj)01,ci=cj0,PMI(ci,cj)0(7)PMI(ci,cj)cicj其中，是指两个字符 和之间的关联度，主要的计算公式为PMI(ci,cj)=lgp(ci,cj)p(ci)p(cj)(8)p(ci,cj)=m(ci,cj)|S|(9)p(ci)=m(cj)|S|(10)m(ci)ciSm(ci,cj)cicjS|S|S其中，表示字符 在字符集 中出现的频率，表示字符 和字符 一起在字符集 中出现的频率，表示字符集 的数量。VEE=ci,cj,PMI使用表示字符集合，其作为图的节点，表示字符序列之间的一组边，形式为，使用边将各个节点连接起来构成关联图。G=V,Eixixi RmmXX RnmnnXGHH(1)Rnkk最后，将构造的关联图定义为，输入一段医学文本数据，每个字符作为图中的一个节点，每个节点 对应的特征由嵌入层获得为，其中，表示特征向量的维数，所有节点的特征向量拼接构成一个特征矩阵，其中，表示所有 个字符节点。将和字符关联图 输入到AGCN模型中，得到一个特征矩阵，其中，其中 表示每个节点的隐藏层的特征维度H(1)=(AXW(0)(11)A=D12AD12AA=A+INAINDDii=jAijW(0)Rmk其中，表示归一化对称邻接矩阵，表示无向图的邻接矩阵，表示单位矩阵，由于邻接矩阵还包括自身的特征信息，因而加上单位矩阵，使对角线元素有值。表示度矩阵，,是权重矩阵，为激活函数，例如ReLU激活函数。N每个节点经过图卷积层17获取相连的节点的特征向量和关联度，聚合节点信息，进而更新自身节点的特征向量。通过堆叠多层AGCN模型，经过次图卷积，每个字符特征向量通过拓扑结构传播到邻近节点上，进而能够捕获全局的语义特征。逐层传播的公式为H(l+1)=(AH(l)W(l)(12)H(0)=Xl其中，表示层数。3.4 语义融合X多头注意力容易表征特征向量内部的关联关系18。因此，本文采用多头注意力机制来融合BiLSTM模块提取的向量和AGCN模块提取的向量。将经过多头注意力机制融合后的向量输入到CRF层实行序列标注，利用最大似然方法对CRF模型进行参数优化。4 实验本文实施一系列的实验以研究结合多特征嵌入和多网络融合的有效性。4.1 数据集CCKS2019数据集、CCKS2020数据集由医渡云技术有限公司提供。总共标注出6种实体类型，分别是疾病和诊断(Disease)、影像检查(Image-Check)、实验室检验(Lab-Check)、手术(Operation)、药物(Medicine)和解剖部位(AnatomicalSite)。由于存在标注不统一、实体位置偏差的问题，需要对输入数据进行优化处理。本文采用手工调整方式进行改正，统一英文字母大小写，将句子以句号进行分割，将文本中的标点符号“;”“:”等删除。数据预处理后，CCKS2019有1379条数据，CCKS2020有1 050条数据集。本文使用NER任务中常用的BIO标注模式。其中，B表示命名实体的开头，I表示命名实体的中间，O表示不是命名实体。中文电子病历标注结果如图4所示。4.2 参数设置及评价指标在实验中，设定句子的最大长度为256，长度大于256将被截断，长度不足256将使用标签补充。采用保留验证法对超参数进行优化。使用验证集对超参数进行优化。模型的参数如表1所示。本文采用精确度(Precision,P)、召回率(Re-call,R)、F1值、计算复杂度和计算时间作为评价指标，当且仅当实体的边界和类别均被正确识别时，认为该实体才被正确识别。4.3 对比实验结果及分析本文选取了最具代表性的NER模型，并将它第8期雷松泽等：结合多特征嵌入和多网络融合的中文医疗命名实体识别3035们与本文所提MFE-MNF模型进行比较。BiLSTM-CRF可以有效地提取上下文信息，是NER基本框架。Bert细化了编码单元，与Word2vec嵌入方式相比，Bert的F1值更高，表明Bert嵌入方式拥有较强鲁棒特性。ME-CNER模型采用多重嵌入，BiGRU-CRF网络作为标记器。与基线BiLSTM-CRF相比，ME-CNER在CCKS2019数据集上的F1评分提高了2.54，在CCKS2020数据集上的F1评分提高了3.18，充分显示了多重嵌入的有效性。Lattice模型19采用BiLSTM-CRF结构，性能略优于ME-CNER模型。Bert-GCN-CRF模型20利用图卷积网络来解决上下文信息获取问题，F1值得到了提升，表明GCN对于NER任务是有用的资源。表2比较了在CCKS2019数据集上多种NER模型的结果，表3比较了在CCKS2020数据集上各种NER模型的结果。本文所提MFE-MNF模型采用多特征嵌入的方法提取特征向量，不仅嵌入字符特征、单词特征、部首特征，而且融入了外部知识，提供了更丰富的语义信息，并结合BiLSTM和自适应图卷积网络模型，其F1值得到了提升。由此可以看出本文提出的模型优于其他模型，如表2、表3所示。本文同时比较了不同模型的收敛时间，如图5所示。据观察，MFE-MNF模型在不同的数据集上都较先达到稳定。LatticeLSTM模型所用时间是长的，这是由于受限于模型里的batch-size，每个batch-size只能训练1个样本，大大降低了训练速度。由于Bert-BiLSTM-CRF和Bert-GCN-CRF模型都使用Bert，因此训练时间会比Word2vec-BiL-STM-CRF长。ME-CNER模型与Word2vec-BiL-图4中文电子病历标注结果图5训练结果表 1 实验参数设置参数名数值单位字符嵌入维度768维GCN层数2层滑动窗口大小10字符Dropout0.500Batch_size64Epoch80轮学习率0.001表 2 各模型在CCKS2019数据集上的比较结果(%)模型PRF1Word2vec-BiLSTM-CRF580.7480.4280.59Bert-BiLSTM-CRF2182.4581.8682.08ME-CNER683.5682.9183.13LatticeLSTM1984.4483.8984.18Bert-GCN-CRF2085.0584.1484.65MFE-MNF85.3184.9685.15表 3 各模型在CCKS2020数据集上的比较结果(%)模型PRF1Word2vec-BiLSTM-CRF587.1686.7786.97Bert-BiLSTM-CRF1988.7888.3588.61ME-CNER690.1090.1790.15LatticeLSTM2091.1090.4190.54Bert-GCN-CRF2191.1990.9190.96MFE-MNF91.4591.0991.213036电子与信息学报第45卷STM-CRF模型的训练时间相差不大。由于本文提出的MFE-MNF模型分别采用BiLSTM和GCN提取语义，训练时间会比Word2vec-BiLSTM-CRF模型长，但远小于LatticeLSTM模型。综上所述，本文所提MFE-MNF模型是完成NER任务的一种有效的方法。不同模型的计算复杂度和计算时间如表4所示。本文提出的MFE-MNF模型采用将transformer中self-attention层的前11层共享的方式，与其他模型相比，模型参数有所降低，并且准确率达到最高，该模型在计算复杂度、准确率方面都优于其他模型。4.4 深度分析本文将从以下几个方面进一步讨论MFE-MNF中各个模块对模型的影响，以证明此模型的有效性。(1)嵌入模块。在CCKS2019数据集上对MFE-MNF模型进行消融实验，分别去除不同的特征嵌入。表5是消融实验结果显示。加入单词嵌入、部首嵌入、义原嵌入中的任何两个(标记为“+word+radical”,“+word+sememe”,“+sem-eme+radical”)，准确率较之前的实验都有所提升，并且，在有部首嵌入或者义原嵌入的实验中，性能提升得更高，表明部首嵌入和义原嵌入的重要性。(2)语义信息提取模块。据观察，在嵌入模块不改变的情况下，如表6所示，单独使用BiLSTM或AGCN将显著降低性能。这表明BiLSTM和AGCN确实能够增强信息的深度提取能力。(3)词典与覆盖率实验。首先将训练集分为实体全部出现、实体部分出现和实体没有出现3份进行试验，验证测试集中的实体在训练集中的出现能否对实验结果产生影响。同时，验证字典对模型准确率的影响，结果如表7、表8所示。通过结果可以看出当控制词典变量不变时，增加覆盖率能够提高模型的准确率；当控制覆盖率不变时，使用词典也能够提高准确率。5 结束语针对医疗领域实体边界确定困难以及语义信息利用不充分的问题，本文提出一种新的MFE-MNF模型，旨在充分利用汉字中蕴含的词义信息以及句子中隐藏的语义信息，提升实体识别的准确度，主要创新点在于该模型将字符、单词、部首以及外部知识融合嵌入，并引入词典信息，基本解决了分词错误、单词边界模糊的问题。并且本文提出了自适应图卷积网络模型来捕获文本结构内部的全局语义信息，使用BiLSTM捕获上下文语义信息，通过双通路提取，其在一定程度上解决了语义信息提取不完整的问题。通过在不同数据集上做对比实验，结果表明，本文提出的MFE-MNF模型准确地完成了序列标注任务，准确率比传统模型有所提高。该模型充分展现了在中文医疗领域的优越性，并表现出较好的泛化能力。接下来将考虑进一步降低时间消耗，进一步提升模型的泛化能力。表 4 各模型的计算复杂度和计算时间的比较结果模型参数量(M)计算量(M)时间(s)Word2vec-BiLSTM-CRF517264.49Bert-BiLSTM-CRF211242001.97ME-CNER615233.36LatticeLSTM1947785.33Bert-GCN-CRF201262034.54MFE-MNF1051763.21表 5 嵌入模块的消融实验(%)模型PRF1character87.9387.5887.77+word89.2988.5189.08+radical89.7489.3389.52+sememe90.0589.6289.85+word+radical90.4390.0990.28+word+sememe91.0190.3790.74+character+sememe+radical+word91.4591.0991.21表 6 语义信息提取模块的消融实验(%)模型PRF1BiLSTM+AGCN91.4591.0991.21-BiLSTM90.1389.8590.04-AGCN89.8989.4289.65表 7 基于CCKS2019数据集的词典与覆盖率实验(%)实体是否出现在训练集没有词典有词典PRF1PRF1全部出现90.69 90.03 90.3891.45 91.09 91.21部分出现88.28 87.60 87.9288.99 88.23 88.62不出现86.88 86.77 86.8587.60 87.09 87.29表 8 基于CCKS2020数据集的词典与覆盖率实验(%)实体是否出现在训练集没有词典有词典PRF1PRF1全部出现85.28 84.57 84.9285.31 84.96 85.15部分出现82.82 81.14 81.4683.53 82.77 83.13不出现81.42 80.31 80.7782.14 81.63 81.83第8期雷松泽等：结合多特征嵌入和多网络融合的中文医疗命名实体识别3037参 考 文 献MURRAYE,POLLACKL,WHITEM,et al.Clinicaldecision-making:PatientspreferencesandexperiencesJ.Patient Education and Counseling,2007,65(2):189196.doi:10.1016/j.pec.2006.07.007.1GOEURIOTL,JONESGJF,KELLYL,et al.Medicalinformationretrieval:IntroductiontothespecialissueJ.Information Retrieval Journal,2016,19(1):15.doi:10.1007/s10791-015-9277-8.2ANSARIA,MAKNOJIAM,andSHAIKHA.Intelligentquestion answering system based on artificial neuralnetworkC.2016 IEEE International Conference onEngineeringandTechnology(ICETECH),Coimbatore,India,2016:758763.doi:10.1109/ICETECH.2016.7569350.3WUFangzhao,LIUJunxin,WUChuhan,etal.NeuralChinesenamedentityrecognitionviaCNN-LSTM-CRFandjointtrainingwithwordsegmentationC.theWorldWideWebConference,SanFrancisco,USA,2019:33423348.doi:10.1145/3308558.3313743.4DONGChuanhai,ZHANGJiajun,ZONGChengqing,etal.Character-basedLSTM-CRFwithradical-levelfeaturesforChinesenamedentityrecognitionC.The24thInternationalConferenceonComputerProcessingofOrientalLanguages,5th National CCF Conference on Natural LanguageProcessingandChineseComputing,Kunming,China,2016:239250.doi:10.1007/978-3-319-50496-4_20.5XU Canwen,WANG Feiyang,HAN Jialong,et al.ExploitingmultipleembeddingsforChinesenamedentityrecognitionC.The28thACMInternationalConferenceonInformationandKnowledgeManagement,Beijing,China,2019:22692272.doi:10.1145/3357384.3358117.6ZHANGNaixin,LIFeng,XUGuangluan,et al.ChineseNERusingdynamicmeta-embeddingsJ.IEEE Access,2019,7:6445064459.doi:10.1109/ACCESS.2019.2916816.7WANGXiao,DOUShihan,XIONGLimao,etal.MINER:Improvingout-of-vocabularynamedentityrecognitionfromaninformationtheoreticperspectiveC.The60thAnnualMeetingoftheAssociationforComputationalLinguistics,Dublin,Ireland,2022.8张乐,李健,唐亮,等.基于预训练BERT的军事领域目标实体深度学习识别方法J.信息工程大学学报,2021,22(3):331337.doi:10.3969/j.issn.1671-0673.2021.03.013.ZHANGLe,LIJian,TANGLiang,et al.Deeplearningrecognitionmethodfortargetentityinmilitaryfieldbased9on pre-trained BERTJ.Journal of InformationEngineering University,2021,22(3):331337.doi:10.3969/j.issn.1671-0673.2021.03.013.ZHUEnweiandLIJinpeng.BoundarysmoothingfornamedentityrecognitionC.The60thAnnualMeetingoftheAssociationforComputationalLinguistics,Dublin,Ireland,2022.10郭力华,李旸,王素格,等.基于匹配策略和社区注意力机制的法律文书命名实体识别J.中文信息学报,2022,36(2):8592.doi:10.3969/j.issn.1003-0077.2022.02.010.GUOLihua,LIYang,WANGSuge,et al.NameentityrecognitioninlegalinstrumentsbasedonmatchingstrategyandcommunityattentionmechanismJ.Journal of ChineseInformation Processing,2022,36(2):8592.doi:10.3969/j.issn.1003-0077.2022.02.010.11JIBin,LIURui,LIShasha,et al.AhybridapproachfornamedentityrecognitioninChineseelectronicmedicalrecordJ.BMC Medical Informatics and Decision Making,2019,19(2):64.doi:10.1186/s12911-019-0767-2.12YAN Hang,GUI Tao,DAI Junqi,et al.A unifiedgenerative framework for various NER subtasksEB.https:/doi.org/10.48550/arXiv.2016.01223?file=arXiv.2016.01223.13LIUQin,ZHENGRui,RONGBao,etal.Flooding-X:ImprovingBERTsresistancetoadversarialattacksvialoss-restrictedfine-tuningC.The60thAnnualMeetingoftheAssociationforComputationalLinguistics(Volume1:LongPapers),Dublin,Ireland,2022:56345644.doi:10.18653/v1/2022.acl-long.386.14LIFei,LINZhichao,ZHANGMeishan,etal.Aspan-basedmodelforjointoverlappedanddiscontinuousnamedentityrecognitionEB.https:/doi.org/10.48550/arXiv.2016.14373.15YAOLiang,MAOChengsheng,andLUOYuan.GraphconvolutionalnetworksfortextclassificationJ.Proceedingsof the AAAI Conference on Artificial Intelligence,2019,33(1):73707377.doi:10.1609/aaai.v33i01.33017370.16CETOLIA,BRAGAGLIAS,OHARNEYAD,etal.Graph convolutional networks for named entityrecognitionC.The 16th International Workshop onTreebanksandLinguisticTheories,Prague,CzechRepublic,2018.17ANYing,XIAXianyun,CHENXianlai,et al.Chineseclinicalnamedentityrecognitionviamulti-headself-attentionbasedBiLSTM-CRFJ.Artificial Intelligence inMedicine,2022,127:102282.doi:10.1016/j.artmed.2022.183038电子与信息学报第45卷102282.ZHANGYueandYANGJie.ChineseNERusinglatticeLSTMC.The56thAnnualMeetingoftheAssociationforComputationalLinguistics,Melbourne,Australia,2018.19景慎旗,赵又霖.面向中文电子病历文书的医学命名实体识别研究一种基于半监督深度学习的方法J.信息资源管理学报,2021,11(6):105115.doi:10.13365/j.jirm.2021.06.105.JINGShenqiandZHAOYoulin.RecognizingclinicalnamedentityfromChineseelectronicmedicalrecordtextsbasedonsemi-superviseddeeplearningJ.Journal of InformationResources Management,2021,11(6):105115.doi:10.13365/j.jirm.2021.06.105.20DAIZhenjin,WANGXutao,NIPin,etal.Namedentity21recognition using BERT BiLSTM CRF for Chineseelectronic health recordsC.2019 12th InternationalCongressonImageandSignalProcessing,BioMedicalEngineeringandInformatics(CISP-BMEI),Suzhou,China,2019:15.doi:10.1109/CISP-BMEI48845.2019.8965823.雷松泽：男，博士，副教授，研究方向为深度学习、模式识别等.刘博：女，硕士生，研究方向为深度学习等.王瑜菲：女，硕士生，研究方向为深度学习等.单奥奎：男，硕士生，研究方向为深度学习等.责任编辑：余蓉第8期雷松泽等：结合多特征嵌入和多网络融合的中文