基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法.pdf

CNATURICIENCEMay,20232023年5月JOURNANTVERSITYVol.59,No.3第59 卷第3 期南京大学学报（自然科学）DOI:10.13232/ki.jnju.2023.03.009基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法程钦男1，莫志强1，曹斌1*，范菁1，单宇翔（1.浙江工业大学计算机科学与技术学院，杭州，310 0 2 3;2.浙江中烟工业有限责任公司信息中心，杭州，310 0 0 9）摘要：篇章级别的服务事件序列抽取任务旨在发现给定服务的相关文本中所有服务事件的顺序序列关系，构建得到一组按照服务事件发生顺序排列的服务事件集合，其研究可以广泛应用于知识图谱构建、自动问答等任务与该任务相关的现有工作分过程抽取和事件时序关系抽取两类：过程抽取相关研究默认事件真实发生的顺序与文本描述的顺序一致，忽略了许多非过程性文本中事件发生的顺序与文本描述顺序不一致的情况；.事件时序关系抽取的相关研究往往关注事件对之间的时序关系判断，无法建模所有事件的顺序序列关系。针对以上问题，提出一种基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法，使用多粒度信息编码模块获得服务文本中具有丰富语义信息的服务事件向量表示，再利用联合优化模块提取服务事件之间的顺序序列关系，得到篇章级别的服务事件序列.由于没有公开数据集可以直接用于服务事件序列抽取任务的评估，抽取基于事件时序关系抽取的公开数据集TimeBank（T B），A Q U A INT（A Q），Platinum（PL)和MATRES中的数据，构建了可用于篇章级服务事件序列抽取任务评估的数据集，实验结果证明了提出方法的有效性。关键词：服务文本，服务事件，序列抽取，多粒度编码，联合优化中图分类号：TP391文献标志码：ADocument-level service event sequence extraction based on multi-granularity information encoding and joint optimizationCheng Qinnan,Mo Zhiqiang,Cao Bin*,Fan Jing,Shan Yuxiang(1.College of Computer Science&Technology,Zhejiang University of Technology,Hangzhou,310023,China;2.Information Center,China Tobacco Zhejiang Industrial Co.,Ltd.,Hangzhou,310009,China)Abstract:The task of extracting a sequence of service events at the document level aims to discover the sequentialrelationship of all service events in given service-related texts,and to construct a set of service events arranged in order ofoccurrence.The research can be widely applied to tasks such as knowledge graph construction and automatic questionanswering.Existing works related to this task can be divided into two categories:process extraction and event temporalrelation extraction.Researches on process extraction assume that the true order of events is consistent with the order of textdescription,ignoring the fact that in many nonprocess texts,the order of events may not be consistent with the descriptionorder.Related researches on event temporal relation extraction often focuse on judging the temporal relation between eventpairs and cannot model the sequential relationship of all events.A document-level service event sequence extraction methodbased on multi-granularity information coding and joint optimization is proposed to solve above problems.A multi-granularityinformation coding module is used to learn the vector representation of service events in the service text.Then,a joint基金项目：国家自然基金（6 2 2 7 6 2 33），浙江省科技计划（2 0 2 3C01048）收稿日期：2 0 2 3一0 3-30*通讯联系人，E-mail:461程钦男等：基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法第3期optimization module is used to extract the service event sequence relation to obtain the document-level service eventsequence.Considering that there is no public dataset directly used to evaluate the service event sequence extraction task,thispaper constructs a dataset based on the event temporal relation extraction public datasets TimeBank(TB),AQUAINT(AQ),Platinum(PL)and MATRES.Experimental results show the effectiveness of the method proposed in this paper.Key words:service text,service event,sequence extraction,multi-granularity coding,joint optimization篇章级别的服务事件序列抽取是服务文本理解中的一项重要任务，旨在从给定的服务文本中发现服务事件之间的顺序序列关系，其中，以自然语言描述的形式对服务过程进行表示的文本称为服务文本，服务文本中的服务事件由服务事件触发词和服务事件论元构成1，服务事件触发词标志着事件的发生，服务事件论元指的是参与者、时间、地点等服务事件属性，本文中服务事件由服务事件触发词来表示.篇章级别的服务事件序列由给定服务文本中的一系列服务事件基于事件发生的先后顺序排列构成，其任务表示如图1所示图1左边是自然语言描述的服务文本，其中服务文本中的服务事件已经得到了标注；图1右边是基于人工注释的篇章级服务事件序列：usingviolating faces described-carry.服务事件序列抽取相关的研究具有一定的现实应用价值.例如，事件序列可以帮助故事理解系统在任意的叙述背景下预测接下来会发生什么2 ;医学临床诊断中抽取的事件序列可以帮助医生进行病情的诊断和预测3；从菜谱或维修手册中抽取的事件序列可以帮助语音助手回答过程相关的问题，构建更加智能的语音助手4.目前，与服务事件序列抽取相关的研究工作可以分为过程抽取和事件时序关系抽取两类，过程抽取旨在从给定的文档中抽取流程图，流程图的节点表示事件或者动作，边表示其连接的两个节点之间的关系，存在顺序、选择、并行三种关系4-5.事件序列可以看作事件之间只存在顺序关系的特殊流程图，在过程抽取的相关研究中，研究重点在于节点的抽取以及节点之间选择和并行关系的抽取，对于顺序关系，其认为和文本描述的顺序一致.在某些情况下这只是一个存在问题的假设，如图1所示，基于人工注释得到的真实服务事件序列(usingviolatingfacesdescribedcarry）与文本描述的顺序（describedfacesviolatingusingcarry)不一致.第二类相关工作是事件时序关系抽取，旨在判断事件对之间的时序关系6-7 .基于事件时序关系抽取的研究可以间接获得事件序列,其方法分两步：第一步是事件对之间的时序关系抽取，第二步是基于事件对，对时序关系抽取的结果构建事件序列.事件时序关系抽取研究往往关注同一个句子或者相邻句子中事件的时序关系识别，无Investigators have been searchingTRIGGER:using,ARGO:Kopp,ARG1:forceforKoppsinceshortlyaftertheOct.23 slaying.Up untilThursday,however,theyhaddescribedhim onlyasamaterialTRIGGER:violating,ARGO:Kopp,ARG1:actwitness wanted forquestioning-nota suspect.Inadditiontoa基于人工注释的事件state charge of murder,Kopp序列结果faces afederalchargeofTRIGGER:faces,ARGO:Kopp,ARG1:chargeviolating theFreedomofAccessto Clinic Entrances Act byusingdeadlyforceagainstanabortiondoctor.BothchargescarryuptoTRIGGER:described,ARGO:Kopp,ARG1:witnesslife in prison,Thefederal chargealsocarriesafineofuptos250,000.Thenewlyfiled chargesTRIGGER:carry,ARGO:charges,ARG1:to lifeinprisonwill intensifytheongoinginternationalmanhunt,Tolbertsaid.图1服务事件序列抽取任务Fig.1The task of service event sequence extraction462第59 卷南京大学学报（自然科学）法建模篇章级别的事件时序关系，需要在事件时序关系抽取的基础上做进一步研究：针对以上两类相关工作存在的问题，本文提出一种篇章级别的服务事件序列抽取方法，该方法由三个模块构成：(1)多粒度上下文编码模块；（2)联合优化模块；（3)全局推理模块.多粒度上下文编码模块使用基于BERT（Bid ir e c t io n a lEncoder Representations from Transformers）8 和BiLSTM(Bidirectional Long Short-Term Memo-ry)的神经网络模型和多头注意力机制（Multi-Head Attention Mechanism,MHA)10来获得服务文本中具有丰富语义信息的服务事件向量表示。联合优化模块通过联合训练Pairwise局部任务和Listwise全局任务挖掘服务事件的顺序序列关系全局推理模块对联合优化模块输出的服务事件序列进行事件关系冲突消解，得到无冲突的服务事件序列作为输出：目前尚没有公开数据集可直接用于服务事件序列抽取任务的评估，本文从基于事件时序关系抽取公开数据集TimeBank（T B)1),A Q U A INT(AQ)12,Platinum（PL)13 和MATRES14中抽取数据，构建了可用于该任务评估的数据集.实验结果证明了本文提出方法的有效性本文的贡献：（1)提出篇章级别的服务事件序列抽取任务并给出了该任务的形式化定义，旨在从给定的服务文本中建模所有服务事件的顺序序列关系，得到一组按照服务事件发生顺序排序的服务事件集合.（2）首次引人Pairwise和Listwise方法用于挖掘服务事件序列。（3）基于事件时序关系抽取公开数据集TimeBank,AQUAINT,Platinum 和 MATRES,构建了可用于服务事件序列抽取任务评估的数据集，并进行了实验验证和分析.实验结果证明了本文提出方法的有效性。1相关工作与服务事件序列抽取相关的研究工作可以分两类，过程抽取和事件时序关系抽取.下面分别对这两类相关工作进行具体的介绍.1.1过程抽取过程抽取研究旨在从给定的文档中抽取流程图，流程图的节点表示事件或者动作，边表示其连结的两个节点之间的关系，存在顺序、选择、并行三种关系.事件序列可以看作事件之间只存在顺序关系的特殊流程图，现有的过程抽取研究主要可以分为基于规则的过程抽取方法研究15-16 、基于专业资源或者自然语言处理工具的过程抽取方法研究17-2 0 、基于传统机器学习的过程抽取方法研究2 1-2 、基于神经网络或者强化学习的过程抽取方法研究4-5.2 3.这些研究的重点在于节点，即动作或事件的抽取以及节点之间的选择和并行关系的抽取，对于顺序关系，其认为和文本描述的顺序一致.对于过程性文本，如菜谱、维修手册等，这种假设是成立的.但是对于非过程性文本，比如有些文本为了强调事件的结果会先描述事件的结果再描述事件的起因和经过，显然这种情况下事件真实发生的顺序与文本描述的顺序不一致.1.2享事件时序关系抽取事件时序关系抽取研究旨在判断事件对之间的时序关系，基于事件时序关系抽取可以间接得到事件序列，即先得到文档中所有事件对的时序关系，然后基于事件对时序关系构建得到事件序列.现有的事件时序关系抽取研究主要可以分为基于人工特征的事件时序关系抽取研究2 4-2 6 、基于语法或者句法规则的事件时序关系抽取研究2 7-2 8 、基于神经网络的事件时序关系抽取研究6-7 .但是这些相关研究都关注同一句子或者相邻句子中的事件时序关系识别，无法建模篇章级别的事件时序关系，同时，也没有考虑跨句子级别的上下文信息，由于文档中的事件分散在各个句子中，显然跨句子级别的上下文信息有助于事件时序关系识别。目前只有很少的研究利用跨句子级别的上下文信息进行事件时序关系抽取.Tourilleetal29构建两个独立的分类器，一个用于句子内时序关系的识别，一个用于句子之间的时序关系识别.ChengandMiyao301在文本依赖路径上使用BiLSTM进行建模，并提出公共根的假设来链接跨句事件之间的依赖路径来引人跨句信息处理跨句事件对.尽管这些研究引入了跨句子级别的上下文信息但不能直接用于事件序列抽取任务，它们往往关注463程钦男等：基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法第3期事件对之间时序关系的判断，在此基础上需要进一步研究建模文档中所有事件的顺序序列关系。受相关工作的启发，本文提出一种篇章级别的服务事件序列抽取方法，针对过程抽取研究中事件的真实发生顺序与文本描述顺序不一致的问题，本文提出多粒度信息编码来结合篇章级别的上下文信息，丰富服务事件向量的语义表示，充分建模服务事件之间的上下文依赖关系.针对事件时序关系抽取研究中无法建模所有事件的顺序序列关系的问题，本文提出联合优化的方式，通过联合训练Pairwise局部任务和Listwise全局任务来充分挖掘所有事件的顺序序列关系。2模型方法篇章级别的服务事件序列抽取旨在发现给定服务文本所有服务事件的顺序序列关系，具体地，本文给出服务事件序列抽取任务的形式化定义.给定服务过程文本d=（s e n t i,s e n t 2，,s e n t）表示服务过程文本d包含n个句子，sent;=（w i，w z,，w)表示第i个句子包含n个词，基于服务文本d的上下文信息预测得到该文本对应的服务事件序列标签y=(eventi,event2,event),其中，event,EE,E表示文档d中的服务事件集合.本文提出的篇章级服务事件序列抽取模型，称为基于多粒度信息编码和联合优化的服务事件序列抽取模型（Document-Level ServiceEventSequence Extraction Based on Multi GranularityInformation Encoding and Joint Optimization）),模型的架构如图2 所示，主要包含三部分：多粒度上下文编码模块、联合优化模块、全局推理模块.模型以服务文本作为基本输人单元，多粒度上下文编码模块使用基于BERT和BiLSTM的神经网络模型与多头注意力机制，获得富含丰富语义信息的服务事件向量表示；联合优化模块通过联合训练Pairwise局部任务和Listwise全局任务，挖掘服务事件之间的顺序序列关系；全局推理模块对联合优化模块输出的服务事件序列进行事件关系冲突消解，得到无冲突的服务事件序列作为输出.下面简单介绍事件冲突关系.基于间接的方整数线性规划(ILP)全局推理模块SoftmaxSoftmax个全连接层全连接层全连接层全连接层事件嵌入表示事件嵌入表示Pairwise局部任务Listwise全局任务联合优化模块T22门机制siSnt吃双向长短期记忆层多头注意力层个xbixbxb元xbixbxbh.BERT嵌入层多粒度上下文编码模块图2本文模型的架构图Fig.2The overall framework of our algorithm式构建事件序列，即先对事件对之间的时序关系进行判断，再基于事件对时序关系构建事件序列.对于事件对时序关系，ei,e,表示服务文本中的任意两个服务事件，before和after表示两类事件顺序序列关系，（ei,e,before)表示e;在事件序列中排在e,之前，（ei,ej，a f t e r)则相反.假定模型对事件对(ei,e)ej,er)(ei,er)作出如下时序关系判断:(ei,e,before)(ej,er.before)(eb,ei,before)不满足传递性约束,显然,基于时序关系(ei,ej,before)(ej,er.before)可以推断(ek,i,after).使用全局推理模块对存在冲突的事件对时序关系进行删除，该模块的具体实现方式在3.2.4进行具体介绍.2.1多粒度上下文编码模块针对服务文本中描述的服务事件执行顺序与服务事件的真实发生顺序不一致导致事件序列抽取效果差的问题，需要充分考虑服务事件之间的上下文依赖关系，本文提出多粒度上下文编码模块（Multi-Granularity464第59 卷南京大学学报（自然科学）ContextEncoding Module,MGCE），通过聚合不同粒度（句子级别和跨句子级别）的词向量嵌人表示来获得富含上下文信息的服务事件向量表示，MGCE模块包含下述几个部分2.1.1字符级别的嵌入层MGCE模块以服务文本作为基本输入单元，首先使用BERT预训练语言模型对文本进行编码表示，使用BERT是因为其编码输出能够建模词的语义信息，同时在各种自然语言处理下游任务中的表现较好，基于BERT预训练语言模型可以获得每个单词的词嵌向量表示，上述编码过程可以形式化为：bi,ab,ab,=BERT(ci,c2,.,a)(1)其中，,和b分别表示第i个句子的第n个词以及该词基于BERT预训练语言模型输出的词向量表示.该层的输出被输送到下一层做进一步的编码表示。2.1.2句子级别的嵌入层尽管基于BERT预训练语言模型的输出向量包含一定的上下文信息，模型还需要获取特定于具体任务的上下文信息，鉴于BiLSTM能够捕获句子中特定于具体任务的上下文信息，本文使用一个单层的BiLSTM模型对上一层的输出做进一步的编码表示.上述编码过程可形式化为：si,s2,.,=BiLSTM(rbi,ab2,.,ab.)(2)其中，s表示第i个句子中第n个词经由BiLSTM模型输出的词向量嵌人表示.2.1.3路跨句子级别的嵌入层为了获得服务文本中不同句子之间服务事件的上下文依赖关系，本文使用MHA来编码跨句子级别的上下文特征信息，使用MHA是因为BiLSTM模型的编码信息会随着序列长度的增加而产生信息丢失，而MHA不受距离限制，可以编码长距离的序列信息对基于BERT预训练语言模型的输出使用MHA进行再编码，获得跨句子级别的上下文特征表示，上述过程可形式化为：ai,a2,.,a,=MHA(bi,cb,.,cb,)(3)其中，表示第i个句子中第n个词经由MHA层输出的词向量嵌人表示，2.1.4牛特征融合层基于上述字符级别的嵌人层、句子级别的嵌人层以及跨句子级别的嵌入层输出，可以获得不同粒度的词向量表示，但是考虑到不同特征的词嵌入向量表示对最后的服务事件时序关系判断任务的贡献是不同的，本文没有采用简单的相加或者拼接的方法，而是采用门机制对不同粒度的特征信息进行加权相加.定义门机制如下：g=o(Wis$+W2a,+6)(4)r;=gOs,+(1-g)Oa,(5)其中，g表示门机制的注意力权重向量；W和6 表示需要学习的权重和偏置项参数，用来计算得到注意力权重向量g;表示元素智能相乘法；r表示经由特征融合层后第i个句子中第n个词的词向量嵌入表示.2.2联合优化模块经由多粒度上下文编码模块可以获得服务文本中富含上下文特征信息的词向量嵌人表示，本文采用和MATRESI一样的处理方式，用事件触发词来表示事件，即将事件触发词对应的词向量表示作为事件向量表示.接下来构建联合优化模块去挖掘服务事件之间的顺序序列关系，如图2 所示，联合优化模块包含两个子任务：Pairwise局部任务和Listwise全局任务.2.2.1Pairwise局部任务Pairwise局部任务通过间接的方式构建得到服务事件序列：首先获得服务文本中所有两个服务事件对的时序关系，再基于事件对时序关系构建得到篇章级服务事件序列.本文使用Pairwise局部任务为模型提供一个局部视角，判断事件之间的相对顺序关系。E表示服务文本d对应的服务事件集合，e,和e,表示服务事件集合E中的任意两个服务事件.Pairwise局部任务的输入为服务文本中的任意服务事件对(eie),该事件对由服务事件集合中的服务事件随机两两组合得到；输出为事件对对应的顺序序列关系(ei,ej,before)或(ei,j,after)Pairwise局部任务本质上是一个分类任务，所以使用两层的多层感知机（Multi-LayerPerceptron，MLP)神经网络作为分类模型.对于每个服务事件对，将基于MGCE模块输出的事件词向量表示进行拼接，然后将拼接得到的向量输入MLP模型，得到事件对顺序序列关系的预测概率上述过程可以形式化为：甘中分新美练重件对以及甘对早超叁数田来维持部仟损甘中465程钦男等：基于多粒度信息编码和联合优化的篇章级服务事件序列抽取方法第3期W,tanh(w.re,re+bi)+b2)(6)其中，W1，W，和6 1,b2分别表示权重矩阵和偏置向量，o表示sigmoid激活函数，tanh表示双曲正切激活函数，re，r,表示服务事件ei,e;经由MGCE模块得到事件词的特征向量表示，r表示事件对(ei,e）的顺序序列标签且rE(before,after),p(rlei,e)表示事件对(e;,e)的顺序序列关系的条件概率.Pairwise局部任务的损失函数定义为：L(0L)=-I(y,=3.)igp(s|m,t)(7)n=1，yn 刀刀应的顺序序列标签，表示模型给出的顺序序列关系的预测值，I()，Q,分别表示指示函数和参数，D，表示服务文本的数量.Pairwise局部任务的训练目标是最小化损失函数L（O L）.2.2.2Listwise全局任务受Cao et al31的启发，我们意识到，虽然Pairwise局部任务可以通过间接的方式构建得到服务事件序列，但是该方法忽略了事件序列建模是基于服务事件列表这一事实，仅仅基于Pairwise局部任务构建事件序列会让模型的学习目标变成最小化服务事件对顺序序列关系分类的误差，而不是最小化服务事件序列排序的误差，这会导致模型的效果变差.为此，本文额外提出了Listwise全局任务，该任务的思想与学习排序中的ListNet31相似.首先，训练得到一个打分模型，由模型对每个服务事件进行打分，再基于模型给出的事件分数进行排序得到最终的服务事件序列。本文同样使用两层的感知机神经网络作为打分模型，将服务文本中的每个事件经由MGCE层得到的特征向量表示输人打分模型，得到该事件对应的分值：上述过程可以形式化为：score(e)=W,tanh(Wir.+bi)+b2(8)其中，W1，W和b1,b2分别表示权重矩阵和偏置向量，r表示服务事件e经由MGCE模块得到的特征向量表示，本文使用smoothL损失函数，其定义如下：smoothLi(r,s)=(9)lr-s|-0.5,otherwiseG(0)-22smoothL,(rj.s)(10)其中，s,ri分别表示第i个服务文本中第j个事件的真实排序值和模型给出的预测分数值，List-wise全局任务的训练目标是最小化损失函数G(0c).2.2.3联合训练在模型的训练阶段，采用联合训练的方式训练Pairwise局部任务和Listwise全局任务定义联合损失函数如下：J(0)=L(0L)+G(0c)(11)失L(oL）和Listwise全局任务损失G（o c）之间的平衡.2.2.4全局推理模块在测试阶段，Listwise全局任务可以在整个事件序列中拟合事件的排序值，然后结合Pairwise局部任务的输出来获得完整的事件序列但是，基于Pairwise的方式获得的事件序列存在无法满足传递性约束的冲突，本文使用全局推理模块来进行事件关系冲突消解，全局推理模块使用的是整数线性规划（IntegerLinear Programming,ILP）,该方法被许多研究人员用于解决冲突，强化全局一致性32 ，而本文仅用于处理传递性约束。首先，设定I表示一个二元指示变量，当且仅当模型对事件对(ei,e)的顺序序列关系预测为rER时其值为1,其中,R表示事件对顺序序列标签集合R=before,after).例如，Ioeor表示e:在事件序列中排在e,之前,Pa.,表示模型对事件对(ei,e)顺序序列关系预测为r的条件概率输出。为了排除存在冲突的事件对关系预测的影响，获得全局最优的预测结果，本文定义如下的整数线性规划的目标函数：y=argmax(12)(ene.)EErER需要满足如下的约束条件：ZI,=1.(en,e,)EE(13)TERIe,+Ige-Ie1(14)约束条件（13)表示在所有事件对顺序序列关系中只能满足一个关系，当其中一个事件对关系的二元指示变量值为1时，其余事件对关系的二466第59 卷南京大学学报（自然科学）元指示变量值为0.约束条件（14）表示事件对(ei,e)的顺序序列标签为ri且事件对(ej,er)的顺序序列标签为r2时，事件对（ei，e k)的顺序序列标签r3必须满足此约束条件，3实验3.1实验参数设定在模型的训练阶段，使用BERT预训练语言模型对服务文本进行编码表示，最大序列长度设置为2 56，batch_size设置为8.使用BiLSTM模型、多头注意力机制进一步编码时，BiLSTM模型的输入维度设置为7 6 8，hidden_size设置为6 4，多头注意力机制的head参数设置为8.训练过程中使用随机梯度下降优化算法训练模型，学习率设置为0.0 0 0 6，为了防止过拟合引人dropout机制，dropout比率设置为0.5.3.2实验数据集目前还没有公开数据集可以直接用于从服务文本中提取服务事件序列，本文基于事件时序关系，抽取公开数据集TimeBank(TB），A Q U A I NT（A Q），Pla t in u m（PL),M A-TRES中的数据，构造一个可以用于服务事件序列抽取任务评估的数据集.该数据集由三列内容构成，如表1所示，分别表示文本标题、文本内容以及该文本对应的服务事件序列标签.TB,AQ和PL三个数据集中包含了许多的新闻文档，并且文档中包含的事件词已经被标注.MATRES数据集中标注了上述三个数据集每个文档中事件对的时序关系，基于MATRES提供的事件对时序关系标注可以构建得到TB，A Q,PL三个数据集中每个文档对应的事件序列标签，以此作为新的数据集来评估事件序列抽取任务，相关数据集的统计信息如表2 所示.对于该数据集的标注过程,选择TB,AQ,PL三个数据集中的全量数据进行人工标注，由两组研究生分别对相同的文档基于MATRES数据集提供的事件对时序关系标签标注其对应的事件序列.如果人工标注的事件序列结果存在差异，则双方讨论得到一致的结果，此标注过程可以确保本文构建数据集的准确性.表1本文构造的数据集信息Table1The information of the dataset constructed in this paper标题文本内容事件序列标签It just went down.The controller at Boston center triese21+OCCURRENCE+262to raise hundired.If you hear center,There is no respe30+OCCURRENCE+269ABC19980114.1830.0611.tmlonse.Later,the controller asks the Easewind pilot fore33+PERCEPTION+270more details.Ah yes,sir.It just blew up in the air,ande34+OCCURRENCE+271.from ah,coming up from that.e36+OCCURRENCE+272表2相关数据集的统计信息Table2The statistics of the related datasetDataset#Docs#Events#ESTB1832583AQ721885PL20324.Ours84594961496注：ES表示EventSequence实验过程中，TB和AQ为训练数据集,PL为测试数据集，同时，从训练集中随机选取2 0%的数据作为验证集用来调整超参数，3.3评价指标为了与已有的相关研究进行对比，从两个角度对实验结果进行评估，具体如下，（1)从局部角度对实验结果进行评估，对应Pairwise局部任务，该任务本质上是关于事件对顺序序列关系的二分类任务.采用准确率（Accu-racy）、精确率（Precision）、召回值（Recall）和F1-score作为Pairwise局部任务的评价指标.（2)从全局角度对实验结果进行评估，对应Listwise全局任务.传统的排序模型通常根据归一化累计折损增益（Normalized Discounted Cu-mulative Gain,NDCG)和平均精度(Mean Aver-age Precision,MAP)进行评估，但这两个评价指标都关注排名前 位的文档，这对于文档检索任务来说是有意义的，但不适用于事件序列抽取任务，因为本文关注的是所有事件的顺序序列关467程钦男等：基于多粒度信息编码和联化的篇章级服务事件序列抽取方法第3期系3.采用最长公共子序列（LongestCommonSubsequence，LCS)作为Listwise全局任务的评价指标，字符串的子序列指的是从原始字符串中删除一些字符（也可以不删除)但是不改变其他字符相对顺序的新字符串，该评价指标先计算模型给出的事件序列预测结果与其真实结果的最长公共子序列，再计算最长公共子序列的长度占其真实事件序列长度的百分比.假定模型给出的预测结果为ypred，真实结果为ytrue，该评价指标对应的计算形式如下：lcspred.true=LCS(ypred,Ytrue)(15)lcS pred,trueLCS_Rate=(16)true3.4基线方法选择以下方法作为基线方法远干人（1)排序模型（文本顺序）13：该方法基于事件真实发生顺序与文本描述顺序一致的假设，基于事件在文本中出现的顺序来对事件进行排序.使用该基线方法是想通过对比实验来证明进行事件序列抽取的必要性。（2)基于BiLSTM的Pairwise方法5：在事件时序关系提取相关研究中，BiLSTM模型被大量使用且取得了不错的效果，选取该方法作为基线方法，且在模型实现上与Hanetal5相同.（3）学习排序模型ListNet3：Je b l e e a n dHirst3基于排序模型ListNet,从医学临床文本中生成临床事件的时间线，即事件序列，为了对比实验的公平性，本文没有使用额外的语言学特征，特征表示是基于BiLSTM模型完成的.3.5实验结果分析3.5.1实验1：从局部角度验证模型的性能局部视角的对比实验结果如表3所示，表中黑体字表示最优性能，由表可见，本文方法的局部评价指标均优于基线方法：与Textorder相比，本文模型的Accuracy提高15.6 4%；与ListNet相比，本文模型的Accuracy提高8.2 3%；与基于BiLSTM的pairwise方法相比，本文模型的Accuracy，Pr e-cision,Recall,F1-score分别提高3.0 9%,4.47%,4.01%，4.2 4%.证明了本文方法的有效性.3.5.2实验2：从全局角度验证模型的性能除了局部角度，本文还从全局角度验证了模型的性表3局部视角对比实验的结果Table 3Comparative experimental results of the localperspective方法AccuracyPrecisionRecall.F1-scoreTextorder75.31%一ListNet82.72%BiLSTM-BasedPairwise87.86%84.21%82.42%83.30%Ours90.95%88.68%86.43%87.54%能.全局视角的对比实验结果如表4所示，表中黑体字表示结果最优，由表可见，本文方法的全局评价指标也均优于基线方法：表4全局视角对比实验的结果Table 4Comparative experimental results of the globalperspectiveMethodLCS_RateText order70.89%ListNet81.53%BiLSTM-based pairwise82.67%Ours88.83%3.5.3实验3：消融实验为了验证模型中不同模块的作用，还进行了消融实验，实验结果如表5和表6 所示，表中黑体字表示结果最优.在多粒度上下文编码模块中不使用BiLSTM模型，即不考虑句子级别的上下文信息，无论是从局部评价指标还是全局评价指标来看，模型的性能都出现下降同理，在多粒度上下文编码模块中不使用多头注意力机制，即不考虑跨句子级别的上下文信息，模型的性能也出现了下降.这两组消融实验的结果进一步证明了多粒度上下文编码模块的必要性，即在事件序列建模时结合多粒度的上下文信息能够提高模型的性能.本文还对比了多任务联合优化和单任务训练方式下的