基于篇章图模型的中文事件时序关系识别.pdf

第3 8卷 第1期2 0 2 4年1月中文信息学报J OUR NA LO FCH I N E S EI N F O RMAT I ONP R O C E S S I NGV o l.3 8,N o.1J a n.,2 0 2 4文章编号:1 0 0 3-0 0 7 7(2 0 2 4)0 1-0 1 0 7-0 8基于篇章图模型的中文事件时序关系识别李 婧,徐 昇,李培峰(苏州大学 计算机科学与技术学院,江苏 苏州2 1 5 0 0 6)摘 要:事件时序关系识别是信息抽取中一项十分重要且极具挑战性的任务。此前大部分工作都集中在句子级别上,忽略了篇章级别(同句、邻句和跨句)的事件时序关系识别。针对此问题,该文提出了一种基于篇章图模型的篇章级事件时序关系识别方法,该方法通过分别构造句法层次和篇章级别的图卷积神经网络将篇章中融合了句法特征的所有事件进行信息交互,以达到丰富特征的目的,进而使得模型可更好地识别篇章级时序关系。该文提出的方法在A C E 2 0 0 5-e x t e n d e d中文事件时序关系语料库上的微平均F1值达到7 1.8 1%,比最好的基准系统提升了1.7 6个百分点。关键词:事件时序关系;篇章级别;图卷积神经网络中图分类号:T P 3 9 1 文献标识码:AC h i n e s eE v e n tT e m p o r a lR e l a t i o nI d e n t i f i c a t i o nv i aD o c u m e n t-L e v e lG r a p hL I J i n g,XUS h e n g,L IP e i f e n g(S c h o o l o fC o m p u t e rS c i e n c ea n dT e c h n o l o g y,S o o c h o wU n i v e r s i t y,S u z h o u,J i a n g s u2 1 5 0 0 6,C h i n a)A b s t r a c t:E v e n tt e m p o r a lr e l a t i o ni d e n t i f i c a t i o ni sac h a l l e n g i n gs u b t a s ko fi n f o r m a t i o ne x t r a c t i o n.M o s tp r e v i o u sw o r k sa r e f o c u s e do n i d e n t i f y i n gs e n t e n c e-l e v e l t e m p o r a l r e l a t i o n,f a i l i n g t oa d d r e s sd o c u m e n t-l e v e l r e l a t i o n(i.e.,i n-t r a-s e n t e n c e,a d j a c e n t-s e n t e n c ea n dn o n a d j a c e n t-s e n t e n c er e l a t i o n).T oa d d r e s s t h i s i s s u e,w ep r o p o s eam o d e l o f e-v e n t t e m p o r a l r e l a t i o ni d e n t i f i c a t i o no nd o c u m e n t-l e v e lg r a p h.I tc o n s t r u c t st w oG r a p hC o n v o l u t i o n a lN e t w o r k st oe n c o d es y n t a c t i ci n f o r m a t i o na n de v e n ti n t e r a c t i o ni n f o r m a t i o n,r e s p e c t i v e l y.T h ee x p e r i m e n t a lr e s u l t so nt h eC h i n e s eA C E 2 0 0 5-e x t e n d e dd a t a s e ts h o wt h a tt h ep r o p o s e d m o d e la c h i e v e s7 1.8 1%i n m i c r o-F1m e a s u r e,w i t h1.7 6%i m p r o v e m e n t c o m p a r e dw i t ht h eb e s tb a s e l i n e.K e y w o r d s:e v e n t t e m p o r a l r e l a t i o n;d o c u m e n t-l e v e l;g r a p hc o n v o l u t i o n a ln e u r a l n e t w o r k收稿日期:2 0 2 2-0 1-2 1 定稿日期:2 0 2 2-0 3-3 0基金项目:国家自然科学基金(6 1 8 3 6 0 0 7,6 2 0 0 6 1 6 7)0 引言事件时序关系描述了不同事件发生的先后顺序1(如前(B E F O R E),后(A F T E R)等)。在该任务中,事件通常指一个单独的词语,例如,在句子S 1中,事件“示威”发生在“受伤”之前,因此,“示威”和“受伤”的时序关系为“B E F O R E”。事件时序关系识别是自然语言处理中的一个重要课题,获得了越来越多的研究者的重视,该任务对于特定领域的相关工作有很大帮助。例如,在自动摘要2中,可以通过理清事件发展的顺序而梳理文本脉络,有效进行摘要的推理与生成;在自动问答3中,可以为一些涉及到时间关系的问题提供线索,为其匹配更加合理的答案。S1:在警方驱散示威人群的过程中,至少有5个人受伤。近年来,比较流行的事件时序关系语料库有T i m e B a n k4和T i m e B a n k-D e n s e5等,然而这些语料库都只聚焦于句子级事件时序关系,即两个事件出现在同句或者邻句中。句子级事件时序关系不适合应用于篇章级别的自然语言处理任务中,如文本时间轴构建和故事时间线构造等。此外,受限于语料库,目前绝大多数事件时序关系识别研究聚焦于中 文 信 息 学 报2 0 2 4年英文,中文事件时序关系识别研究进展较慢。相对于英文而言,中文表达方式更多变,句间连接词更少,给该任务带来了更大挑战6。为了进一步挖掘整篇文章中各事件间的时序关系,本文将研究篇章级中文事件时序关系识别,研究对象包括同句、邻句和跨句的中文事件时序关系。相较于句子级中文事件时序方法,篇章级方法可更多地考虑到相距较远的两个事件间的时序关系,这对于一些篇章级别的下游任务有很大的现实应用价值。如图1所示,本文在该篇章中标出了6个事件实例(用事件触发词表示),为了简化此图,只列出了其中5个时序关系(实际上任意两个事件实例间都存在某种时序关系),包括同句、邻句和跨句关系。该篇章围绕一个主题展开,包含多个事件实例。为了梳理清楚事件的发展脉络,将所有事件实例进行时序关系识别很有必要。如果仅仅在句子级研究时序关系,那么一整条时间轴将会被割裂,从而无法很好地梳理篇章脉络及大意,无法为下游任务服务。图1 篇章级别事件时序关系识别示例图 相较句子级事件时序关系识别,篇章级任务更加困难。由于跨句的两个事件在物理上孤立,事件之间缺乏必要的句法级别的交互信息(如连接词、共用的事件论元等)。因此,模型很难学习到两者之间的联系,从而难以识别两者的时序关系。R e i m e r s等人7和N a i k等人8指出,在现有的语料库中,篇章级事件时序关系标注的流行程度较低,这使得以前仅考虑事件对局部特征的模型不适用于篇章级事件时序 关 系 识 别,例 如,最 短 依 存 路 径(S h o r t e s tD e p e n d e n c eP a t h,S D P)9。此外,传递性是事件时序关系的特有属性,篇章级事件时序关系识别任务更需要利用不同事件实例间的时序关系传递性特性,以达到利用中间事件实例作为桥梁来连接相隔较远事件实例的效果。针对以上挑战,本文提出一种基于篇章图模型的中文 事件时序关 系识别模型,主要贡献 如下:(1)本文提出一种事件时序关系识别方法,有效地通过两种图模型提升篇章时序关系识别性能;(2)本文通过篇章图模型将一个篇章中的所有事件相互连接交互信息以加强跨句的时序关系识别性能;(3)在篇章级中文事件时序关系语料上的实验表明,本文方法的性能优于现有最好的方法。1 相关工作目前几乎所有事件时序关系语料库都集中在英文 上,例 如,T i m e B a n k4,T i m e B a n k-D e n s e5和MAT R E S1 0,这些语料库都只标注了句子级时序关系,却忽视了 篇章 级 时 序 关 系。在T i m e B a n k-D e n s e的基础上,N a i k9等人第一次构建了一个篇章级别的英文事件时序关系语料T D D。中文事件时序关系语料库相较于英文更加少,L i等人6创建的由7 0 0多条句子组成的时序语料库和T e m p E v a l1中的一个小型事件时序关系数据集都规模太小。大部分中文事件时序关系识别的研究都在A C E 2 0 0 5-e x t e n d e d时序关系语料库1 1上展开,该语料库将一篇文章中预先定义类型的事件两两之间全部标注上时序关系,包括同句、邻句和跨句,由此形成了全连接的篇章级中文事件时序关系语料库。绝大部分的事件时序关系识别研究是句子级且针对英文。在英文上,传统的统计学习方法1 2-1 4专注于提取文本中的各种特征,如实体特征,词性特征和形态学特征等,并在此基础上使用分类器进行分 类,如 支 持 向 量 机,决 策 树 和 最 大 熵 分 类器等。随着机器学习的发展,近期的工作多数使用神经网络来进行事件时序关系识别。受X u等人1 5的启发,C h e n g和M i y a o1 6使用最短依存路径作为双向长短期记忆网络的输入来识别同句和邻句的事件时序关系,在不使用任何手工特征的情况下,取得了和当时最好的模型相当的性能。Z h a n g等人1 7构建了一个句法导向图模型来获取事件间深层次的联8011期李婧等:基于篇章图模型的中文事件时序关系识别系。为了获取更加丰富的特征表示,联合学习1 8和多任务学习1 9的方法也被应用于该任务中。为了克服输入端信息过少的限制,外部知识库被用来增加更多的信息以达到更好的分类性能2 0。相较于句子级别的事件时序关系识别,较少的工作集中在篇章级别任务上。篇章 级 事 件 时 序 关 系 识 别 相 关 研 究 较 少。N a i k等人8在篇章级语料库T D D上复现了一些常规 的 方 法(如MA J O R I T Y、B i-L S TM)。L i u等人2 1将每篇文章看作一个无导向的图,结点代表事件,边代表事件间时序关系,通过遮掩边的方法来训练模型让其学习事件间的时序依赖关系。只有很少的研究集中在中文上。与英文上的研究类似,早期的工作都是使用统计学习的方法,如概率决策树(P r o b a b i l i s t i cD e c i s i o nT r e e)2 2和朴素贝叶斯模型(N a i v eB a y e s i a nC l a s s i f i e r)2 3等被用来分析句子间的时序关系。L i等人1 1第一次使用词汇特征、句法特征和全局优化的方法(如事件相关性和连接约束)进行篇章级别的中文事件时序关系识别。综上所述,无论在英文上还是中文上,大多数方法只是针对句子级别的事件时序关系识别。本文提出了一种篇章级事件时序关系识别方法,通过事件句间的相邻关系来构建篇章级别的图模型,让相隔较远的事件词之间可以进行信息交互,以达到让事件间的关系可以互相传递的目的。2 基于篇章图模型的中文事件时序关系识别方法 本文构建两种图卷积神经网络(G r a p hC o n v o-l u t i o n a lN e t w o r k,G C N)2 4,分别编码事件句的句法信息和交互篇章中所有的事件信息,再结合事件句的语义信息,对一个篇章中所有的事件对进行时序关系识别,模型图的总体架构如图2所示,共包含四个模块:1)语义信息编码模块:将事件词所在的事件句进行拼接,同时添加事件词相关的属性信息,获取完整的语义信息;2)句法信息编码模块:根据以事件词为起点的最短依存路径构建句内图模型,获取与事件词高度相关的句法信息;3)事件信息交互模块:根据事件词所在事件句的相邻关系构建篇章图模型,让事件词之间可以更好地交互信息;4)时序关系分类模块:将上述特征进行融合,使用S o f t m a x对其进行时序关系的分类预测。下面针对模型的相关模块进行详细说明。图2 模型架构图901中 文 信 息 学 报2 0 2 4年2.1 语义信息编码模块为了更好地获取事件句完整的语义信息,在输入端,本文将两个事件句进行拼接,用E1 和E2分别表示两个事件词的开始,E1/和E2/分别表示两个事件词的结束。介于B E R T2 5在处理序列相关任务上较优的性能,本文选用B E R T在中文上的变体B E R T-wwm2 4作为事件句的编码器,并在事件词后面添加与之密切相关的五种属性(时态(T e n s e),类 型(T y p e),极 性(P o l a r i t y),泛 型(G e n e r i c i t y),形态(M o d a l i t y)以进一步扩充事件词的特征2 6。五种事件属性信息插入事件词的后面,事件词开始标签E1 E2 和结束标签E1/E2/分别插入两个事件词开始之前与属性信息结束之后。输入端构造如式(1)所示。S=C L S,w1,w2,E1,wi,wj,a t t r i b u t e s_1,E1/,wm,S E P,t1,t2,E2,tk,tl,a t t r i b u t e s_2,E2,tn,S E P(1)其中,C L S 表示句子的开始,两个S E P 用来分隔两个句子和表示句子的结束。w1,wm 和t1,tn 分别表示两个事件句。m和n为两个事件句的长度。wi,wj(i1,jm)和tk,tl(k1ln)分别表示两个事件词,长度分别为j-i+1,k+1。两个事件词的五种属性分别表示为a t-t r i b u t e s_1=e1,e2,e5 和a t t r i b u t e s_2=f1,f2,f5。取B E R T-wwm输出端的C L S 的表示ci作为两个事件句融合后的语义表示,记q为一个篇章中所有事件的个数,将篇章中所有事件对语义向量两两融合后表示为oc=c(1,2),c(1,3)c(2,1),c(2,3)c(i,j)c(q,q-q)(ij),(q*(q-1)/2为篇章中所有的时序关系数。2.2 句法信息编码模块句法信息在很大程度上可以帮助模型理清一句话的结构,从而排除一些无用的冗余信息。本文使用最短依存路径作为与事件词相关的句法结构信息,以获取与事件词高度相关的句法信息。最短依存路径是句法树中两个特定词之间连接到某个相同结点的最短路径,C h e n g等人1 6首次将该方法应用于事件时序关系识别任务且提出一种公共根的假说。本文中使用的最短依存路径是从事件词为起点,以每个事件句的根结点为终点,构造一条从事件词到根节点的最短依存路径。图卷积神经网络2 7通过邻居结点之间的传播和聚合来学习更加丰富的特征,被广泛用于学习图结构的高级特征,并取得了显著的效果。因此,本文使用G C N作为句法信息的编码器,以最短依存路径上的词语为结点,词语间是否有依存关系为边(有关系则为1,否则为0),边为双向且加入自环,构造一种句子级别的图模型。结构如图2的句法信息编码模块所示,其输入端的S D P为图1中句子S 8的最短依存路径。在图模型的输入端,本文使用L i2 8等人提出的一种中文词向量,将最短依存路径上的词语通过该词向量映射为实值向量集合ia d p=i1,i2,is,其中s为最短依存路径的序列长度,该向量集合作为图模 型 的 结 点 特 征,图 模 型 的 传 播 如 式(2)所示。Hl+1=D-12AD-12H(l)W(l)(2)其中,层数l设置为2,H(l)为每一层的特征,对于输入层,则为is d p,A为邻接矩阵和单位矩阵的结合,D为A的度矩阵,W(l)为待训练权重参数,为R e L u函数。在输出端,取事件词对应位置的表示hi,并将一个篇章中的所有事件词表示进行拼接,作为篇章级图模型的输入特征h=h1,h2,hi,hj,hq,其中,q为一个篇章中所有事件词的个数。2.3 事件信息交互模块篇章级别的事件时序关系大多数关系都为跨句关系。由于跨句的事件实例相隔较远距离,语义不连续,句子结构无法通过C h e n g等人1 6提出的虚拟根相连。因此,此前专注于研究同句和邻句的时序识别方法并不适用于跨句。提升篇章级别事件时序关系识别的性能,必须要提升跨句事件时序关系的识别准确度。鉴于时序关系特有的传递性,本文将一个篇章中所有的事件构建成篇章级图卷积模型,通过节点之间的特征传递聚合,以补充两个相隔较远的事件词之间的额外信息,以此来提升跨句事件时序关系分类的性能。在构建篇章级别图模型时,以一个篇章中所有的事件词作为结点,以两个事件词所在的事件句是否相邻作为边,若相邻则为1,否则为0,且为双向的关系,对每个事件句都加入自环,如图2中的事件信息交互模块所示。这样可以通过相邻句的不断传播扩散特征,来丰富跨句事件词的特征,以达到将跨句事件相连的目的。0111期李婧等:基于篇章图模型的中文事件时序关系识别图模型的传播公式与2.2节相同。该篇章级别图模型与2.2节的句内图模型不共享参数,图模型的层数设置为2,在输入端,事件词的特征为2.2节中的h,为R e L u函数。事件特征集合中的每个事件词在句内图模型中都聚合了其所在的最短依存路径的句法特征,因此在篇章级图模型中每个事件将携带丰富的句法特征,通过将句法特征进行传播融合以连接本来无法相连的跨句事件词。在图模型的输出端,获取一个篇章中所有事件词的表示d=d1,d2,di,dj,dq,将两两事件表示进行拼接,得到od=d(1,2),d(1,3),d(2,1),d(2,3),d(i,j),d(q,q-1)(ij),其中,d(i,j)=didj,表示拼接,每个篇章中的时序关系数为(q*(q-1)/2。每个拼接的事件对除了包含了自身事件句的句法特征,还融合了篇章中其他事件句的句法特征,以帮助模型进行时序关系识别。2.4 时序关系预测模块该模块将上述模块所获得的所有事件对(T个)的语义信息Oc以及融合后的句法信息Od进行全连接融合,使用激活函数R e L u进行非线性融合,再使用S o f t m a x进行时序关系分类预测后得到结果O。计算公式如式(3)所示,其中,Oc为T*m的语义矩阵,Od为T*n的句法矩阵,m和n分别为语义模块和句法模块的维度数。W和b分别为全连接层的权重 矩 阵 和 偏 置。本 文 采 用 学 习 率 为3 e-5的A d a m优化器来最小化交叉熵损失(C r o s s-E n t r o p y)并且通过反向传播来更新参数。O=S o f t m a x(R e L u(W*(ocod)+b)(3)3 实验本节首先介绍数据集和实验相关参数的设置;接着对比本文的模型和其他模型运行效果;最后进行消融实验分析。3.1 实验设置本文采用L i等人1 1标注的基于A C E 2 0 0 5-e x-t e n d e d中文事件时序关系语料库,该语料库标注了每两个事件词之间的时序关系并形成了一个全连接图,该语料库标注了四种时序关系:前(B E F O R E)、后(A F T E R)、重叠(O V E R L A P)和未知(U N K N OWN),样本统计如表1所示。可以看出,跨句的事件对占比高达7 1.8%,这足以说明跨句的事件时序关系识别对于篇 章级别的事 件时序关系 识 别 非 常重要。表1 A C E 2 0 0 5-e x t e n d e d样本统计类型前后重叠未知数目36 1 836 1 824 6 612 7 4类型同句邻句跨句数目11 0 619 9 078 8 0 本文采用和L i1 1等人一致的数据划分和评测标准。采用五折交叉验证(具体划分与L i一致)并且使用相同的评估指标A c c u r a c y,该指标在该任务中与M i c r o-F1相同,因为每两个事件间的时序关系必然属于上述四种时序关系之一。本文使用P y t o r c h作为深度学习的框架,在每一折中本文训练1 5个e p o c h s,b a t c h的大小为2,并加入E a r l yS t o p p i n g和D r o p o u t防止过拟合,分别设置为5和0.5。外部词向量的维度为3 0 0,B E R T-wwm的输出维度为7 6 8。3.2 实验结果为了验证本文提出模型的性能,本文将与其他6个基准系统比较,具体如下:(1)MA J O R I T Y:给所有事件对的事件时序关系分配一个占比最多的时序标签;(2)G I M1 1:使用传统机器学习进行时序关系推理的方法,输入端使用多种特征,结合自反性和传递性进行全局优化;(3)D G I M1 1:在G I M基础上融入了事件相关性约束、连接约束、事件同指约束等全局优化方法,是目前在A C E 2 0 0 5-e x t e n d e d上中文事件时序关系分类任务效果最优的方法;(4)S D P1 6:在T i m e B a n k-D e n s e语料库中首次使用S D P,将S D P上的词语、词性、依存关系拼接作为 双 向 长 短 期 记 忆 网 络(B i-d i r e c t i o n a lL o n gS h o r t-T e r m M e m o r y,B i-L S TM)的输入,本文将其模型复现后在中文语料库上进行实验;(5)G C N2 9:在T i m e B a n k-D e n s e语料库中利用图卷积神经网络获取最短依存路径上不相邻的词语的依存关系。本文将其复现后在中文语料库上进行实验;(6)T R I M I2 6:利用B E R T-wwm和B i-L S TM分别编码语义信息和联合S D P上的句法信息,在A C E 2 0 0 5-e x t e n d e d上进行实验。111中 文 信 息 学 报2 0 2 4年表2给出了基准模型和本文所提出模型的整体和三个子类别(同句、邻句和跨句)的M i c r o-F1。可以看出,本文所提出的模型在整体M i c r o-F1获得了最优性能7 1.8 7%,且本文所针对的跨句时序关系识别性能比目前最优的模型T R I M I提升了1.6 8。此外,通过相邻事件句的信息交互可以将两个事件句的语义信息和句法信息相连接,邻句的识别性能提升0.8 2。然而,同句的识别性能相较于T R I M I下降了0.4,这可能是由于同句的事件之间本身具有较强的语义信息和句法连结,篇章图模型的传播聚合为其引入了一些冗余信息,使得模型混淆进而无法正确判断其时序关系。表2中的实验结果充分证明了本文方法在篇章级别事件时序关系识别任务中的有效性。表2 不同模型在A C E 2 0 0 5-e x t e n d e d事件时序关系语料库上的结果(显著性测试:p 0.0 5)(结果省略%)M o d e lM i c r o-F1同句邻句跨句MA J O R I T Y3 2.9 73 6.0 63 1.3 53 2.9 6G I M6 4.1 26 9.1 36 5.4 76 1.8 7D G I M6 8.3 67 2.2 56 9.0 96 6.7 5S D P5 4.2 85 6.9 95 1.1 15 4.7 9G C N5 5.3 25 5.9 85 2.5 65 5.0 4T R I M I7 0.1 17 3.5 27 1.9 86 8.5 6OUR S7 1.8 77 3.1 27 2.8 07 0.2 4 从表2可以看出,在未依赖大量手工标注特征的情况下,本文所提出的方法与传统的统计学习的方法G I M和D G I M相比,在总体M i c r o-F1获得了更优的性能(+7.7 5/+3.5 1)。虽然D G I M针对该任务融合了多种约束进行全局优化,然而在三个子类别 尤 其 在 跨 句 上,本 文 所 提 出 的 方 法 相 较 于D G I M提升了3.4 9。由此可见,篇章级图模型的构造对跨句的事件时序关系识别有很大的帮助。神经网络方法S D P和G C N主要是针对同句事件时序关系识别,因此应用于篇章级事件时序关系语料库A C E 2 0 0 5-e x t e n d e d时,并未取得很高的性能。此外,由于A C E 2 0 0 5-e x t e n d e d语料库中同句占比很小(1 1.1%),这两种方法在同句事件时序关系识别上也并未取得很好的性能。而本文所提出的方法在整体和三个子类别的性能上都相较于S D P和G C N有了很大的提升,这说明本文根据最短依存路径构造的句内图模型和篇章级别的图模型可以很大程度上提升篇章级别的事件时序关系识别性能。相较于目前最优的模型T R I M I,除了同句该子类别外,本文提出的方法都获得了一定的提升,即使T R I M I中也使用了B i-L S TM编码句法结构信息,但本文采用图模型来编码句法信息,并接着将篇章中的所有事件信息进行交互,使得跨句事件可能获得更多的信息,足以说明本文提出方法的有效性。3.3 实验分析为了验证本文所提出不同信息对整体、同句、邻句和跨句的影响,本文设计了以下消融实验:(1)-句内G C N:删除句内图模型。即直接使用外部词向量Em b e d d i n g后的事件词表示作为篇章级图模型的输入;(2)-篇章G C N:删除篇章级图模型。即在图2中删除事件信息交互模块;(3)句内G C N替换为B i-L S TM:将句内图模型替换成B i-L S TM。即在句法信息编码模块中,将最短依存路径作为B i-L S TM的输入,将最后一个时间步的双向向量表示拼接后作为篇章级图模型的输入。结果如表3所示。若去除本文模型中的句内G C N(-句内G C N),而直接使用编码后的事件词作为篇章级图模型的结点,性能在整体下降了0.9 4,且在三个子类别上皆有所下降(-0.5 6/-1.0 7/-0.6 2)。这是由于句法信息对提升事件时序关系识别的性能有所帮助,G C N可以很好地聚合不相邻词语间的特征。以这样的事件词表示来构建篇章级G C N的节点,可以为其他事件提供更多有关本事件的信息,以弥补输入端信息过少的缺陷。表3 消融实验结果(结果省略%)M o d e lM i c r o-F1同句邻句跨句OUR S7 1.8 77 3.1 27 2.8 07 0.2 4-句内G C N7 0.9 37 2.5 67 1.7 36 9.6 2-篇章G C N6 9.2 47 1.8 07 0.9 66 7.5 6句内G C N替换为B i-L S TM7 1.1 37 3.2 07 1.7 96 9.6 2 删除篇章级图模型(-篇章G C N),整体和跨句的性能下降较多(-2.6 3/-2.6 8),因为篇章级别的事件时序关系中绝大部分还是跨句,而针对于跨句的事件时序关系识别。本文使用篇章级G C N将不同事件之间的特征进行传播聚合,若去除了该部分,则跨句的性能会大幅下降。跨句的事件都独立存在,不连续的语义和句法信息都容易导致模型将其错误分类。如图1所示,其中S 1中的“砍杀”和“送2111期李婧等:基于篇章图模型的中文事件时序关系识别往”的时序关系是“A F T E R”,然而仅靠两个事件句无法将两个事件词进行相连。由于输入到篇章图模型的事件词表示都融合了最短依存路径信息,因此通过中间句子的事件词“嗑药”、“行凶”等,可以将S 1中的砍杀的主人公“一名男子”与S 8中的“精神恍惚的歹徒”进行连接,进一步判断“砍杀”和“送往”的时序关系为“A F T E R”。对比实验结果证明本文提出的图模型G C N能更好地提升跨句的事件时序关系识别性能。此前B i-L S TM通常被应用于编码最短依存路径,而相较于B i-L S TM,G C N作为最短依存路径的编码器性能更优(+0.7 4),这是因为B i-L S TM是按照时间步来处理词语,即使有正和反两个方向,S D P上离得较远的词语在传播的过程中依然会丢失一些特征,无法获取长期依赖,而G C N是通过邻居结点来不断地传播聚合,相较于B i-L S TM可以更好地保留特征。4 结论本文提出了一种基于篇章图模型的中文事件时序关系识别方法。该方法利用句内图模型编码最短依存路径,构造篇章级别事件图来交互信息,再加以进一步融合两个事件句的语义信息,以更好地进行篇章级别事件时序关系的识别。在A C E 2 0 0 5-e x-t e n d e d上的实验表明,本模型在跨句和整体性能上都取得了最佳性能。参考文献1 V E RHA G E N M,R O S E RS,C A S E L L IT,e ta l.S e-m E v a l-2 0 1 0t a s k1 3:T e m p E v a l-2C/P r o c e e d-i n g so f t h e I n t e r n a t i o n a lW o r k s h o po nS e m a n t i cE v a l u-t i o n,2 0 1 0:5 7-6 2.2 D I VYAN S HU D.C o m b i n i n gt e m p o r a le v e n tr e l a t i o n sa n dp r e-t r a i n e dl a n g u a g e m o d e l sf o rt e x ts u mm a r i z a-t i o nC/P r o c e e d i n g so f t h e I E E EI n t e r n a t i o n a lC o n-f e r e n c eo nM a c h i n eL e a r n i n ga n dA p p l i c a t i o n s,2 0 2 0:6 4 1-6 4 6.3 Z HE NJ,A B D A L GHAN IA,R I S H I R A JS,e t a l.T e-q u i l a:T e m p o r a lq u e s t i o na n s w e r i n go v e rk n o w l e d g eb a s e sC/P r o c e e d i n g so ft h e A CM I n t e r n a t i o n a lC o n f e r e n c eo nI n f o r m a t i o na n d K n o w l e d g e M a n a g e-m e n t,2 0 1 8,1 8 0 7-1 8 1 0.4 J AME SP,P A T R I C K H,R O S E RS,e t a l.T h e t i m e-b a n kc o r p u sC/P r o c e e d i n g so f t h eC o r p u sL i n g u i s-t i c s,2 0 0 3:6 4 7-6 5 6.5 C A S S I D Y T,MC D OWE L L LB,CHAMB E R SN,e ta l.A na n n o t a t i o nf r a m e w o r kf o rd e n s ee v e n to r d e r i n gC/P r o c e e d i n g so f t h eA n n u a lM e e t i n go f t h eA s s o-c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s,2 0 1 4:5 0 1-5 0 6.6 WE N J I EL,KAMF A IW,GU I HONGC,e ta l.A p-p l y i n g m a c h i n el e a r n i n gt oc h i n e s et e m p o r a lr e l a t i o nr e s o l u t i o nC/P r o c e e d i n g so f t h eA n n u a lM e e t i n go ft h eA s s o c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s,2 0 0 4:5 8 2-5 8 8.7 N I L SR,NA Z AN I ND,I R YNA G.T e m p o r a l a n c h o-r i n go f e v e n t s f o r t h et i m e b a n kc o r p u sC/P r o c e e d-i n g so ft h e A n n u a l M e e t i n go ft h e A s s o c i a t i o nf o rC o m p u t a t i o n a lL i n g u i s t i c s,2 0 1 6:2 1 9 5-2 2 0 4.8 AAKANK S HAN,L UK EB,C A R O L YNR.T DD i s-c o u r s e:A D a t a s e tf o rd i s c o u r s e-l e v e lt e m p o r a lo r d e-r i n go f e v e n t sC/P r o c e e d i n g so f t h eA n n u a lS i g d i a lM e e t i n go nD i s c o u r s ea n dD i a l o g u e,2 0 1 9:2 3 9-2 4 9.9 B AN DRC,MOON E YRJ.As h o r t e s tp a t hd e p e n d-e n c yk e r n e l f o r r e l a t i o ne x t r a c t i o nC/P r o c e e d i n g so ft h eH u m a nL a n g u a g eT e c h n o l o g yC o n f e r e n c e a n dC o n-f e r e n c eo n E m p i r i c a l M e t h o d si n N a t u r a lL a n g u a g e,2 0 0 5:7 2 4-7 3 1.1 0 Q I ANGN,HAO W,D AN R.A m u l t i-a x i sa n n o t a-t i o ns c h e m ef o re v e n tt e m p o r a lr e l a t i o n sC/P r o-c e e d i n g so f t h eA n n u a lM e e t i n go f