动态聚合实体和关系上下文的知识图谱补全.pdf

第 49卷 第 8期2023年 8月Computer Engineering 计算机工程动态聚合实体和关系上下文的知识图谱补全马坤，安敬民，李冠宇（大连海事大学 信息科学技术学院，辽宁 大连 116026）摘要：目前关于知识图谱补全的研究通常只进行实体嵌入增强，弱化了关系附加信息对链路预测的影响，并忽略了知识图谱中实体和关系的结构关联关系。为解决上述问题，提出一种动态聚合实体和关系上下文的知识图谱补全模型(DAERC)。采用编码器-解码器结构，获取并筛选最优上下文来增强实体和关系表示。编码器使用改进的图注意力机制设计关系和实体聚合器，以累乘的方式动态聚合上下文信息，并将关系聚合器的输出应用于实体聚合过程，缓解了因独立聚合造成的实体关系交互性较弱的问题。解码器通过不同的评分函数获取每个候选三元组的得分，验证三元组的合理性。实验结果表明，DAERC 有效地增强了 TransE、ConvE、RotatE 这 3类知识图谱嵌入模型的实体和关系嵌入表示能力，在 FB15k-237和 WN18RR 数据集上 Hits10指标相较于表现最好的对照 CoNE模型分别提升约 5.2%、2.1%、1.7%和 7.2%、2.3%、2.2%。关键词：知识图谱补全；图结构；上下文；注意力系数；动态聚合开放科学（资源服务）标志码（OSID）：中文引用格式：马坤，安敬民，李冠宇.动态聚合实体和关系上下文的知识图谱补全 J.计算机工程，2023，49（8）：77-84，95.英文引用格式：MA K，AN J M，LI G Y.Knowledge graph completion with dynamically aggregating context of entity and relation J.Computer Engineering，2023，49（8）：77-84，95.Knowledge Graph Completion with Dynamically Aggregating Context of Entity and RelationMA Kun，AN Jingmin，LI Guanyu（Information Science and Technology College，Dalian Maritime University，Dalian 116026，Liaoning，China）【Abstract】Most of the recent research on Knowledge Graph Completion（KGC）usually enhances entity embedding alone，which weakens the impact of additional information about relation on link prediction and ignores the structural association relation between entities and those in the knowledge graph.To address these issues，a KGC model with dynamic aggregation of the contexts of entities and relations，called DAERC，is proposed.The model is an encoder-decoder architecture；it obtains and filters the optimal contexts to enhance entity and relation embedding representation.The encoder uses an improved graph attention mechanism to design a relation and an entity aggregator that dynamically aggregates context information by multiplying.Furthermore，it applies the output of the relation aggregator to the entity aggregator，and alleviates the problem of weak entity-relation interactivity caused by independent aggregation.The decoder obtains the score of each candidate triplet through different score functions to predict the plausibility for each triplet.The results reveal that the DAERC effectively enhances the ability to embed and represent entities and relations for three different Knowledge Graph Embedding（KGE）model：TransE，ConvE，and RotatE.On the FB15k-237 dataset，compared to the best performing CoNE model applied to TransE，ConvE，and RotatE，DAERCs Hits10 is increased by approximately 5.2%，2.1%，and 1.7%，and improved by approximately 7.2%，2.3%，and 2.2%on the WN18RR dataset.【Key words】Knowledge Graph Completion（KGC）；graph structure；context；attention coefficient；dynamic aggregationDOI：10.19678/j.issn.1000-3428.00654100概述2012年11月，Google公司提出知识图谱（Knowledge Graph，KG）1概念。KG 是大规模语义网络知识库，采取符号化的知识表示方式，利用三元组来描述真实世界中实体和实体之间的关联2，并以有向图的基金项目：国家自然科学基金（61976032）。作者简介：马 坤（1997），女，硕士研究生，主研方向为知识图谱补全；安敬民，博士研究生；李冠宇（通信作者），教授、博士生导师。收稿日期：2022-08-01 修回日期：2022-10-18 Email：人工智能与模式识别文章编号：1000-3428（2023）08-0077-08 文献标志码：A 中图分类号：TP182023年 8月 15日Computer Engineering 计算机工程形式对其进行表示和存储。Freebase3、DBpedia4、YAGO5等知识图谱已被广泛应用于问答系统6、推荐系统7等人工智能领域，尽管知识图谱从现实世界中提取了数以百万计的事实信息，但目前大规模知识图谱的构建仍存在数据稀疏性8问题。为解决该问题，知识图谱补全（Knowledge Graph Completion，KGC）任务应运而生。KGC 旨在根据知识图谱中已有事实推断出新的事实，这项工作也被称作链路预测。知 识 图 谱 嵌 入（Knowledge Graph Embedding，KGE）是解决 KGC 问题的重要方法之一。一般而言，它们基于 KG中现有的三元组将实体和关系嵌入连续向量空间，在方便计算的同时保留知识图谱中的结构信息。这些模型大致可以分为平移距离模型、双线性模型、基于神经网络的模型等 3类。为了获得更优的三元组嵌入表示，许多模型尝试利用三元组附加信息进行嵌入，利用邻域结构和文本信息对查询实体或关系进行增强表示。文献 9 提出的CoNE模型通过邻域信息进行实体嵌入增强，该模型丰富了实体的邻域信息，在当前关系下学习邻域信息更新实体表示继而进行链路预测，然而 CoNE 也只侧重于对实体嵌入的增强，关系的嵌入精度相对较低，为实体邻居筛选做出的贡献有限，同时实体嵌入过程向量维度成倍增加，计算量大且训练过程长。对上述问题进行深入研究后发现，知识图谱中的关系同样存在丰富的结构语义信息，对于一个三元组（Microsoft_Corporation，？，Windows_7），根据头尾实体推测其中间的语义联系是可行的。图结构中的头尾实体之间既定的事实关联存在一定语义信息，这有利于对关系进行进一步嵌入增强。本文提出动态聚合实体和关系上下文的知识图谱补全模型（DAERC），给出关系和实体上下文的提取和筛选策略，其中，关系上下文为当前关系所在三元组中的头尾实体对，实体上下文为文本和图结构中与当前实体相关的实体，并映射成键值实体对，上下文本质上全部由知识图谱中现存的实体构建，且都映射为键值向量。通过上下文选取和注意力机制实现对关系和实体的动态聚合，将增强后带有丰富语义的关系应用于实体上下文注意力机制，使当前实体上下文在不同的增强关系下获得不同的注意力系数，更好地 实 现 实 体 的 动 态 聚 合。在 实 验 过 程 中 验 证DAERC 模型对于 TransE10、ConvE11、RotatE12等3种不同类型 KGE模型的增强作用。1相关工作本节简要概述传统知识图谱嵌入的代表性方法，并以此为基础，介绍利用附加信息增强实体和关系嵌入表示的知识图谱补全方法。1.1知识图谱嵌入1.1.1 平移距离模型平移距离模型根据三元组中头尾实体表示向量的距离来评估三元组的真实程度。BORDES等10建立平移距离模型 TransE，该模型采用损失函数来估计三元组的真实程度，真实程度通常可以被定义为损失函数值的相反数。根据最优化目标，真实三元组的损失函数值应该趋向于 0，因此 TransE 不适用于一对多、多对一或者多对多的关系建模。针对TransE 的局限性，WANG 等13构建 TransH，在不增加模型复杂度和训练难度的前提下处理一对多、多对一和多对多关系，基本思想是将关系解释为超平面上的转换操作。TransE和 TransH模型假设实体和关系是语义空间中的向量，因此相似的实体在同一实体空间中会非常接近。然而，每个实体可以有许多面，不同的关系应关注实体的不同面，TransR14在不同的空间，即实体空间和多个关系空间中建模实体 和 关 系，并 在 对 应 的 关 系 空 间 中 进 行 转 换，但TransR忽略了头尾实体可能是两个不同的类别这一事 实，且 参 数 过 多 难 以 应 用 于 大 规 模 知 识 图 谱。TranSparse15在 投 影 矩 阵 上 强 化 稀 疏 性 来 简 化TransR。1.1.2 双线性模型双线性模型通过一个双线性关系矩阵建模实体和关系之间的联系，采用评分函数评估三元组的真实程度。NICKEL 等16建立矩阵分解模型 RESCAL用 于 三 元 组 预 测，又 构 建 参 数 更 少 的 HolE17。YANG 等18将关系依赖矩阵看作以实数构成的对角矩阵，构建 DistMult模型，但过于简化的关系依赖矩阵 只 能 解 决 知 识 图 谱 中 存 在 的 对 称 关 系。TROUILLON 等19建立 ComplEx 模型，ComplEx 模型将 DistMult 扩展到复数空间，以复数形式构建对角矩阵作为关系依赖矩阵。RotatE12将实体和关系映射到复数空间，能很好地进行复杂关系预测。1.1.3 神经网络模型基于神经网络模型的知识表示学习方法采用神经网络形式的评分函数来评估三元组的真实程度。ConvE11作为一个具有代表性的模型，重构和连接实体和关系嵌入，并利用多层卷积网络模型进行链路预测。ConvR20将关系嵌入表示拆分并重塑成一组过滤器，并将关系的嵌入作为卷积核，对头实体的“image”进行卷积，捕获每个过滤器与输入向量的不同区域之间的交互，之后将卷积特征投影与尾实体的向量表示相匹配。ConvKB21通过卷积神经网络捕获实体和关系之间的全局关联和过渡特征，在 ConvKB中每个三元组都表示为 3列矩阵，其中每列向量代表一个三元组元素，将 3 列矩阵输入卷积层，在该卷积层上多个过滤器会对矩阵进行过滤以生成不同的映射特征，然后将这些特征串联表示为三元组特征向量，通过点积将特征向量与权重向量相乘，通过相乘得到的分数来评估三元组是否有效。CapsE22利用胶囊网络进行 KGE，普通神经网络中的神经元输出的是一个值，只能表示样本的一种模78第 49卷 第 8期马坤，安敬民，李冠宇：动态聚合实体和关系上下文的知识图谱补全式，胶囊输出的是一个向量，它的优势在于可以表示一 类 模 式，层 间 的 胶 囊 通 过 路 由 策 略 进 行 连 接。CapsE 先对三元组嵌入拼接的矩阵进行卷积，再经过两层胶囊网络得到三元组得分进行链路预测。1.2基于附加信息的知识图谱嵌入除了对三元组元素本身进行嵌入表示外，还有研究利用知识图谱附加信息提高实体和关系的表示能力，进而提高知识图谱补全模型的性能。文献 23 基于结构与文本联合表示知识图谱补全方法。文献 24 联合文本信息和图结构信息来学习 更 多 的 文 本 表 示。图注意力（Graph ATtention，GAT）网络25通过自注意力机制聚合实体的一跳邻居，通 过 邻 居 向 量 表 示 获 得 更 精 确 的 实 体 表 示。RGHAT26以细粒度的注意力机制为第一层的关系邻居和第二层的实体邻居分配权重，并融合局部邻域 信 息 进 行 实 体 增 强。基 于 图 神 经 网 络 的PathCon27和 Aggre28利用多层关系消息传递机制来聚合多跳邻域的信息来表示关系。邻域信息的合理利用已成为提高嵌入精度的主流方法，本文利用附加信息同时对实体和关系进行动态增强嵌入，并通过新的注意力机制使聚合模型更加关注重要的上下文信息。2动态聚合实体和关系上下文的知识图谱补全模型2.1模型框架DAERC 模型整体框架如图 1 所示。将一个知识图谱定义为G=ERT，其中，E和R分别表示实体集和关系集。(ehrqet)G表示G中的事实三元组集，其中，rq Rd表示一个关系向量，eh和et Rd表示三元组的头实体和尾实体向量。对于给定三元组中的两个查询元素(eqrq)，DAERC 通过实体和关系增强嵌入在不同解码器上进行链路预测实验，目的是预测缺失的实体ec E。2.2实体和关系上下文及基于注意力机制的动态聚合给定一个知识图谱G，从现有图结构和文本信息中提取实体和关系的上下文，如图 2所示。对于关系“operating_system_developer”，将其连接的（Microsoft_Corporation，Windows_7）、（Apple_Inc.，IOS）等头尾实体定义为上下文，将任意一个查询关系rq的上下文集合形式化表示为C(rq)，C(rq)=(ehet)|(ehrqet)G；对 于 实 体“Microsoft_Corporation”，沿 用 文 献24中获取的复合邻域作为实体上下文，包括图结构邻居（一跳实体邻居）和语义邻居（实体描述中的实体），模型将任意一个查询实体eq的上下文集合表示为C(eq)=ei|eiG。GAT以增维的方式将输入特征转换为高维特征以增强表达能力。注意力机制是一个单层前馈神经网络，将高维特征映射到一个实数上，作为注意力系数。为了稳定自注意力的学习过程，GAT采用多头注意力机制，取其平均值作为最终注意力系数。CoNE以同样的方式获得实体邻居的注意力，采用多层注意力机制学习表示实体嵌入，每次迭代都为当前层的实体上下文分配不同注意力，目的是区分上下文重要程度，便于捕获相关性更高的上下文。注意力机制的引入有助于模型获取更有价值的潜在信息，从而提高嵌入表达能力。DAERC以元素信息累积的形式获取向量特征，注意力机制如图 3所示，其中，i和 i表示相对权重，ai和 bi表示注意力系数，椭圆阴影区表示线性变换、LeakyReLU等计算过程，DAERC注意力机制的核心思想是以哈达玛积（Hadamard product）运算捕获实体或关系与其上下文之间的潜在特征。图 1DAERC模型框架Fig.1Framework of the DAERC model792023年 8月 15日Computer Engineering 计算机工程2.2.1 关系聚合器初始化嵌入关系上下文，通过两个权重矩阵的参数化计算得到关系的上下文信息crq，如式（1）所示：crq=Wheh Wtet（1）其中：为Hadamard product运算；WhRdd；Wt Rd d。crq参与关系注意力的计算，对注意力向量进行线性变换后应用 LeakyReLU函数得到每一关系上下文的注意力系数，如式（2）所示：ai=LeakyReLU(Watt_r(rq cirq)+batt_r)（2）其中：Watt_r R1 d、batt_r R1均为线性处理训练参数。为了获得相对权重i，定义 Softmax函数对注意力系数做归一化处理，如式（3）所示：i=Softmax(ai)=exp(ai)j=1Krexp(aj)（3）关系聚合器的目标是将关系上下文聚合到初始关系表示rq中，生成带有丰富语义信息的关系嵌入。聚合函数如式（4）所示：rq=rq+i=1Kri cirq（4）其中：Kr为参与聚合的关系上下文个数。至此，关系聚合器给出了关系增强嵌入rq。rq参 与 实 体 聚 合 并 应 用 于 不 同 的 解 码 器 进 行 链 路预测。2.2.2 实体聚合器将C(eq)表示为离散的内存单元M(eq)=(kivi)(0 i Ke)。每 个 内 存 单 元 是 一 个 键 值 对(kivi)=(WkeiWvei)，其中两个投影矩阵Wk和Wv Rd d共享一个d维实体上下文嵌入向量ei，将ei投影到不同的键值向量空间。每个上下文ei的注意力系数定义为bi，如式（5）所示：bi=LeakyReLU(Watt_e(eqrq ki)+batt_e)（5）其中：Watt_e R1 d；batt_e R1。注意力系数由输入eq、图 2实体和关系上下文Fig.2Entity and relation context图 3注意力机制Fig.3Attention mechanism80第 49卷 第 8期马坤，安敬民，李冠宇：动态聚合实体和关系上下文的知识图谱补全关系rq和上下文信息键值向量ki计算得到，当查询关系改变时，模型会重新计算不同实体上下文基于当前查询关系对查询实体的重要程度。在实体聚合过程中，对注意力系数bi做归一化处理得到相对权重i，如式（6）所示：i=Softmax(bi)=exp(bi)j=1Keexp(bj)（6）以i为权值，对上下文信息的值向量vi进行求和，Ke为参与聚合的实体上下文个数，与实体向量相加得到增强的实体嵌入表示。DAERC 对eq进行多次迭代更新，将相邻上层的输出作为下层的输入，如式（7）所示：el=el-1+i=1Kei vi（7）其中：el（0 l 0表示极限，表示元素的 Hadamard product运算，*表示卷积运算，e 表示对 e二维重塑，vec()表示一维重塑，ec表示复数向量，()表示 Sigmoid 函数，T表示三元组，N表示三元组数量，NT表示负样本数量。在训练过程中，给定一组事实三元组T，使用文献 26 中描述的伯努利采样策略来生成负样本集T，三元组t=(ehret)T表示为正样本，t T表示为负样本。训练的目标是学习有效的表征来划分正样本和负样本。3实验与结果分析在 KG 链路预测任务中评估 DAERC 模型的性能。所 有 实 验 均 在 DESKTOP-SPP57H3、AMD Ryzen 9 5950X 16 Core Processor CPU4.38 GHz 和NVIDIA GeForce RTX 3090 GPU 上 进 行，并 基 于PyTorch框架，在 Python集成开发环境 PyCharm 中进行代码实现和实验验证。3.1实验设置3.1.1 数据集和超参数设置FB15k 和 WN18 数据集是由 TransE 引入的两个常用链路预测数据集。文献 11 认为：这两个数据集仅通过在训练集中反转三元组的方式即可获得许多测试三元组数据，取得了很好的预测结果。为了解决测试泄露问题，之后的研究普遍使用相应的改进数据集：FB15k-237 和 WN18RR，基本信息如表 2所示，其中，#Relation 表示关系数量，#Entity 表示实体数量，#Train 表示训练集三元组数量，#Valid 表示验证集三元组数量，#Test 表示测试集三元组数量。FB15k-237作为 FB15k数据集的一个子集，其中所有的 逆 关 系 都 被 删 除，以 解 决 可 逆 关 系 问 题。WN18RR 由 WN18 数据集创建，与 FB15k-237 一样删除了逆关系，是一个描述单词之间关联关系的数据集。为了在实体迭代聚合中保持梯度的稳定性，限制eq2=1。对于 TransE 解码器，使用随机梯度下降 法（Stochastic Gradient Descent，SGD）来 最 小 化Hinge 损 失，用 Adam29优 化 器 最 小 化 ConvE 和RotatE 的损失函数。除参考文献 9 中的固定参数（实体上下文数量为 20、实体向量迭代次数为 3）外，通过网格搜索选择模型的超参数，具体设置为：嵌入维度d100200400600，软间隔参数36912，学 习 率 0.000 01，0.000 10.000 50.001，关 系 上表 1KGE模型的评分和损失函数 Table 1Score and loss functions of KGE models模型TransEConvERotatE评分函数FT=-eh+r-etFC=f(vec(f(e h;r*)W)etFR=-ehc rc-etc损失函数LT=t Tt Tmax(0-F(t)+F(t)LC=-1Nt Tln F(t)+t Tln(1-F(t)LR=-t Tln(-F(t)-1NTt Tln(F(t)-)表 2数据集统计信息 Table 2Statistics of datasets单位：个数据集FB15k-237WN18RR#Relation23711#Entity14 54140 943#Train272 11586 835#Valid17 5353 034#Test20 4663 134812023年 8月 15日Computer Engineering 计算机工程下文数量Kr 51020100200。为了尽可能保留 KGE 模型的原始设置，并加快收敛速度和避免过拟合，DAERC 模型利用 KGE 解码器的预训练结果对实体和关系嵌入进行初始化。3.1.2 评估指标链接预测是知识图谱补全的主要任务，其目的是预测三元组缺失的实体，侧重于对 KG中的一组候选实体进行排序。借鉴文献 10 中的 Filter设置，仅对正确三元组进行排序。采用平均秩（Mean Rank，MR）、平均倒数秩（Mean Reciprocal Rank，MRR）和排名在前 N（N 为 1 和 10）的正确实体所占的比率（HitsN）这 3个评价指标。嵌入模型性能越好，MR值越低，MRR和 HitsN值越高。3.2实验结果本节将根据不同实验分析 DAERC模型性能，验证 DAERC模型的有效性与先进性。3.2.1 链路预测结果评估本节针对 DAERC 模型的链路预测效果进行实验，与各类 KGE 模型进行对比分析，尤其是对照模型 CoNE9。表 3给出了所有模型在两个数据集上的链路预测结果，其中，最优指标值用加粗字体标示，CoNE-X 表示对照模型 CoNE 应用于不同解码器，DAERC-X 表示 DAERC 模型应用于不同解码器，ANALOGY来自文献 30。由表 3数据可以看出，DAERC-TransE在 FB15k-237 数据集上将 MR 从 CoNE-TransE 的 211 降低至167，MRR、Hits10 和 Hits1 相较于 CoNE-TransE分别提升了 5.2%、4.9%和 5.5%。DAERC-TransE 在WN18RR 数据集上将 MR 从 CoNE-TransE 的 3 542降至 2 324，MRR、Hits10 相较于 CoNE-TransE 分别提升了 23.8%、7.2%，Hits1从 6.4%提升至 11.3%，提升了 76.5%。DAERC-ConvE 和 DAERC-RotatE 模型 上 的 各 项 指 标 也 有 不 同 程 度 的 优 化，特 别 是DAERC-RotatE 模型在 FB15k-237 和 WN18RR 数据集 上 的 多 项 重 要 指 标 上 的 实 验 结 果 优 于 各 对 照模型。DAERC 模型在 3 类解码器上均体现了其聚合语义信息增强嵌入表示的能力，对于 TransE 的增强效果尤为明显。从解码器及 DAERC模型特点来看，TransE 等解码器主要利用实体之间的关系、实体与关系之间包含的语义以及知识图谱的结构化信息来实现实体和关系的建模。DAERC 模型在计算实体与邻居实体之间相关性时提供了更优的注意力机制，且对于上下文获取及筛选也能更好地提取实体与 关 系 之 间 的 语 义 以 及 图 结 构 化 信 息。因 此，DAERC模型对于 TransE等解码器的增强效果明显，且具有很强的可解释性。从实验指标来看，DAERC 模型的 Hits10 相较于对照模型 CoNE 提升较明显，如图 4 所示。由图 4可以看出：DAERC-TransE 的 Hits10 在两个数据集上相较于对照模型 CoNE-TransE 提升约 5.2%和7.2%；DAERC-ConvE 的 Hits10 在 两 个 数 据 集 上相较于对照模型 CoNE-ConvE 提升约 2.1%和 2.3%；DAERC-RotatE 模型的 Hits10 在两个数据集上相较 于 对 照 模 型 CoNE-RotatE 提 升 约 1.7%和 2.2%。这直观地体现了 DAERC 模型泛化能力较强的特性，通过获取更多有价值的信息来提高嵌入精度，既能提高链路预测准确性，又能扩宽预测范围。总体而言，这 3 种解码器属于不同类别的 KGE 模型，DAERC 模 型 具 有 增 强 不 同 类 型 的 KGE 模 型 的能力。3.2.2 DAERC模型先进性分析为了对比 DAERC 模型与主流知识图谱补全模型的预测效果，选取以最优效果 RotatE 为基线的知识 图 谱 补 全 模 型 HAKE31和 QuatR32进 行 对 比。HAKE 模型优化了 RotatE 无法对语义层次结构进行建模的问题，在极坐标系中对实体进行层次建模，根表 3DAERC在 FB15k-237和 WN18RR数据集上的链路预测结果 Table 3Link prediction results of DAERC on FB15k-237 and WN18RR datasets模型TransEDistMultComplExANALOGYConvERotatECoNE-TransECoNE-ConvECoNE-RotatEDAERC-TransEDAERC-ConvEDAERC-RotatEFB15k-237MR221309289309244177211187147167179162MRR24.222.422.722.731.633.830.633.435.032.233.835.4Hits10/%42.438.339.138.750.153.348.551.553.650.952.654.5Hits1/%16.614.614.514.823.724.121.724.625.822.924.926.2WN18RRMR379 3511 0526 1898 2418 7334 0354 2416 5277 6232 4415 4275 2MRR18.043.044.039.243.047.622.745.549.428.146.050.5Hits10/%45.749.051.041.052.057.150.252.758.253.853.959.5Hits1/%1.339.041.038.440.042.86.442.345.111.343.046.1图 4Hits10指标提升率Fig.4Improvement ratio of Hits10 index82第 49卷 第 8期马坤，安敬民，李冠宇：动态聚合实体和关系上下文的知识图谱补全据不同角度对同层实体进行区分。QuatR 模型将RotatE 模型中一个旋转平面扩展为两个旋转平面，并将关系建模为超复数矢量空间中的旋转关系，以解决 RotatE 单空间建模灵活度和自由度低的问题。由表 4可以看出，HAKE和 QuatR 模型优于 RotatE模型，与 CoNE 最优效果接近或持平，DAERC-RotatE的链路预测效果最优。3.2.3 关系上下文有效性验证实体上下文数量的选择遵循文献 9 中的规则，并以此为基准，选取合理范围内的关系上下文数量，尽可能保证嵌入矩阵大小合理。本节不仅验证了关系上下文对于预测模型的有效性，还在此基础上详细对比了关系上下文数量的最优配置。为更直观地展示实验数据，在提升效果最明显的 DAERC-TransE模型上进行对比实验，结果如表5所示，其中，CoNE-T表示CoNE-TransE模型，为该实验的基线数据，DAERC-T（x）中的x表示在DAERC-TransE模型上选取的关系上下文数量，最优指标值用加粗字体标示。由表 5 可以看出，DAERC 关系上下文数量对于预测结果的影响是从 5开始的，10为最佳表现数据，之后的预测结果趋于稳定，当关系上下文数量较大时 Hits1 指标会有轻微下降趋势。可见，DAERC-TransE模型聚合一定数量的关系上下文后的预测效果优于不进行关系聚合的模型，且最优的关系上下文数量为 10。3.2.4 注意力机制有效性验证通过对比传统图注意力网络的注意力机制和DAERC 图注意力机制下的预测结果来评估模型的有效性。上节实验结果表明：对于不聚合关系上下文的 DAERC模型的预测效果也得到了一定的提升，这得益于 DAERC 模型对于编码器注意力机制的改进。为验证此结果，DAERC 模型在选定了关系上下文数量为 10后进行链路预测实验，结果如表 6所示，其中：-表示使用原注意力机制对计算向量进行连接操作；表示数据越大表现越好；表示数据越小表 现 越 好。由 表 6 可 以 看 出，使 用 以 Hadmard product 进 行 潜 在 语 义 信 息 累 积 的 注 意 力 机 制 的DAERC 模型优于使用原注意力机制的 DAERC 模型，且各项指标在两个数据集上几乎都有所提高。上述实验结果验证了 DAERE 模型对于不同类型 KGE 模型的增强效果，链路预测表现证明了其能有效提取上下文信息、增强嵌入表示并提高知识图谱补全能力。4结束语本文提出一种通过动态聚合实体和关系上下文来增强知识图谱嵌入的模型，充分利用知识图谱现有的图结构和附加信息，从结构化和非结构化信息表 4不同模型的结果对比 Table 4Result comparison of different models模型RotatEHAKEQuatRCoNE-RotatEDAERC-RotatEFB15k-237MR33.834.635.735.035.4Hits10/%53.354.254.653.654.5Hits1/%24.125.023.725.826.2WN18RRMR47.649.749.849.450.5Hits10/%57.158.258.858.259.5Hits1/%42.845.242.145.146.1表 5DAERC-TransE不同关系上下文数量的链路预测结果 Table 5Link prediction results of DAERC-TransE with different number of relation contexts模型CoNE-TDAERC-T(0)DAERC-T(5)DAERC-T(10)DAERC-T(20)DAERC-T(100)FB15k-237MR211177172167168176Hits10/%48.549.850.050.950.750.8Hits1/%21.722.422.522.922.922.2WN18RRMR3 5422 3912 2852 3242 1962 232Hits10/%50.252.853.653.853.753.3Hits1/%6.410.510.711.311.111.0表 6DAERC不同注意力机制的链路预测结果Table 6Link prediction results of DAERC with different attention mechanisms模型DAERC-TransE-DAERC-ConvE-DAERC-RotatE-DAERC-TransEDAERC-ConvEDAERC-RotatEFB15k-237MR172179162167179162MRR31.233.535.232.233.835.4Hits10/%49.751.953.950.952.654.5Hits1/%21.924.925.922.924.926.2WN18RRMR2 6624 1632 7732 3244 1542 752MRR25.845.549.928.146.050.5Hits10/%51.553.358.853.853.959.5Hits1/%7.742.645.611.343.046.1832023年 8月 15日Computer Engineering 计算机工程中提取实体和关系的潜在特征表示，并以元素乘积表示上下文信息特征并直接添加至查询实体或关系，同时解决了注意力机制中向量增维造成的维度过高问题。实验结果表明，DAERC 模型可以增强不同类型模型的实体和关系的嵌入表示，并且获得了更优的链路预测结果。后续将从文本和拓扑邻居等附加信息中提取上下文信息，对实体和关系进行分层嵌入表示，进一步提升 DAERC模型的增强效果。参考文献 1 李涓子，侯磊.知识图谱研究综述 J.山西大学学报（自然科学版），2017，40（3）：454-459.LI J Z，HOU L.Reviews on knowledge graph research J.Journal of Shanxi University（Natural Science Edition），2017，40（3）：454-459.（in Chinese）2 CHEN Z，WANG Y H，ZHAO B，et al.Knowledge graph completion：a review J.IEEE Access，2020，8：192435-192456.3 JIANG K，WU D，JIANG H.FreebaseQA：a new factoid QA data set matching trivia-style question-answer pairs with Freebase C/Proceedings of North American Chapter of the Association for Computational Linguistics.Philadelphia，USA：Association for Computational Linguistics，2019：318-323.4 AUER S，BIZER C，