收藏 分销(赏)

球面坐标下基于语义分层的知识图谱补全方法.pdf

上传人:自信****多点 文档编号:3634668 上传时间:2024-07-11 格式:PDF 页数:15 大小:1.32MB
下载 相关 举报
球面坐标下基于语义分层的知识图谱补全方法.pdf_第1页
第1页 / 共15页
球面坐标下基于语义分层的知识图谱补全方法.pdf_第2页
第2页 / 共15页
球面坐标下基于语义分层的知识图谱补全方法.pdf_第3页
第3页 / 共15页
亲,该文档总共15页,到这儿已超出免费预览范围,如果喜欢就下载吧!
资源描述

1、第42卷 第1期2024年1月应用科学学报JOURNAL OF APPLIED SCIENCESElectronics and Information EngineeringVol.42 No.1Jan.2024DOI:10.3969/j.issn.0255-8297.2024.01.010球面坐标下基于语义分层的知识图谱补全方法郭子溢,朱桐,林广艳,谭火彬北京航空航天大学 软件学院,北京 100191摘摘摘要要要:大多现有知识图谱补全方法普遍忽略了实体间客观存在的语义层次差异,为解决该问题,提出一种在球面坐标系下基于语义分层信息的知识图谱补全(knowledge graphcompletio

2、n on semantic hierarchy in spherical coordinates,SpHKC)模型。该方法将实体映射到球面坐标,位于不同球面的实体处于不同语义层级,球的半径越大,该球面上的实体所位于的语义层级越低。而关系则被建模为一个球面的实体向另一实体(位于相同球面或不同球面)的移动,包含旋转与定位操作,以处理实体语义层级异同的两种情况。球面坐标的极角和方位角也给予实体更丰富的表达形式。实验表明,SpHKC 与当前主流方法在 FB15k-237和 WN18RR 数据集上的效果基本持平,并且它在 YAGO3-10 数据集的平均倒数排名(meanreciprocal rankin

3、g,MRR)、Hits10 等重要指标上比相关研究的最新算法稳定提升约 1%,证明了语义分层信息的有效性。关键词:知识图谱;知识图谱补全;知识图谱嵌入;语义层级信息;语义分层结构;球坐标中图分类号:TP391文章编号:0255-8297(2024)01-0119-15Knowledge Graph Completion Method Based onSemantic Hierarchy in Spherical CoordinatesGUO Ziyi,ZHU Tong,LIN Guangyan,TAN HuobinSchool of Software,Beihang University,Be

4、ijing 100191,ChinaAbstract:Most of existing knowledge graph completion methods often neglect the se-mantic hierarchical differences that objectively exist between entities.To address theselimitations,we propose a knowledge graph completion method named spherical hierarchi-cal knowledge completion(Sp

5、HKC),which models semantic hierarchical phenomena usingspherical coordinates.In this method,entities are mapped to points on a spherical sur-face,and entities located on different spheres correspond to different semantic hierarchylevels.The radius of the sphere determines the level of the semantic h

6、ierarchy for entitieson that sphere,with larger spheres representing lower levels.Relationships are modeledas movements from one entity on the spherical surface to another entity(on the same ordifferent spheres),involving rotation and positioning operations to handle both similar anddifferent semant

7、ic hierarchy levels between entities.The polar angle and azimuth angle inspherical coordinates provide entities with richer expressions.Experimental results demon-strate that SpHKC achieves comparable performance to state-of-the-art methods on the收稿日期:2023-06-29基金项目:国家重点研发计划项目(No.2021YFB3500700)资助通信

8、作者:谭火彬,副教授,研究方向为软件工程、大数据。E-mail:120应用科学学报第42卷FB15k-237 and WN18RR datasets.Moreover,it consistently improves important metricssuch as MRR(mean reciprocal ranking)and Hits10 by approximately 1%compared torecent algorithms on the YAGO3-10 dataset,showcasing the effectiveness of incorporatingsemantic h

9、ierarchical information.Keywords:knowledge graph,knowledge graph completion,knowledge graph embedding,semantic hierarchical information,semantic hierarchy structure,spherical coordinate知识图谱(knowledge graph,KG)概念的定义1随 2012 年谷歌知识图谱2的发布而确立。知识图谱由描述事实(fact)的三元组(头实体,关系,尾实体)组成。目前学术界如WordNet3、Freebase4、YAGO

10、5、Wikidata6、DBpedia7等开放知识图谱,为 Q&A8和推荐系统9等上层应用提供底层数据支持。但现有知识图谱并不完善,缺少许多有效三元组,即语义含义在现实中成立,却不存在于知识图谱中的事实。为保证向上层应用提供更完善的服务,知识图谱补全(knowledge graph completion,KGC)便成为了知识图谱领域的一个主要研究方向。该任务旨在根据图中已知的边的信息,对图中缺失的边进行预测,即链路预测任务。当前的主流思路是通过知识表示学习,将知识图谱中的实体和关系嵌入到连续低维的向量空间中进行运算,因此知识图谱补全任务方法也被称为知识图谱嵌入(knowledge graph

11、embedding,KGE)。目前主流的知识图谱嵌入模型类别大致可以分为:基于翻译的方法10-14,基于张量分解的方法15-19和基于神经网络的方法20-32。现阶段基于翻译模型也衍生出了使用几何工具的拓展方法,包括 RotatE33、HAKE34、Rotate3D35等。但是大多上述现有知识图谱嵌入模型忽略了关系带来的语义层次信息。例如三元组 h 苹果树,所属类别,植物 i,其中的尾实体“植物”属于更泛化的类别,其所处的语义层级显然高于“苹果树”,这种实体间的语义层次差异是客观存在的,对此类信息的丢失也会一定程度地影响最终结果。一般情况下,想要直接捕获这种差异信息比较困难,但是在知识图谱中,

12、连结两个实体间的关系可以通过关系自身的语义信息,直观地将这种层次结构展现出来,例如对于一个未知的三元组 hA,所属类别,Xi,通过对关系“所属类别”语义的直接理解,不难判断未知实体 A 属于未知实体 X 的“子类”,因此如何通过对关系语义层面的建模,从而获取并充分利用实体间层次结构的差异信息便成为了关键问题。对知识图谱中的语义分层现象进行建模是知识图谱补全的一种新方法,起源于 2016 年提出的类型化知识表示学习(type-embodied knowledge representation learning,TKRL)36模型,其思想是利用实体的类型信息对语义分层现象进行建模。但并非所有数据集

13、都包含实体类型数据,若数据集不直接存放此类信息,则需要通过维基百科进行额外的检索操作。文献37-38 通过在关系集合中划分关系的层次结构,再以聚类方式学习关系的语义层级,该方法弱化了更为重要的实体语义层级信息。HAKE 模型则是重新聚焦于实体的语义层级差异,通过极坐标系对这种差异信息进行建模,比 TKRL 更加直观且简易,但 HAKE 对关系语义部分的建模仍不够充分,模型使用的几何方法无法合理地建模逆关系。本文提出一种在球面坐标系下基于语义分层信息的知识图谱补全(knowledge graphcompletion on semantic hierarchy in spherical coord

14、inates,SpHKC)模型,旨在捕获关系在语义层面对实体语义层级的描述信息,提高了模型的直观性以及可解释性,丰富了嵌入的表达能力。SpHKC 模型继承了 HAKE 模型的优势,可基于知识图谱原本的三元组信息进行训练,且不需要额外进行聚类操作。SpHKC 模型将关系视为从头实体到尾实体的移动,并且从“处于同一层级”和“处于不同层级”两方面考虑实体间的关系,具体讲,就是在球坐标系第1期郭子溢,等:球面坐标下基于语义分层的知识图谱补全方法121下,将实体所处的语义层级建模为该点位的极径,将关系的“移动”操作拆解为缩放和旋转:通过缩放操作控制实体的极径,对关系语义中蕴含的层次信息进行建模;通过对处

15、于同一语义层级的实体进行旋转,对关系所反映出的不同实体语义之间的差异进行建模。实验表明,相较于目前主流方法,SpHKC 在当前大部分数据集上的性能指标都有一定提升,证明了方法的有效性。1基本原理1.1建模思路实体的语义分层是知识图谱中客观存在的现象,实体所处的语义层级也属于实体自身的属性,在理论上通过获取实体语义层级信息可以更精确地对实体进行表示。一般情况下,获取实体的语义信息往往需要使用自然语言学习等方法进行大量的预训练,成本较高。但在知识图谱中,实体之间的语义层次差异能够通过实体之间的关系得到更为显式地表达。如图 1 所示,在三元组 hDog,belong_to,Animali 中,Ani

16、mal 和 Dog 在语义上的层级信息是它们各自的固有属性,但是这种语义层级的差异通过关系 belong_to 直观地反映了出来,并且上层实体 Organism 也通过另一种关系与 Animal 相连,这种通过关系路径彼此连结的且有语义层次差异的实体共同组成了树状结构,在路径上越靠近根节点的实体越抽象,反之越靠近叶子节点的实体越具体。AnimalOrganismbelong_tolocated_inlocated_inChinaPlantNationDogMouseRoseBeijingThe Great Wall图 1 知识图谱语义层次树状结构Figure 1 Tree structure

17、of semantic hierarchy in knowledge graph另外,若连结实体的关系不同,则头实体和尾实体所展现出来的语义层次差异也会变化,但是通过单个关系无法判断单个实体所处的语义层级。以图 1 中另一个三元组 hBeijing,located_in,Chinai 为例,如果只观察关系 belong_to 和 located_in 的差别,则无法确定实体 Animal、Dog、China 和 Beijing 分别处于哪一语义层级,关系所展现出来的语义层次差异只是相对的概念,因此把关系视为从一个实体到另一个实体的移动来展现实体的语义层级差别,而不是通过对关系本身语义的学习去定

18、性实体的语义层级,是本文的根本建模理念。为了对上述语义层次的树状结构进行建模,我们将其映射到球坐标系中,如图 2 所示。严格来说是将树结构的节点映射到球坐标系内围绕极点存在的无限个同心球面上,不同球面代表实体所处的不同语义层级,球面半径对应路径长度,半径越小,语义层级越高。在球坐标系中,SpHKC 从两个方面考虑对实体和关系的建模,即处于同一层级的实体和处于不同层级的实体。对关系的建模则从这两部分入手。传统基于翻译的方法往往将关系视为从一个实体到另一个实体的“一次操作”,采用的方式是“平移”和“旋转”,本方法将关系所代表的移动操作拆分为两个主要部分:1)通过控制球面半径以表达实体语义结构层次差

19、异122应用科学学报第42卷的“缩放”操作;2)同一语义层级内通过控制实体点位三维角度以表达实体语义内容含义差异的“定位”操作,如图 3 所示。MouseAnimalDog图 2 语义树状结构到球面坐标系的映射Figure 2 Mapping from tree structure of semantic to spherical coordinate system(a)?(a)Rotational positioning(b)?(b)Scalerrhhhttrrmhhtttt图 3 关系在球面坐标系的建模Figure 3 Modeling of relation in spherical c

20、oordinate system图 3 中的 h 和 t 分别代表三元组 hh,r,ti 内头尾实体在球面坐标中的映射向量。在预测过程中,图 3(a)表示关系的定位操作,通过球面坐标中的极角 r和方位角 r调整头实体在球面的位置,使头实体与尾实体在语义含义层面趋近。图 3(b)表示关系的缩放操作,通过对球面坐标中极径 rm的缩放,试图缩小头实体与尾实体在语义层次层面的差距。将两种操作视为第1期郭子溢,等:球面坐标下基于语义分层的知识图谱补全方法123整体,共同表示关系的移动操作,从而得到预测尾实体的嵌入 t0。最后利用 h 和 t0计算距离函数,对模型的预测效果进行打分。1.2球面坐标系及相关

21、符号说明本文引入球面坐标系对知识图谱中的语义分层现象进行建模,球面坐标系中各参数如图4 所示,每个点所处的空间方位用极径 r、极角、方位角 进行描述。由于关系需要通过控制上述 3 个参数来描述两个实体间语义层次和语义含义之间的差异,因此对关系的建模将从极径部分 rm、极角部分 r、方位角部分 r这 3 个维度进行。同理,实体嵌入也分为 hm、h和 h,上述嵌入均为 k 维向量,公式为h ri=hi ri(1)式中:hi为向量 h 的第 i 个分量;向量运算“”表示哈达玛积,即两个向量的元素积。(r,)r图 4 球坐标系示意图Figure 4 Diagram of spherical coord

22、inate system2方法2.1极径部分该部分旨在对不同实体的语义层次差异信息进行建模,在极径维度上,关系将进行缩放操作,以表示实体在不同语义层级的跃迁。通过这种方式,每个实体在球坐标系的极径参数便可以表达实体的语义层级,即将 hm和 tm中的每一个分量 hmi和 tmi视为描述实体 hm和 tm语义层次的组成部分,即为极径;将 rm中的每一个分量 rmi视为在第 i 个分量上对头实体进行缩放操作。于是我们可以得到不同的头实体在同一条关系的作用下进行相同缩放的公式,为hm rm=tm(2)式中:rm表示对头实体嵌入 hm的每一个分量分别进行缩放操作。进一步可以得到初步的极径部分距离函数,公

23、式为dr,m(hm,tm)=khm rm tmk2(3)124应用科学学报第42卷式中:hm和 tm的每一个分量 hmi和 tmi的取值范围为实数域。这是因为通过模型的训练后,正样本的 hm和 tm计算出来的距离函数偏小,使 hmi和 tmi更倾向于享有相同的符号;而对于负样本,不同的符号会导致距离函数的计算结果明显偏大。于是通过符号的差异可以更方便地对三元组的存在性进行判断。rm的每一个分量 rmi的取值范围为非零实数域,因为在球面坐标中约定极径不取负值,即不会对“向后”的距离进行测量。异符号是用于辅助区分负样本,因此在本方法中用于训练的关系数据不存在负样本,若 rmi可以取到负值,则可能发

24、生正样本头实体在正确关系的作用下靠近负样本的现象,这显然是不合理的。但是上述对实体和关系的建模仍存在问题,从图 1 可以看到,实体 Beijing 和实体 TheGreat Wall 均通过同一条关系 located_in 与实体 China 相连,但是很难认为 Beijing 和 TheGreat Wall 处于同一语义层级。由于知识图谱具有人为可修改性,管理者后续向其中添加三元组 hThe Great Wall,located_in,Beijingi 也是合理的,因此在极径部分对关系建模时还需要进行补充,修改后的距离函数为dr,m(hm,tm)=khm rm tm+(hm+tm)rmixk

25、2(4)在原距离函数的基础上对关系嵌入额外添加了 rmix部分,该部分融合头尾实体的信息之后进行训练,使模型结合了关系前后实体的信息从而对关系进行更为精确的建模。考虑到设计 rmix的初衷是对头尾实体部分进行信息的补足,不能造成 hm和 tm符号的反转,因此rmixi的取值范围规定为 rmi,1。2.2极角部分解决了对实体不同语义层级差异信息的建模问题后,即可利用极角部分对相同语义层级下不同实体的语义含义差别信息进行建模,例如三元组 h小明,朋友,小王i。这部分思想更贴近传统的翻译模型,如 RotatE,将关系 r建模为实体 h到实体 t的旋转操作,公式为(h+r)mod2=t(5)由于是在球

26、坐标系下进行建模的,因此对极角的相加实际上就表示旋转操作。另外,在球坐标系中约定极角的取值范围为 0,2),故 hi、ti和 ri的取值范围均为 0,2),于是极角的距离函数可以写为dr,(h,t)=ksin(h+r t)/2)k1(6)式中:除以 2 的目的是保证 sin 函数内的自变量处于一个周期内。距离函数与 HAKE 相同,由于相位角具有周期性特征,因此 SpHKC 没有直接采用 t与预测尾实体向量 t0的差值作为计算结果的 l2范数,而是使用了 sin 函数进行得分的评估。2.3方位角部分方位角和极角的变化共同构成了关系的定位操作。在球坐标系中,点在球面上的位置由两个角度参数共同控制

27、,因此方位角部分是对极角部分建模的补充,强化了实体和关系嵌入的表达能力。与极角不同,方位角的取值范围一般为(/2,/2,用来描述球面上的点“向上”或“向下”的俯仰操作,并且不能“向后”,因为如果一个点的方位角超过了这个范围,那么在球面上就会存在另一个与该点极角相差 的点,与该点的方位角取值范围产生交集。从直观上讲,球面相比较平面多加了一个维度,也使得实体和关系的表达空间更加广阔。第1期郭子溢,等:球面坐标下基于语义分层的知识图谱补全方法125该部分思路与极角部分的操作基本一致,将关系 r建模为实体 h到实体 t的旋转操作,公式为(h+r)mod=t(7)与球坐标系相同,hi、ti和 ri的取值

28、范围均为(/2,/2。方位角距离函数为dr,(h,t)=ksin(h+r t)k1(8)2.4总距离函数与损失函数将极径、极角以及方位角部分进行整合,可以得到 SpHKC 模型的距离函数,公式为dr(h,t)=dr,m(hm,tm)+dr,(h,t)+dr,(h,t)(9)式中:、为模型的超参数,用于控制各部分的权重占比。预测尾实体和真实尾实体之间的距离越小,模型的评估效果越好,因此得分函数可以表示为fr(h,t)=dr,m(hm,tm)dr,(h,t)dr,(h,t)(10)模型使用基于负采样损失的损失函数进行模型的优化,并且采取自我对抗式负采样,损失函数为L=ln(dr(h,t)nXi=1

29、p(h0i,r,t0i)ln(dr(h0i,t0i)(11)式中:为误差边界,属于模型的超参数;为 sigmoid 函数;p(h0i,r,t0i)表示第 i 个负样本在全部负样本中的可靠性比重,用于筛选明显不合理的负样本,公式为p(h0j,r,t0j|(hi,ri,ti)=expfr(h0j,t0j)Piexpfr(h0i,t0i)(12)式中:超参数 为平滑参数。3实验3.1数据集实验使用的数据集为开源知识图谱 WordNet 的子集 WN18RR、Freebase 的子集 FB15k-237 以及 YAGO 的子集 YAGO3-10。在知识图谱补全任务的实验中,早期使用的大多是WN18、F

30、B15k 以及 YAGO3 数据集,但是由于这些数据集存在测试集泄露问题,模型在这些数据集上的效果普遍虚高,因此目前大部分主流方法是在修正后的 WN18RR、FB15k-237 以及 YAGO3-10 数据集上进行实验。这 3 个数据集的信息如表 1 所示,可以看到它们在规模上存在一定差别,其中 FB15k-237 和 YAGO3-10 数据集的三元组较丰富。3.2实验超参数及其他配置本文所提出模型采用的超参数由网格搜索得出,例如 YAGO3-10 数据集上的超参数,如表 2 所示。此外,采用 Adam 算法对模型参数进行优化,并且在训练时学习率采用多段衰减,在当前训练步数进度到达总步数的 1

31、/2、1/4、1/8 时,分别将学习率衰减为原本的1/5、1/4、1/3。126应用科学学报第42卷表 1 数据集统计信息Table 1 Statistics of datasets数据集实体数量关系数量训练集三元组数量验证集三元组数量测试集三元组数量WN18RR40 4931186 8353 0343 134FB15k-23714 541237272 11517 53520 466YAGO3-10123 182371 079 0405 0005 000表 2 YAGO3-10 数据集超参数Table 2 Hyperparameters of dataset YAGO3-10超参数超参数取值负

32、样本采样数量256嵌入维度500241训练数据批大小1 024测试数据批大小40.50.33学习率2 103训练总步数160 0003.3评价指标链路预测任务的评价指标主要包括平均排名(mean rank,MR)、平均倒数排名(meanreciprocal ranking,MRR)、Hits1、Hits3 以及 Hits10 五种。上述指标的计算全部基于对正确三元组预测的排名 rank,步骤如下:在对模型进行评估时,对于一个正确的三元组hh,r,ti,将其头实体或尾实体替换为任意一种其他的实体,假设数据集中共有 n 个实体,且仅替换尾实体,那么就会得到 n 1 个新的三元组 hh,r,t0ii

33、,其中 i 1,n 1;然后对包含正确三元组在内的 n 个三元组通过得分函数计算其得分;最后将 n 个三元组按照得分降序排列,便可得到正确三元组 hh,r,ti 的排名 rank。利用模型对所有正确三元组进行预测并得到排名,最后取平均值得到 MR 指标。计算公式为MR=1|T|T|Xi=1ranki(13)式中:T 为正确三元组的集合;|T|为集合中元素的个数;ranki代表模型对第 i 个正确三元组预测的排名。MR 指标存在两个问题:1)因为 MR 值越小,代表模型效果越好,这与直观第1期郭子溢,等:球面坐标下基于语义分层的知识图谱补全方法127理解相悖;2)MR 的计算结果取值范围过大,动

34、辄上千,不方便进行比较。因此往往采用基于MR 的 MRR 指标进行模型的评估。通过对排名的倒数求平均得到指标 MRR,它解决了上述 MR 指标存在的两个问题,其计算公式为MRR=1|T|T|Xi=11ranki(14)Hitsn 是指在链路预测任务中排名小于或等于 n 的三元组在正确三元组集合中的占比,具体计算公式为Hitsn=1|T|T|Xi=1indicator(ranki6 n)(15)式中:indicator()为指示函数,表示若条件为真则函数值取 1,否则取 0;n 通常取 1、3 和10,即评价指标 Hits1、Hits3 和 Hits10。Hitsn 指标越大,表示模型越有效。3

35、.4实验结果对比为了验证本模型的有效性,分别在 FB15k-237、WN18RR 以及 YAGO3-10 数据集上进行实验,并且与目前主流的方法包括 TransE、DistMult、ComplEx、ConvE、RotatE、Rotate3D以及 HAKE 进行对比,如表 3 所示。表 3 SpHKC 与同类别 SOTA 方法实验结果对比Table 3 Comparison of experimental results of SpHKC and relevant SOTA methods模型名称WN18RRFB15k-237YAGO3-10MRRH1H3H10MRRH1H3H10MRRH1H3

36、H10TransE0.2260.5010.2940.465DistMult0.4300.3900.4400.4900.2410.1550.2630.4190.3400.2400.3800.540ComplEx0.4400.4100.4600.5100.2470.1580.2750.4280.3600.2600.4000.550ConvE0.4300.4000.4400.5200.3250.2370.3560.5010.4400.3500.4900.620RotatE0.4760.4280.4920.5710.3380.2410.3750.5330.4950.4020.5500.670Rotat

37、e3D0.4890.4420.5050.5790.3470.2500.3850.543HAKE0.4960.4520.5160.5820.3460.2500.3810.5420.5450.4620.5960.694SpHKC0.4960.4510.5140.5840.3480.2510.3860.5450.5500.4660.6020.701表 3 中的加粗项为每项指标的最高值,下划线项为次高值。最左侧所列出的方法按发表年份升序排列,其中 TransE、DisMult 以及 ComplEx 方法受限于早期思想的限制,对实体和关系的建模并不充分,因此性能指标相对于当今方法差距较大,后文不作讨论。

38、作为神经网络方法的代表模型之一,ConvE 意味着知识图谱补全方法步入新阶段,其性能相对于先前模型有较大提升;RotatE 强化对关系模式的建模,因此其表达能力显著增强。上述两种方法均为各自方法类别的开山之作,后续的模型均基于它们进行了优化,取得了更好的效果。可以看到在不同的数据集上,Rotate3D、HAKE 以及本文的 SpHKC 均在不同的指标分别取到最高和次高项,SpHKC 则是在每个数据集的各项指标上均取到最高或次高。128应用科学学报第42卷在 WN18RR 数据集上,SpHKC 模型仅在 MRR 和 Hits10 指标上取到最高,在 Hits1和 Hits3 指标上取到次高,而作

39、为 Baseline 参考的 HAKE 模型在除 Hits10 外的其余指标取到最高,仅在 Hits10 取到次高,总体性能 HAKE 优于 SpHKC。在 FB15k-237 数据集上,SpHKC 方法在各项指标均取到最高,并且在 Hits3 指标上相对 HAKE 提升约1.3%,Rotate3D 模型则是在各项指标上均取到次高,而 HAKE 仅在 Hits1 指标取到次高。可以看到,SpHKC 模型性能与 Rotat3D 较为贴近,虽然提升较小,但整体稳定优于 HAKE。在 YAGO3-10 数据集上,SpHKC 全部取到最高,并且在 4 项指标上相对次高的 HAKE 模型分别提升 0.9

40、%、0.9%、1.0%和 1.0%,提升幅度远大于在 WN18RR 和 FB15k-237 数据集上的结果。本文认为这种差异主要是由不同数据集之间关系数量和关系类型的差异所导致的,下面分析一下可能的原因。在 WN18RR 数据集上,考虑到 WN18RR 数据集只包含 11 种关系,关系类型相对较为简单,并且实体数量相比 FB15k-237 也仅多了不到两倍。较小的数据集规模和关系种类使得模型在该数据集上往往不需要很强的表达能力便可得到相对较好的效果,因此无法发挥 SpHKC对比 HAKE 在三维层面扩展的优势,相对冗余的空间表达增加了模型复杂度,因此降低了模型性能。此外可以发现,SpHKC 与

41、 HAKE 的性能差异小于 SpHKC 与 Rotate3D 的性能差异,这是因为 WordNet 数据集通过语义关系将同义词组组织成词汇网络,其中的语义关系包含单词概念层面的层级结构,而 SpHKC 相比于 Rotate3D 则是强化了对实体语义层次结构的学习,性能也整体领先,进而证明了对语义层次信息建模的重要性。在 FB15k-237 数据集上,SpHKC 的整体性能优于 HAKE,其主要原因是 FB15k-237 数据集的关系数量多,且类型相对复杂,既包括了“/award/award_category/category_of”这种明显表达了头尾实体间语义层次差异的关系,又包括诸如“/fi

42、lm/film/prequel”这种头尾实体属于同一类型,且近似无语义层次差异的关系。在对关系“/film/film/prequel”进行建模时,SpHKC 的三维空间给予了关系更丰富的表达,这也是 Rotate3D 整体优于 HAKE 的原因。另外可以发现,SpHKC 模型相比 HAKE 模型在 FB15k-237 数据集上的性能提升较小,这是由于 FB15k-237 数据集的实体数量稀少,即使是在 HAKE 的二维建模空间内,实体的嵌入需求也很容易得到满足,采用三维建模空间的 SpHKC 能力没有得到充分的发挥。而和Rotate3D 模型对比,由于 FB15k-237 数据集中实体的分层现

43、象较少,因此 SpHKC 模型的性能提升有限。在 YAGO3-10 数据集上,SpHKC 的性能则取得了较大幅度的提升。从数据集属性的角度进行分析,YAGO3-10 的关系种类包括 37 种,虽然不及 FB15k-237 的 237 种,但也包含了明显表现实体间语义层次差异的关系 imports,实体两侧无明显语义层次差异的对称关系hasNeighbor、非对称关系 hasChild 以及可近似视为逆关系的 worksAt 和 isAffiliatedTo。关系种类较为丰富,对模型建模关系的能力有一定要求,并且 YAGO3-10 数据集的实体数量约为 WN18RR 的 3 倍,达到了 12.3

44、 万,因此表达能力强大的模型在该数据集上往往会展现出更好的效果。可以看到,在 WN18RR 和 FB15k-237 数据集的 MRR 指标上,SpHKC 模型相较于 ConvE 模型的提升分别为 15.3%和 7.1%,而在 YAGO3-10 上的提升达到了 25%。综合以上几点,在对模型的实体和关系建模能力均有考察的情况下,SpHKC 在实体数量和关系种类数量两方面受到的限制得到了大大缓解,最终效果全面优于 HAKE。3.5消融实验除了上述 SpHKC 与主流同类型方法在 3 个数据集上的结果对比外,为了验证 SpHKC方法 3 个部分在建模时的有效性,本文进行了消融实验,如表 4 所示。消

45、融实验共进行 4 次第1期郭子溢,等:球面坐标下基于语义分层的知识图谱补全方法129消除:消除极角和方位角部分,消除方位角部分,消除极角部分以及消除极径部分。表 4 最左列为模型中保留的部分。表 4 SpHKC 模型消融实验结果Table 4 Results of the ablation experiments on SpHKC保留参数WN18RRFB15k-237YAGO3-10MRRH1H3H10MRRH1H3H10MRRH1H3H10m0.2400.0470.4040.5270.2580.1210.3330.5080.4760.3740.5410.658m&0.4950.4500.51

46、40.5810.3440.2470.3800.5400.5440.4600.5960.693m&0.4860.4390.5010.5730.3370.2390.3750.5340.5150.4390.5730.681&0.4640.4230.4780.5490.3260.2250.3630.5220.4800.3830.5320.664m&0.496 0.451 0.514 0.584 0.348 0.251 0.386 0.545 0.550 0.466 0.602 0.701可以看到,无论是完全消除极径部分,还是完全消除角度部分,对模型的性能都会产生相当大的影响。若仅存在角度部分,则会丢失

47、模型对语义层次信息的建模,对关系也仅仅是将其视为平面的旋转操作,在实验结果上也更接近类似思想的 RotatE。而若仅存在极径部分,则模型只能对语义层次不同的实体进行建模,对处于同一层级的实体则完全无法区分,而在数据集中,处于相近语义层级的实体对占比仍较大,因此该部分实验得到的效果最差。从实验结果来看,消除角度部分中的一个维度也会对模型的性能产生影响。若消除方位角部分,模型的思想则会变得贴近 HAKE,结果上也较为一致;若消除极角部分,保留方位角,也是从三维模型退化为二维模型,但是受取值范围限制,导致单方位角模型的表达能力弱于单极角模型的表达能力。无论消除哪一个维度,模型还是结合了语义层次差异信

48、息和语义含义差异信息,使得这两部分消融实验的整体结果仍优于前两个部分的消融实验结果。总体来看,SpHKC 模型任一部分的缺失都会导致模型的最终结果受到负面影响,由此可以得出,模型的 3 个建模部分之间是共同协调,彼此不可分割的。3.6数据集规模影响实验从数据集规模上讲,FB15k-237 大于 WN18RR,YAGO3-10 大于 FB15k-237,而从主实验对比结果可以发现,相比HAKE 模型,SpHKC 模型在WN18RR、FB15k-237 以及YAGO3-10数据集上的性能指标提升是随着数据集规模的增大而增大的;为了验证这一想法,本文进行了数据集规模对 HAKE 以及 SpHKC 模

49、型性能影响的实验。数据集选用规模最大,关系种类复杂且 SpHKC 和 HAKE 表现最好的 YAGO3-10,对数据集规模的控制则是通过改变数据集中关系的数量来实现。在去除关系的过程中,保留三元组占比较大的关系,以避免数据集规模发生剧烈变化。实验结果如表 5 所示。可以看到,在关系数量为 20 时,HAKE 模型的性能整体优于 SpHKC 的,但是随着关系数量的增加以及数据集规模的增长,HAKE 对 SpHKC 的指标值差距逐渐缩小,甚至在关系数量为 30 的 Hits10 指标上 SpHKC 超过了 HAKE,最终在完整的 YAGO3-10 数据集上,SpHKC 的性能整体优于 HAKE。考

50、虑到 SpHKC 在三维空间下进行建模,相较于 HAKE二维平面的建模方式,在表达空间上的优势通过数据集规模的增加而展现了出来,实验结果证实了上文的猜想。130应用科学学报第42卷表 5 关系数量对 HAKE 和 SpHKC 的影响Table 5 Influence of relationship quantity on HAKE and SpHKC关系数量模型名称YAGO3-10MRRH1H3H1020HAKE0.6090.5250.6650.757SpHKC0.6050.5190.6590.75725HAKE0.5980.5130.6540.751SpHKC0.5950.5080.6510

展开阅读全文
相似文档                                   自信AI助手自信AI助手
猜你喜欢                                   自信AI导航自信AI导航
搜索标签

当前位置:首页 > 学术论文 > 论文指导/设计

移动网页_全站_页脚广告1

关于我们      便捷服务       自信AI       AI导航        获赠5币

©2010-2024 宁波自信网络信息技术有限公司  版权所有

客服电话:4008-655-100  投诉/维权电话:4009-655-100

gongan.png浙公网安备33021202000488号   

icp.png浙ICP备2021020529号-1  |  浙B2-20240490  

关注我们 :gzh.png    weibo.png    LOFTER.png 

客服