面向知识图谱补全的归纳学习研究综述.pdf

计算机科学与探索Journal of Frontiers of Computer Science and Technology1673-9418/2023/17(11)-2580-25doi:10.3778/j.issn.1673-9418.2303063面向知识图谱补全的归纳学习研究综述梁新雨1，司冠南1+，李建辛1，田鹏新1，安兆亮1，周风余21.山东交通学院 信息科学与电气工程学院，济南 2503572.山东大学 控制科学与工程学院，济南 250000+通信作者 E-mail:摘要：知识图谱补全能够使知识图谱更加完整。然而，传统的知识图谱补全方法假定在测试时所有实体和关系都出现在训练过程，由于现实世界知识图谱的演变性质，一旦出现不可见实体或不可见关系，就需要重新训练知识图谱。面向知识图谱补全的归纳学习旨在补全包含不可见实体或不可见关系的三元组，而无需从头开始训练知识图谱，因此近年来受到广泛关注。首先从知识图谱的基本概念出发，将知识图谱补全分为两大类，直推式和归纳式；其次从归纳式的知识图谱补全的理论角度出发，分为半归纳和全归纳这两类，并从该角度对模型进行总结归纳；然后从归纳式的知识图谱补全的技术角度出发，分为基于结构信息和基于额外信息这两大类，将基于结构信息的方法细分为基于归纳嵌入、基于逻辑规则和基于元学习这三类，将基于额外信息的方法细分为基于文本信息和其他信息这两类，并对当下方法进一步深入细分、分析和对比；最后对未来的研究方向进行展望。关键词：知识图谱；知识图谱补全；归纳学习文献标志码：A中图分类号：TP391Survey on Inductive Learning for Knowledge Graph CompletionLIANG Xinyu1,SI Guannan1+,LI Jianxin1,TIAN Pengxin1,AN Zhaoliang1,ZHOU Fengyu21.School of Information Science&Electrical Engineering,Shandong Jiaotong University,Jinan 250357,China2.School of Control Science&Engineering,Shandong University,Jinan 250000,ChinaAbstract:Knowledge graph completion can make knowledge graph more complete.However,traditionalknowledge graph completion methods assume that all test entities and relations appear in the training process.Dueto the evolving nature of real world KG,once unseen entities or relations appear,the knowledge graph needs to beretrained.Inductive learning for knowledge graph completion aims to complete triples containing unseen entities orunseen relations without training the knowledge graph from scratch,so it has received much attention in recentyears.Firstly,starting from the basic concept of knowledge graph,this paper divides knowledge graph completioninto two categories:transductive and inductive.Secondly,from the theoretical perspective of inductive knowledgegraph completion,it is divided into two categories:semi-inductive and fully-inductive,and the models aresummarized from this perspective.Then,from the technical perspective of inductive knowledge graph completion,itis divided into two categories:based on structural information and based on additional information.The methodsbased on structural information are subdivided into three categories:based on inductive embedding,based on logicalrules and based on meta learning,and the methods based on additional information are subdivided into two基金项目：国家自然科学基金（61375084）；山东省自然科学基金（ZR2019MF064）。This work was supported by the National Natural Science Foundation of China(61375084),and the Natural Science Foundation ofShandong Province(ZR2019MF064).收稿日期：2023-03-03修回日期：2023-04-21梁新雨 等：面向知识图谱补全的归纳学习研究综述谷歌自 2012 年首次引入知识图谱（knowledgegraph，KG）概念以来，在人工智能领域以极快的速度飞速发展。随着 KG深入的研究和应用，KG被广泛用于各种与人工智能相关的任务，如智能问答1、推荐系统2和网络安全系统3等领域。虽然 KG被广泛使用，但是随着现实世界数据的指数级增长，现有的KG知识大多是有噪声和不完整的。例如，在开放知识图谱 Freebase中，约有 71%的人缺少出生地信息，99%的没有民族信息4。为了解决KG不完整的问题和提高KG在下游应用中的效用，有必要进行知识图谱补全（knowledgegraph completion，KGC）。传统 KGC 方法假设测试时所有的实体和关系都出现在训练过程中，由于现实世界KG的演变性质，一旦出现不可见实体或不可见关系需要从头开始重新训练KG。比如DBPedia从2015年底至 2016年初，平均每天新增 200个实体5，但是频繁添加实体可能会导致开销大幅增加。为了解决这一问题，一些学者旨在补全包含不可见实体或不可见关系的三元组，而无需从头训练KG。然而不同的作者在概念上使用不同的名称来描述相同的任务，因此存在术语鸿沟。比如一些学者使用文本描述或图像等额外信息嵌入新实体称为开放世界（或零样本）KGC5-7；一些学者关注KG的长尾关系，预测可见实体间的不可见关系称为少样本KGC8-10；一些学者通过聚合原始KG中现有邻居信息嵌入的新实体或新关系称为OOKG（out-of-knowledge-graph）实体或 OOKG关系11-13；现有的研究更多地将新实体或新关系称为不可见实体或不可见关系，将该任务称为面向KGC的归纳学习14-16。从归纳式知识图谱补全的理论角度出发，Ali等人15将归纳式 KGC分为半归纳和全归纳的 KGC，半归纳式KGC不可见实体必须链接到原始KG，全归纳式 KGC预测新兴 KG的不可见实体。Sack等人16在Ali等人15基础上考虑全归纳式不可见关系问题。但是上述都忽略了半归纳式不可见关系问题。本文提出一个统一的框架，将开放世界、零样本和少样本KGC统称为面向KGC的归纳学习，将新实体、OOKG实体统称为不可见实体，关系同理。本文正式描述归纳设置，如图 1所示，（a）图为半归纳式 KGC 解决原始 KG 的不可见实体或不可见关系问题，（b）图为全归纳式解决新兴 KG 的不可见实体或不可见关系问题，第1章预备知识给出了详细的定义并从该角度分类了全部的模型。从归纳式知识图谱补全的技术角度出发，本文对归纳式知识图谱补全的各类方法进行归纳总结。如图2所示，首先根据有无使用额外信息（文本、时序等）将归纳式知识图谱补全方法分为基于结构信息的归纳式 KGC 和基于额外信息的归纳式 KGC。根据汇总分类目前研究将基于结构信息的归纳KGC分为三类：基于归纳嵌入、基于逻辑规则和基于元学习的方法。它们主要区别在于如何处理不可见实体或不可见关系。其中基于归纳嵌入的方法旨在通过聚合邻居节点特征嵌入不可见实体或不可见关系；基于逻辑规则的方法通过显式和隐式地挖掘逻辑规则，因为逻辑规则独立于实体，因此对新兴 KG的不可见实体有内在的归纳性并可以推广到不可见关categories:based on text information and other information.The current methods are further subdivided,analyzedand compared.Finally,it forecasts the main research directions in the future.Key words:knowledge graph;knowledge graph completion;inductive learning图1归纳式知识图谱补全Fig.1Inductive knowledge graph completion2581Journal of Frontiers of Computer Science and Technology计算机科学与探索2023,17(11)系，并且为模型如何以人类可理解的方式推断未知事实提供解释；元学习又称学会学习，基本思想是利用以前学习的知识和经验，只需利用少量的训练样本就快速适应具有不可见实体或不可见关系的新任务，并且可以提高不同 KG 之间的泛化性和可迁移性。此外，根据汇总分类目前研究将基于额外信息的归纳 KGC分为两类：广泛研究的基于文本信息的方法、少量基于其他信息的方法。基于文本信息的方法借助文本描述或者实体描述等文本信息嵌入或预测不可见实体或不可见关系；基于其他信息的方法根据处理多模态信息或者时序嵌入或预测不可见实体或不可见关系。本文深入研究了面向知识图谱补全的归纳学习的最新进展。具体来说，本文的贡献在于：（1）从归纳式知识图谱补全的理论角度出发，以原始 KG 和新兴 KG 的知识图谱补全任务为分类依据，分为半归纳式和全归纳式，并从该角度总结归纳了本文的模型。（2）从归纳式知识图谱补全的技术角度出发，以有无使用额外信息为分类依据，分为基于结构信息和额外信息，对现有各类面向知识图谱补全的归纳学习方法进行归纳总结。（3）展望面向知识图谱补全的归纳学习的未来发展方向和前景。1预备知识定义1（知识图谱和新兴知识图谱）定义知识图谱：G(E,R)=(h,r,t)|h,t E,r R（1）其中，E表示实体集合，R表示关系集合，E RE表示事实三元组集合，事实三元组用(h,r,t)表示，其中h表示头实体，t表示尾实体，r表示头实体和尾实体之间的关系。定义新兴知识图谱：G(E,R)=(h,r,t)|h,t E,r R（2）其中，E E=，E表示不可见实体集。新兴KGG(E,R)包含不可见实体集E和与原始KGG(E,R)共享的可见关系集R。事实三元组如（中国，首都，北京），其中“中国”“首都”“北京”分别是头实体、关系、尾实体，表示中国首都是北京这个事实。如图 1 所示，在原始 KG 执行半归纳式 KGC，在新兴KG执行全归纳式KGC。新兴KG的三元组（不可见头实体 Diana，可见关系 children is，不可见尾实体 Liam）与原始 KG 三元组（可见头实体 Lucy，可见关系 children is，可见尾实体 Ella）共享可见的关系children is，但是原始 KG的三元组都是可见的，新兴KG的实体都是不可见的。定义2（链接预测和三元组分类）知识图谱补全有两大任务，三元组分类（tripletclassification，TC）和链接预测（link prediction，LP），其中链接预测又分为实体预测和关系预测。知识图谱实体预测为给定一个三元组(?,r,t)或者(h,r,?)，目标是训练模型来预测缺失的头实体或者尾实体。知识图谱关系预测为给定一个三元组(h,?,t)，目标是训练模型来预测缺失的关系。知识图谱三元组分类为给定一个三元组(h,r,t)，目标是训练模型来分类三元组是真还是假。定义3（直推式链接预测和归纳式链接预测）定义直推式链接预测为预测缺失的三元组：F1=(h,r,t)|(h,t E,r R)（3）定义归纳式链接预测为预测缺失的三元组：F2=(h,r,t)|(h,t E E,r R R)（4）其中，E表示不可见实体集，R为不可见关系集。定义4（半归纳式链接预测和全归纳式链接预测）定义半归纳式（semi-inductive，SI）链接预测为预测原始KG缺失的三元组（存在可见实体）：F3=(h,r,t)|（5）其中，、分别为：=(hE,rR,tE)(hE,rR,tE)=(hE,rR,tE)=(hE,rR,tE)(hE,rR,tE)（6）其中，、分别如图1中的、，分别预测（可见头实体Frank，可见关系children is，不可见尾实体Mimi）、（可见头实体Frank，不可见关系wife is，可见尾实体 Lucy）和（可见头实体 Frank，不可见关系图2归纳式知识图谱补全方法Fig.2Inductive knowledge graph completion methods2582梁新雨 等：面向知识图谱补全的归纳学习研究综述works in，不可见尾实体Bank）。定义全归纳式（fully-inductive，FI）链接预测为预测新兴KG缺失的三元组（不存在可见实体）：F4=(h,r,t)|（7）=(h E,r R,t E)=(h E,r R,t E)（8）其中,、分别如图 1中的和，分别预测（不可见头实体 Diana，可见关系 children is，不可见尾实体Liam）和（不可见头实体 James，不可见关系 wife is，不可见尾实体Diana）。定义3将链接预测任务细分为直推式和归纳式，定义4进一步将归纳式细分为半归纳和全归纳，其三元组分类任务为分类预测的三元组是真是假，这里不详细阐述。表1对图1的5种场景归纳式链接预测模型进行分类，下面具体阐述上述模型适用的归纳场景。2基于结构信息的归纳式知识图谱补全如上所述，基于结构信息的归纳式 KGC主要有嵌入表示、逻辑规则、元学习。表 2对基于结构信息的归纳式 KGC的典型模型进行了对比，后续章节将对这些模型进行详细的阐述。2.1基于归纳嵌入的方法2.1.1基于图神经网络的模型一些图神经网络（graph neural network，GNN），如 GraphSAGE（graph sample and aggregate）121、Graph-SAINT（graph sampling based inductive learning method）122等显示了在图中的归纳表示学习的能力。GraphSAGE如图 3所示，首先对邻居采样，其次聚合邻居节点信息，最后预测图上下文和标签。此外，GraphSAINT基于子图采样（而非 GraphSAGE基于邻域采样），克服了邻居节点数量爆炸式增长的问题，能够在大规模图上实现归纳学习。KG 是一种基于图的数据结构，它将实体抽象为顶点，将实体之间的关系抽象为边，通过结构化的形式对知识进行建模和描述，并将知识可视化。很多学者受此启发121-122，通过 GNN对KG 中邻居节点特征进行聚合嵌入不可见实体或不可见关系。Hamaguchi 等人提出了 MEAN11，其使用 GNN嵌入不可见实体，GNN的传播模型将信息从实体传播到其邻域，而输出模型使用基于嵌入的 KGC 模型。然而，它通过简单的池化函数聚合邻居，忽略了邻居之间的差异，并且仅对包含少量关系的数据集有效。ConvLayer12同时受益于 GNN 和卷积神经网络（convolutional neural network，CNN），使用卷积层作为 GNN中的过渡函数，以更少的参数学习表达性更强的嵌入。为了充分利用隐藏在三元组中的关系语 义，CFAG14利 用 粗 粒 度 聚 合 器（coarse-grainedaggregator，CG-AGG）和细粒度生成对抗网络（fine-grained generative adversarial network，FG-GAN）中的两个粒度级别关系语义来生成不可见实体的表示。首先，CG-AGG通过基于超图神经网络（hyper-graphneural network，HGNN）的全局聚合器和基于GNN的局部聚合器生成具有多种语义的实体表示；其次，FG-GAN 进一步通过条件生成对抗网络（conditionalgenerative adversarial network，CGNN）增强具有特定语义的实体表示。上述模型可以处理半归纳式的不可见实体嵌入表1归纳式知识图谱补全场景分类Table 1Scene classification of inductive knowledge graph completion归纳式KGC半归纳全归纳场景模型MEAN11、ConvLayer12、CFAG14、LAN17、SLAN18、CatE19、APR20、TransNS21、oDisMult22、InvTransE23、ELPE24、VN network25、ARGCN26、GEN27、HRFN28、IKRL29、MKBE30、TransAE31、HRGAT32、MMKGR33、DEAL34、GANR35、CSSL36、FILT37、MetaTKGR38DOZSL39、GMatching40、FSRL8、FAAN9、REFORM10、MetaP41、P-INT42、FSDR43、MetaR44、GANA45、HiRe46、Meta-KGR47、FIRE48、ZSGAN49、OntoZSL50、SDA51、SEGAN52、HAPZSL53、GTA54、DMoG55FCLEntity-Att13、SAGNN56、LKGE57AMIE58、AMIE+59、RuleN60、AnyBURL61、Neural LP62、Drum63、RNNLogic64、RuleNet65、NBFNet66、INDIGO67、CBGNN68、RED-GNN69、GraIL70、TACT71、CoMPILE72、RPC-IR73、GraphDrop74、SGI75、Meta-iKG76、PathCon77、SNRI78、NRTG79、ConGLR80、MorsE81、DKRL5、ConMask6、MIA7、DKGC-JSTD82、SDT83、OWE84、WOWE85、OWE-RST86、OWE-MRC87、Caps-OWKG88、EmReCo89、MLMLM90、KEPLER91、BLP92、StATIK93、KNN-KGE94、SimKGC95、PKGC96、Bi-Link97、LP-Bert98、KG-PubMedBERT99、QBLP15、ITCN100、FTL-LM101、FOlK102、InductivE103、TITer104、TLogic105、ALRE-IR106、FITCARL107、xERTE108RMPI109、ReCoLe110、CSR111、MaKEr112、TCVAE113、IKGE114、KG-BERT115、MTL-KGC116、StAR117、RAILD16、BER-TRL118、MTKGE119、TEMP1202583Journal of Frontiers of Computer Science and Technology计算机科学与探索2023,17(11)问题，很少有学者利用 GNN在半归纳式中学习嵌入不 可 见 关 系。目 前 已 知 Geng 等 人 提 出 DOZSL（disentangled ontology embedding for zero-shot learning）39学习解纠缠的本体嵌入，该模型基于生成对抗网络（generative adversarial network，GAN）的生成模型和基于图卷积网络（graph convolutional network，GCN）的传播模型集成解纠缠的嵌入，在不同方面捕捉和利用更细粒度的关系。上述模型主要是通过聚合原始 KG 中邻域信息来生成不可见实体的嵌入，不能同时对不可见实体和不可见关系进行嵌入。Zhao等人提出 FCLEntity-Att13，使用卷积过渡和基于注意力的GNN结构对不表2基于结构信息的归纳式知识图谱补全对比Table 2Comparison of inductive knowledge graph completion based on structural information分类归纳嵌入逻辑规则元学习基于GNN基于其他基于规则基于子图联合1基于度量基于优化联合2思想通过GNN聚合邻居节点特征嵌入不可见实体或关系通过特殊方法聚合邻居节点特征嵌入不可见实体或关系显式挖掘 KG 逻辑规则预测新兴 KG的不可见实体子图隐式学习逻辑规则预测新兴 KG不可见实体或关系逻辑规则的增强归纳嵌入的可解释性度量实体对的相似性预测不可见关系MAML算法预测不可见关系元训练采样任务嵌入不可见的实体或关系代表模型MEAN11DOZSL39FCLEntity-Att13LAN17oDisMult22LKGE57AMIE58Neural LP62INDIGO67GraIL70SNRI78RMPI104ELPE24ARGCN26GMatching40FAAN9MetaR44Meta-KGR47GEN27MorsE80MaKEr112优点使用 GNN 来计算不可见实体的嵌入，无需重新训练学习解纠缠的嵌入，在不同方面捕捉和利用更细粒度的关系使 用 基 于 卷 积 过 渡 和 注 意 力 的GNN结构嵌入不可见实体和关系基于逻辑规则和神经网络的注意机制来聚合邻居嵌入不可见实体引入简单高效的训练算法来优化的聚合函数嵌入不可见实体考虑终身KG嵌入和迁移来嵌入不可见实体和关系挖掘KG的霍恩规则，准确率高、可解释性强学习可变规则长度，发挥神经网络强鲁棒性和高效率采用成对编码的GNN，进一步利用KG的结构特征捕获逻辑规则充分利用目标实体间的拓扑信息和GNN的表达能力将相邻关系特征相邻关系路径集成到封闭子图中通过注入KG的本体论模式进一步预测新兴KG的不可见关系不可见实体表示学习和推理的联合框架解决不可见实体出现在多个批次中的场景结构简单，处理不可见关系无需重新训练学习邻居的动态表示使用梯度元加速关系元的更新采用强化学习进行多跳推理并学习元参数，提高了可解释性直接嵌入与原始KG无关联的不可见实体建模和学习与实体无关的元知识嵌入新兴KG中的不可见实体元训练 GNN 来嵌入新兴 KG 的不可见实体和关系缺点忽略邻居间的差异，仅对包含少量关系的数据集有效使用简单的 GAN 结构，限制生成器的逼近能力缺乏逻辑规则的可解释性没有考虑邻居稀疏性等问题缺乏利用GNN学习KG的拓扑结构的嵌入能力缺乏逻辑规则的可解释性规则覆盖率低，计算复杂度高、搜索成本大、效率低使用 TensorLog框架，空间复杂度高可伸缩性差，很难扩展到大型KG，很难融合其他特征仅利用子图会丢失大量的相邻关系信息仅考虑新兴KG的不可见关系，未考虑不可见关系仅考虑不可见实体，未考虑不可见关系未考虑不可见关系出现在多个批次中的场景所有邻居对实体嵌入的贡献相等忽略三元组间的交互信息不能处理复杂关系要求训练的三元组有高频的关系不能处理不可见的关系不能处理新兴 KG 中的不可见关系缺乏逻辑规则的可解释性场景SISIFIFISISISISIFIFI2584梁新雨 等：面向知识图谱补全的归纳学习研究综述可见实体和不可见关系进行嵌入。Wang 等人提出SAGNN(structured attention graph neural network)56，通过从入、出、共现频率等结构信息中挖掘潜在的关联特征，在输入节点缺乏嵌入表示的情况下为邻域内的不同节点指定不同的权重，最终对不可见实体和不可见关系生成具有高级语义特征的嵌入。2.1.2基于其他的模型一些模型在基于GNN的模型嵌入不可见实体上进行改进，LAN（logic attention network）17基于逻辑规则和神经网络的注意机制来聚合邻居，以排列不变的方式为实体的邻居赋予不同的权重，同时考虑邻居的冗余性和查询关系。SLAN（similarity-awareaggregation network）18考虑挖掘可见实体与不可见实体之间的相似性，首先使用基于实体的邻居上下文和边缘上下文度量实体之间的相似性，然后设计特定于查询的注意权重来聚合相似度和邻域信息。CatE（concept aware knowledge transfer for inductiveknowledge graph embedding）19基于本体论概念来解决不可见实体邻居稀疏性问题，首先采用 Trans-former编码器对本体概念的复杂上下文结构进行建模，其次提出模板细化策略的归纳实体嵌入生成器，通过集成不可见实体的邻居和相应的概念来嵌入不可见实体。ARP（attention-based relation prediction）20关注实体和关系的多种类型的关联信息，通过结合一阶子图和一跳实体上下文特征增强不可见实体的嵌入，并设计联合损失函数保证同时包含子图和上下文特征的统一嵌入。不同于以上基于 GNN的模型嵌入不可见实体，杜治娟等人提出 TransNS21，选取相关的邻居作为实体的属性来推断不可见实体，并利用实体之间的语义亲和力选择负例三元组来增强语义交互能力。Albooyeh等人提出oDisMult22，引入简单高效的训练算法来优化精心设计的聚合函数嵌入不可见实体。Dai等人提出InvTransE23，利用TransE假设来预训练邻接实体的表示，再对这些表示直接计算，就能快速归纳得到不可见实体的表示。上述模型可以处理半归纳式的不可见实体嵌入问题，特别的，面对如图 4不断增长的 KG，同时处理半归纳式的不可见实体和不可见关系问题。Cui等人提出 LKGE（lifelong knowledge graph embedding）57，考虑终身 KG 嵌入和迁移而不必从头学习嵌入。该模型采用掩码 KG 自编码器作为嵌入学习和更新的基础，并采用嵌入转移策略将学习到的知识注入到不可见实体和关系中，最后应用嵌入正则化方法防图4LKGE模型结构Fig.4Model structure of LKGE图3GraphSAGE模型结构Fig.3Model structure of GraphSAGE2585Journal of Frontiers of Computer Science and Technology计算机科学与探索2023,17(11)止知识更新中的灾难性遗忘。基于归纳嵌入的方法可扩展性强，适用大型数据集，但是缺乏基于逻辑规则的可解释性和准确性，并且属于半归纳式，只能直接对与原始KG有关联的不可见实体或不可见关系进行嵌入。下面将具体阐述联合嵌入和逻辑规则、联合嵌入和元学习，弥补以上缺点。2.2基于逻辑规则的方法基于逻辑规则的方法主要有三种：基于规则的学习主要是明确挖掘逻辑规则；基于局部子图结构隐式学习KG中的逻辑规则；联合嵌入和逻辑规则。2.2.1基于规则的模型（1）挖掘逻辑规则传统的归纳关系预测方法主要是寻找 KG 中的好的规则来预测目标三元组的存在。Galarraga等人提出知识图谱关联规则挖掘算法（association rulemining under incomplete evidence，AMIE）58，从不完备的KG上挖掘霍恩规则（Horn rules）。具体来说，该算法通过3个挖掘算子（悬挂原子、实例化原子、闭合原子）迭代扩展规则来探索搜索空间，并融入对应的剪枝策略来缩小搜索空间。在此基础上，Galarraga等人将AMIE扩展为AMIE+59，通过增加一系列修剪和查询重写技术来挖掘更大的KG，并利用实体类型信息和联合推理提高预测精度。但是以上模型的规则学习基于全局的KG进行搜索，成本高，效率低，预测效果差。与AMIE58基于整个KG计算置信度不同的是，RuleN60基于选择随机样本计算一个近似值，能够挖掘更长的路径规则。与AMIE、AMIE+自顶向下方法必须学习某一类型的所有规则相反，AnyBURL61从大型KG中自底向上学习逻辑规则，利用强化学习对两个实体间的关系进行采样，将采样路径推广为霍恩规则，运行速度快，需要更少的计算资源。以上规则挖掘方法从 KG 中挖掘出高置信度规则，然而好规则的数量可能是 KG大小的指数级，挖掘的规则覆盖率低，计算复杂度高、搜索成本较大、效率低会耗费大量的时间资源。（2）逻辑规则和神经网络基于逻辑规则的模型具有高准确率和强可解释性的优点，但该方法局限于噪声敏感和扩展性差，而神经网络的强鲁棒性和高效率可以缓解这一问题。Yang等人受TensorLog和神经网络的启发，提出第一个端到端的可微模型NeuralLP62，学习可变规则长度。该模型结合一阶规则推理和稀疏矩阵乘法，并引入具有注意机制和记忆的神经控制器系统，可以同时学习一阶逻辑规则的参数和结构。但是该模型对最大长度的规则有限制，不可避免地挖掘出高置信度的不正确规则，同时可微模型基于 TensorLog框架，用矩阵表示三元组，矩阵维数为实体数，空间复杂度较高。Sadeghian 等人改进了 NeuralLP 提出Drum63，将每个规则的学习置信度分数与低秩张量近似之间建立联系，使用 BiRNN在不同关系的学习规则任务之间共享有用的信息。但是该模型仅使用正样本进行训练，未使用负采样提高模型的性能。以上模型同时学习逻辑规则及其权重优化是复杂的，Qu等人提出 RNNLogic64，为迭代优化引入规则生成器和推理预测器并提出EM算法：首先更新推理预测器探索一些逻辑规则；其次在E步中利用规则生成器和推理预测器进行后验推理，筛选出高质量的规则；最后在M步中，选择E步中高质量规则的监督下更新规则生成器。然而上述模型不能解决 KG 中缺失边问题，在处理不合理的规则候选时存在不足。Zhang等人提出RuleNet65，利用关系参数的语义信息解决可微规则学习中的缺失边问题。具体而言，首先依赖查询的对偶图构造可以利用关系参数的信息，有效地学习关系之间的联系，其次进行缺失边感知的可微规则学习，遍历所有可能的规则路径。（3）逻辑规则和图神经网络最近 GNN在深度学习得到了广泛的应用，基于GNN的框架来捕获逻辑规则，可解释性强，模型容量大，可扩展性强，并建模 KG中关系之间更复杂的语义相关性。Zhu 等人提出基于路径表示学习的 GNN 框架NBFNet66，所提出的路径公式概括了几种传统的方法并可以通过广义 Bellman-Ford 算法进行有效求解。具体而言，广义Bellman-Ford算法参数化为三个神经函数：INDICATOR、MESSAGE和AGGREGATE函数。分别学习广义Bellman-Ford算法的边界条件、乘法运算符和求和运算符。Liu等人提出INDIGO67，采用成对编码的GNN，进一步利用了KG的结构特征捕获逻辑规则，其使用 KG 中的三元组与 GNN 处理的 KG 中节点特征向量的元素之间的一对一对应关系来编码KG，并且预测的三元组可以直接从GNN的最后一层读出，而不需要额外的组件或评分函数。为了避免规则在指数大小空间中搜索，循环基图神经网络（cycle basis graph neural network，CBGNN）68首次将逻辑规则学习视为循环学习。该模型首先利2586梁新雨 等：面向知识图谱补全的归纳学习研究综述用循环空间的线性结构并计算合适的循环基更好地表达规则，提高规则的搜索效率；其次搜索整个循环空间，通过 GNN的消息传递在循环空间中进行隐式代数运算，学习良好规则的表示。Zhang 等人提出RED-GNN（relational digraphs graph neural network）69，由重叠的关系路径组成的关系有向图来捕获 KG 的局部证据。该模型利用动态规划递归编码多个具有共享边的关系有向图，并通过依赖查询的注意权重选择强相关边。基于规则的模型能显式地挖掘逻辑规则，可解释性和准确性强，有内在的归纳性，可以对新兴 KG的不可见实体进行链接预测。但是存在以下问题：模型大小指数型增长会导致模型参数可伸缩性问题；很难扩展到大型数据集；很难与 KG的其他特征相结合，从而完成准确的补全。2.2.2基于子图的模型子图可以被解释为两个目标实体之间有效路径的组合，它比单个规则更全面、信息更丰富。为了充分利用目标实体之间的拓扑信息和 GNN 的表达能力，最近基于子图的模型被广泛提出，该方法仅从结构（即子图结构和结构节点特征）中学习和泛化，通过局部子图结构隐式学习KG中的逻辑规则，具有内在的归纳性。最早 Teru等人提出 GraIL70，该框架对局部子图结构进行推理，以实体独立的方式预测目标节点之间的关系。如图5所示，该模型首先提取两个目标节点周围的封闭子图，然后标记所提取子图中的节点，包含图的相关结构信息，最后利用 GNN进行消息传递，对标记的子图进行评分，可以在训练后推广到不可见实体的KG。在此之后许多学者从不同方面对GraIL进行改进，Chen等人提出TACT（topology-aware correlations）71，对关系之间的语义关联进行建模，创新性地将所有关系对划分为7种拓扑模式，可以有效地以实体无关的方式利用关系之间的拓扑感知相关性进行归纳链接预测。CoMPILE（communicative message passingneural network）72扩展 GraIL 的思想，引入新的节点-边缘通信消息传递机制来建模有向子图，符合KG的方向性，可以自然地处理不对称和反对称关系。RPC-IR（relational path contrast for inductive reasoning）73关注单个子图中规则监督不足的问题，创新性地引入对比学习构建正、负关系路径获得自监督信息，其次利用GCN获得正、负关系路径的表示，最后结合对比信息和监督信息联合训练。Mai等人关注造成基于子图方法的弱解释性的原因存在噪声节点和边，提出 GraphDrop74，动态地修剪不相关的节点和边以生成最小充分子图，提出硬dropout和软dropout两种方法来过滤节点和边缘，并引入拓扑损失来保留修 剪后 的 子 图 中 的 逻 辑 规 则 和 拓 扑 结 构。SGI（subgraph infomax）75使目标关系与其封闭子图之间的交互信息最大化，并提出预先训练的SGI相互信息估计量来选择困难负样本的新采样方法。Zheng等人提出基于子图的元学习器 Meta-iKG76，该模型利用局部子图传递子图特定的信息，通过元梯度更快地学习可迁移的模式以快速适应小样本关系，还引入大样本关系更新过程使模型在大样本关系上也能很好地泛化。由于仅利用子图会丢失大量的相邻关系信息，图5GraIL模型结构Fig.