多视图对比增强的异质图结构学习方法.pdf

软件学报 ISSN 1000-9825,CODEN RUXUEW E-mail: Journal of Software,2023,34(10):44774500 doi:10.13328/ki.jos.006883 http:/ 中国科学院软件研究所版权所有.Tel:[phone] 多视图对比增强的异质图结构学习方法 邴 睿1,袁 冠1,2,孟凡荣1,王森章3,乔少杰4,王志晓1 1(中国矿业大学 计算机科学与技术学院,江苏 徐州 221116)2(矿山数字化教育部工程研究中心,江苏 徐州 221116)3(中南大学 计算机学院,湖南 长沙 410083)4(成都信息工程大学 软件工程学院,四川 成都 610225)通信作者:袁冠,E-mail: 摘 要:异质图神经网络作为一种异质图表示学习的方法,可以有效地抽取异质图中的复杂结构与语义信息,在节点分类和连接预测任务上取得了优异的表现,为知识图谱的表示与分析提供了有力的支撑.现有的异质图由于存在一定的噪声交互或缺失部分交互,导致异质图神经网络在节点聚合、更新时融入错误的邻域特征信息,从而影响模型的整体性能.为解决该问题,提出了多视图对比增强的异质图结构学习模型.该模型首先利用元路径保持异质图中的语义信息,并通过计算每条元路径下节点之间特征相似度生成相似度图,将其与元路径图融合,实现对图结构的优化.通过将相似度图与元路径图作为不同视图进行多视图对比,实现无监督信息的情况下优化图结构,摆脱对监督信号的依赖.最后,为解决神经网络模型在训练初期学习能力不足、生成的图结构中往往存在错误交互的问题,设计了一个渐进式的图结构融合方法.通过将元路径图和相似度图递增地加权相加,改变图结构融合过程中相似度图所占的比例,在抑制了因模型学习能力弱引入过多的错误交互的同时,达到了用相似度图中的交互抑制原有干扰交互或补全缺失交互的目的,实现了对异质图结构的优化.选择节点分类与节点聚类作为图结构学习的验证任务,在 4 种真实异质网络数据集上的实验结果,也表明该异质图结构学习方法是可行且有效的.与最优对比模型相比,该模型在两种任务下的性能均有显著提升.关键词:异质图;图神经网络;图结构学习;自监督学习;图对比学习 中图法分类号:TP18 中文引用格式:邴睿,袁冠,孟凡荣,王森章,乔少杰,王志晓.多视图对比增强的异质图结构学习方法.软件学报,2023,34(10):44774500.http:/ 英文引用格式:Bing R,Yuan G,Meng FR,Wang SZ,Qiao SJ,Wang ZX.Multi-view Contrastive Enhanced Heterogeneous Graph Structure Learning.Ruan Jian Xue Bao/Journal of Software,2023,34(10):44774500(in Chinese).http:/ Multi-view Contrastive Enhanced Heterogeneous Graph Structure Learning BING Rui1,YUAN Guan1,2,MENG Fan-Rong1,WANG Sen-Zhang3,QIAO Shao-Jie4,WANG Zhi-Xiao1 1(School of Computer Science and Technology,China University of Mining and Technology,Xuzhou 221116,China)2(Engineering Research Center of Mine Digitalization of Ministry of Education,Xuzhou 221116,China)3(School of Computer Science and Engineering,Central South University,Changsha 410083,China)4(School of Software Engineering,Chengdu University of Information Technology,Chengdu 610225,China)Abstract:As a heterogeneous graph representation learning method,heterogeneous graph neural networks can effectively extract complex 基金项目:国家自然科学基金(62272461,71774159,62272066,61871686);中国博士后科学基金(2021T140707);江苏省博士 后科学基金(2021K565C)本文由“知识赋能的信息系统”专题特约编辑高宏教授、陈华钧教授、赵翔教授、李瑞轩教授推荐.收稿时间:2022-07-04;修改时间:2022-08-18,2022-12-14;采用时间:2022-12-28;jos 在线出版时间:2023-01-13 4478 软件学报 2023 年第 34 卷第 10 期 structural and semantic information from heterogeneous graphs,and have achieved excellent performance in node classification and connection prediction tasks,which provides strong support for the representation and analysis of knowledge graphs.Due to the existence of some noise interaction or missing interaction in the heterogeneous graph,the heterogeneous graph neural network incorporates erroneous neighbor features when nodes are aggregated and updated,thus affecting the overall performance of the model.In order to solve the above problems,this study proposes a heterogeneous graph structure learning model enhanced by multi-view contrastive.Firstly,the semantic information in the heterogeneous graph is maintained by using the meta path,and the similarity graph is generated by calculating the feature similarity between the nodes under each meta-path,which is fused with the meta-path graph to optimize the graph structure.By comparing the similarity graph and meta-path graph as different views,the graph structure is optimized without the supervision information,and the dependence on the supervision signal is eliminated.Finally,in order to solve the problem that the learning ability of neural network model is insufficient at the initial stage of training and there are often error interactions in the generated graph structure,this study designs a progressive graph structure fusion method.Through incremental weighted addition of meta-path graph and similarity graph,the weight of similarity graph is changed in the fusion process,it not only prevents erroneous interactions from being introduced in the initial stage of training,but also achieves the purpose of using the interaction in similarity graph to suppress interference interaction or complete missing interaction,thus the structure of heterogeneous graph is optimized.The node classification and node clustering are selected as the verification tasks of graph structure learning.The experimental results on four real heterogeneous graph datasets prove that the heterogeneous graph structure learning method proposed in this study is feasible and effective.Compared with the optimal comparison model,the performance of proposed model has been significantly improved under two evaluation metrics.Key words:heterogeneous graph;graph neural network;graph structure learning;self-supervised learning;graph contrastive learning 异质信息网络(也称为异质图)是由多种类型的实体与交互组成的网络结构,常用于建模现实世界中实体间的复杂交互关系,如知识图谱实体关系构建、社交网络多种角色建模等.异质图表示学习通过将图中节点映射为低维且稠密的表示向量,保留异质图中潜在的结构特性与语义信息,对帮助人们理解实体复杂交互中的潜层结构关系与语义信息起到了关键的作用,为不同的应用(如推荐系统1,2、异常用户检测3、蛋白质作用预测4、交通流量预测5以及知识图谱信息表示6)提供了关键的特征信息支持.图神经网络(graph neural networks,GNNs)作为一种有效的图表示学习工具,因其强大的特征捕获能力,近年来受到了众多研究人员的关注.目前,多数图神经网络(例如:GCN7在谱域上定义了图的卷积操作,通过归一化拉普拉斯矩阵与节点特征矩阵相乘,实现节点表示的更新;GAT8将注意力机制引入节点邻域特征的聚合过程,在更新节点表示时区分了不同邻居的重要性),其目标都是在同质图(只包含一种节点类型与一种边类型的图)上学习节点的表示,无法在学习过程中区分异质图中多类型的节点与边所带来的不同影响,因此不能直接将上述模型应用于异质图的表示学习中.为了将图神经网络扩展至异质图,用于抽取多类型复杂网络中的潜在特征,例如知识图谱中的实体关联信息和社交网络中的多角色交互信息,研究人员提出了异质图神经网络(heterogeneous graph neural network,HGNN),并在异质图表示学习中取得了较优的表现,为复杂信息系统提供了新的知识分析技术.现有的 HGNN 模型,如 HAN9、MAGNN10以及 HGT11,使用了注意力机制加权的聚合目标节点的同类型内以及类型之间的邻域节点特征,并将聚合后的特征作为目标节点更新的表征.该类模型都遵从消息传递的方式(聚合节点的原始邻居或元路径邻居的表征)学习节点的表征.在基于消息传递的 HGNN 模型中,消息的传递是根据原始图中的交互关系执行的,即原始图的结构(邻接矩阵)直接决定了一个节点该聚合哪些节点的表征作为自身的表征.而从现实的复杂交互中构建的异质图,通常会由于人为采集数据过程中的不规范操作或采集标准不统一等因素,使得构建的异质图中存在与实际情况不相符的噪声连接并且缺失必要的连接.例如图 1 所示的 DBLP 异质学术网络,该异质学术网络包含了 3 位作者 A1、A2与 A3,3 篇文章 P1、P2与 P3以及文章所属的两种会议 C1和 C2.图 1(a)展示了这些实体在现实中真实的连接关系,而在数据采集的过程中,由于数据构建错误导致构建的异质图中丢失了一部分交互(如 A3与 P2之间的交互)且添加了噪声交互(如 P3原本属于C2,但由于数据记录不当,产生出了与C1的交互).此类存在拓扑结构错误的图数据可以视为受到了结构干扰或结构攻击,使得神经网络聚合具有误导性的特征,产生了错误的预测结果,严重影响了图神经网络模型的学习性能12,13.这样存在交互错误的异质图结构同样也会直接输入到现有的 HGNN 模型中,作为其消 邴睿 等:多视图对比增强的异质图结构学习方法 4479 息传递的范式,引导节点特征的聚合.而现有的 HGNN 既无法消除原始图中的噪音交互,也无法补全图中的缺失交互,使得模型学习的节点表征没有聚合正确的邻域特征,进一步导致学习到的节点表征存在特征偏差,严重影响了 HGNN 模型在下游任务(如节点分类、节点聚类)上的表现.因此,如何学习出优化的异质图结构,抑制错误交互带来的不相关特征,是提升 HGNN 模型性能表现的关键问题.AuthorPaperConference撰写被发表(a)DBLP异质学术网络示例被撰写发表(b)带有交互错误的DBLP异质网络A1带有噪声交互且缺失部分交互的异质图结构非规范处理P1A2A2A3A3P2P1P2P3P3C1C2C1C2 图 1 DBLP 学术异质网络,包含了 3 种类型的节点:作者、文章以及会议和 4 种类型的交互:撰写(write)、被撰写(written)、发表(publish)以及被发表(published)图结构学习(graph structure learning,GSL)旨在使用 GNN 模型学习节点表征的同时,联合优化输入的原始图结构,以解决因邻域交互错误导致的节点特征聚合偏差.因其可以有效地剔除原始图中存在的噪声交互且补全原始图中的缺失交互,解决了交互错误导致的消息传递偏差14,15,近两年吸引了大量的关注.目前,多数图结构学习模型用于学习优化同质图的原始交互结构,并以节点分类任务为目标,将节点的标签作为监督信号,引导图结构与 GNN 参数的更新优化.这类同质图结构学习方法无法区分不同类型的节点与边所产生的不同影响,将其应用于异质图结构优化会丢失异质图中的重要语义信息.如何对异质图结构进行学习优化,修正异质图中的结构错误,成为了异质图神经网络中的热点研究.此外,上述方法都依托于节点分类任务来优化图结构,即需要在节点标签信息的监督下联合优化图结构与模型参数的方式来进行图结构学习.当面临的学习场景中没有可利用的节点标签时,上述方法无法有效地优化图结构.因此,如何在不依赖节点标签的情况下实现异质图的图结构学习,是异质图研究中急需解决的问题.为了解决上述两个问题:(1)现有大多数模型只能学习优化同质图结构,针对异质图结构学习的模型少;(2)仅有的异质图结构学习模型在学习时需要监督信息作为指引,无法应用于无监督信息的场景之中.本文提出了多视图对比增强的异质图结构学习(multi-view contrastive enhanced heterogeneous graph structure learning,MV-HGSL)方法,实现了在不借助额外的监督信息(如节点的标签信息),仅利用数据自身的特性,学习完整的异质图结构.首先,为了保持异质图中由多种节点类型与边类型产生的异质信息,该模型使用元路径,将原始异质图转化为多个记录了元路径邻居的元路径图;然后,该模型使用多层感知机(multi-layer perception,MLP)生成节点的表征,根据节点表征计算节点间的特征相似度,生成相似度图,使用节点的特征相似性来优化图结构;其次,为了在无监督信息的场景下实现图结构学习,MV-HGSL 使用对比学习的方式,将元路径图与相似度图视为两种不同的视图,通过最大化两种视图之间的互信息,令学习到的相似度图保持了异质图中的结构特性与语义信息;最后,通过将相似度图与原始图加权相加,利用相似度图中的交互去抑制原始图中的噪声交互且补 4480 软件学报 2023 年第 34 卷第 10 期 全缺失的交互的方式,以实现图结构的优化.此外,由于模型在训练初期的表示能力较弱,生成的相似度图中存在错误的相似度交互.为解决该问题,本文设计了一种渐进式图结构融合方法,逐步增加相似度图与元路径图聚合的比例,抑制因模型学习能力弱所产生的交互偏差.在4种真实数据集上的实验结果表明本文提出的MV-HGSL是可行且有效的.本文的贡献总结如下.(1)针对目前异质图中有存在噪声交互并且缺失部分交互,使得异质图神经网络聚合的邻域特征存在偏差的问题,本文提出了一种基于图对比学习优化异质图交互结构的图结构学习模型 MV-HGSL.针对异质图数据包含多种节点类型与复杂交互关系的特性,MV-HGSL 使用元路径用于保持异质图中的结构与语义信息,并通过自监督的图对比学习方式,最大化对比学习视图之间的互信息,实现了利用数据自身的特性引导异质图结构的优化,令图结构学习模型摆脱了对节点标签信息的依赖,能够在无监督信息的场景下进行异质图结构学习;(2)本文提出了一种渐进式的图结构融合方法,随着模型的训练次数,逐步地递增图结构加权相加时相似度图结构所占的比例,渐进地优化输入的异质图结构,解决了因神经网络模型在训练初期表示能力弱、生成的节点表征不能准确地表达对应节点的拓扑特征,从而导致相似度图中包含错误交互的问题;(3)本文在 4 种真实异质图数据集上,以节点分类和节点聚类为目标任务进行了丰富的实验.同时选择了 9 种对比方法,包括同质图神经网络模型、异质图神经网络模型、图结构学习模型以及异质图对比学习模型,与本文提出的 MV-HGSL 进行比较,以验证本文方法的可行性与有效性.实验结果展示出了本文提出的 MV-HGSL 在节点分类以及节点聚类任务上的效果均优于对比方法.在节点分类任务上,MV-HGSL 与最优对比方法相比,在 Micro-F1 与 Macro-F1 两个指标下取得了 1%1.5%的性能提升.在节点聚类任务中,MV-HGSL 同样取得了优于对比模型的聚类效果,在 NMI 与 ARI 两个聚类指标下,取得了 1%2%的聚类性能提升.本文第 1 节介绍异质图神经网络以及图结构学习的相关方法和研究现状.第 2 节介绍本文所应必备的基础知识,包括异质图及其结构学习的定义.第 3 节介绍本文构建的多视图对比学习增强的异质图结构学习模型.第 4 节通过对比实验验证所提模型的有效性.最后总结全文.1 相关工作 为了清晰地介绍本文提出的 MV-HGSL 模型的目标任务,本节将介绍与本文提出的 MV-HGSL 密切相关的 3 个研究领域,分别为异质图神经网络、图结构学习以及图对比学习,并对每个领域的研究现状进行总结.1.1 异质图神经网络 为了将深层神经网络应用于异质图的表示学习,研究人员提出了异质图神经网络(HGNN).现有的异质图神经网络模型可分为人为设定元路径的模型与自动学习元路径的模型.人为设定元路径的模型是通过专家的领域知识来设定元路径,以捕获异质图中的特定高阶语义,并通过聚合节点的元路径邻居更新节点的表征.例如,Wang 等人9提出的 HAN 使用层次注意机制来捕获节点和语义重要性.该模型包括 3 个部分:节点级注意力机制、语义级注意力机制和预测.节点级注意力的目的是利用自注意力机制16来学习某一元路径下邻居的重要性;然后,由于不同的元路径会捕获不同的异构语义信息,因此,HAN 设计了语义级注意力机制来计算多条元路径之间的重要性;最后,以节点分类为目标任务优化整个模型.Fu 等人10设计的 HGNN 模型MAGNN 使用了与 HAN 相同的层次的注意力机制,不同于 HAN 在节点级聚合时仅仅聚合了元路径末端节点的表征而忽略了路径当中的节点所携带的信息,MAGNN 在聚合元路径邻居时不仅聚合了该路径末端节点的表征,还聚合了路径当中所有节点的表征.Zhou 等人17提出的 HAHE 采用了与 HAN 相同的层次结构来学习节点的表征,其不同在于,HAHE 使用了 cosine 相似度而非注意力机制来计算元路径邻居的重要性.虽然基于元路径的模型在异质图节点表示学习上取得了较优的效果,但这些模型都依赖于人为设定的元 邴睿 等:多视图对比增强的异质图结构学习方法 4481 路径,而元路径设定又需要一定的领域知识.如何摆脱元路径设定的束缚,成为 HGNN 中的研究重点.因此,研究人员提出了许多自动学习元路径的模型.例如,由 Yun 等人18提出的 GTN 提出了一种可自动学习元路径的异质图卷积模型.该模型首先根据交互的类型,将异质图划分为多个关系子图,并使用多通道的卷积网络学习出每种关系的重要度;然后组合每一层网络中重要度最高的关系,作为学习到的元路径.Hong 等人19设计的 HetSANN 和 Hu 等人11提出的 HGT 都将一种类型的节点作为目标类型来计算其周围其他类型节点的重要性,通过这种方法,不仅可以捕获不同类型节点之间的交互,而且在聚合过程中为邻居分配不同的权值,权重值最高的交互就作为当前网络层中最重要的交互.组合多层网络中每一层最重要的交互,就能捕获任意长度的元路径.HetSANN 与 HGT 的不同之处在于:HGT 在消息聚合的过程中使用与交互类型对应的对角矩阵来表示节点之间的交互所特有的特征;而 HetSANN 则直接聚合了节点特征,忽略了节点之间的交互特征.Yang等人20设计的 ie-HGCN 提出了针对异质图的图卷积网络,该方法使用点积注意力计算不同类型的邻居的重要度,并根据重要度选取有用的元路径.1.2 图结构学习 图结构学习的主要目的是,在学习 GNN 参数的同时学习出干净的图结构.现有的图结构学习方法可分为三大类,分别是基于度量学习的模型、基于概率的模型与直接优化的模型.基于度量的模型主要是利用节点间属性的相似度作为两点之间的边权重,并根据权重大小更改每一个节点的邻域,以此来更新图结构.例如,Li等人14提出的AGCN首先使用马氏距离衡量节点对在特征空间中的距离,然后通过高斯核函数将距离映射为相似度并更新图结构.由Jiang等人15提出的GLCN则是使用了一层注意力网络计算节点之间的相似度,并将相似度值作为节点之间的边权重来生成新的图结构.由 Yu 等人21提出的 GRCN 将节点的特征两两做内积,作为节点间的相似度,并将相似度作为优化的图结构中的边权重.Wang 等人22提出的图结构学习模型 AM-GCN 则是使用了 cosine 相似度来计算节点间的相似程度,然后利用注意力机制,将基于特征相似度生成的图与原始图聚合形成最终优化的图结构.Chen 等人23提出了一种迭代优化图结构的模型 IDGL,IDGL 在每一次迭代中都使用上一次迭代产生的节点表征生成特征图,并将其与原始邻接矩阵组合形成优化的图结构,再通过 2 层 GCN 学习到当前迭代中的节点表征,直至生成的图结构满足设定的条件.Zhao 等人24提出的 HGSL 首次在异质图上进行图结构学习,针对异质图中的每一种关系子图,它首先使用加权的 cosine 相似度计算节点间的结构相似度与语义相似度,并生成结构相似度图与语义相似度图;然后通过注意力机制融合二者作为学习到的图结构,并以节点分类任务为目标,利用节点的标签信息引导图结构的优化.Liu 等人25提出的SUBLIME使用了图对比学习的方式学习图结构,该方法首先计算节点之间的特征相似度,并根据相似度大小生成相似度图;然后使用图对比学习,最大化学习图与原始图之间的互信息,利用原始图数据所包含的结构与特征信息来优化学习的图结构.基于概率的模型认为,原始的图结构是从某一个概率分布中采样得到的.这类模型通过计算出采样的概率分布,并使用该分布来获得更优的图结构用于更新模型参数或是采样出多张图用来更新模型参数.例如,Franceschi等人26设计的LDS-GNN使用伯努利分布作为节点之间的边所服从的分布,并将图结构学习看作是一个二元优化的问题;然后使用超梯度近似求解该问题以获得采样服从的分布,进而采样出干净的图结构.由 Zheng 等人27提出的 NeuralSparse 通过图的稀疏化任务来实现图结构的更新,它使用深层神经网络计算节点间边的概率,然后使用 Gumbel-Softmax 去近似采样的分布.Zhang 等人28设计了一种贝叶斯方法称为BGCN,它将现有的图看作是从一个随机图簇中采样得到的样本,从图簇中采集出 N 张图;然后,BGCN 利用蒙特卡罗 dropout 对模型中的可学习参数在每个生成的图上进行多次抽样,并最大化节点表征的后验概率,得到更新的节点表征用于半监督分类.BGCN 的图结构学习是通过在多张采样图上进行参数更新而实现,代替了生成图再进行参数学习的过程.类似地,由 Elinas 等人29提出的 vGCN 也使用贝叶斯方法实现图结构学习,与 BGCN 不同的是,该方法使用变分推断去近似后验概率求解的过程.直接优化的模型是将输入的原始邻接矩阵看作是待更新的特征矩阵,通过 GNN 的层级更新,将其与节点表征一同进行优化.这类模型通常会在优化中加入对图结构的限制,如保持图中的稀疏性、低秩性、特征平 4482 软件学报 2023 年第 34 卷第 10 期 滑性等,使学习得到的图结构符合真实图数据的特性.例如,Yang 等人30提出的 GCN-GT 通过在损失函数中加入标签平滑性的限制,利用神经网络模型直接优化图结构.Gao 等人31设计的 GLNN 在神经网络直接学习图结构的过程中,保证了学习得到的图结构具有稀疏性与特征平滑性.Jin 等人32提出的 Pro-GNN 是在学习图结构的同时,通过在目标优化函数中添加限制项,从而保持了图结构的稀疏性、低秩性与特征平滑性.Wan 等人33提出的 GSML 则是通过图的稀疏化任务来实现图结构学习,该模型将图的稀疏化定义为一个二元优化问题,并使用元学习中的元梯度对该问题进行求解,从而去除图结构中的噪声冗余交互.1.3 图对比学习 对比学习是自监督学习中的一种重要技术,是指对输入的原始数据进行增广变换,生成在多种视角下的不同的数据形式,通过对比不同视图之间的差异,来捕获数据自身的深层信息.近年来,在计算机视觉34,35与自然语言处理36,37上取得了优异的性能表现.由于图结构数据在现实生活中普遍存在,众多研究人员致力于将对比学习用于图数据特征的挖掘,逐渐成为了图机器学习中的研究热点.图对比学习模型大致可分为 3 种类型:节点级对比、全局对比以及节点-全局对比.Zhu 等人38提出了一种节点级的图对比方法 GRACE,该方法使用两种数据增广方式,分别是边移除与特征掩盖,对图数据进行增广变换,并使用同一个图编码器在两种视图上学习节点的表示.最后定义节点级的损失函数,使用温度系数的交叉熵损失来衡量正负样本之间的差距.Peng 等人39提出了节点级图对比方法 GMI,将视图之间的互信息扩展为从节点特征与拓扑结构两方面同时计算.在 GMI 中,每一个节点都将作为中心节点,计算该中心节点与该节点的邻域节点在特征维度与结构维度的互信息,并最大化互信息,实现多视图下的对比学习,抽取图数据的特征与拓扑信息.Velickovic 等人40提出的 DGI 模型通过对比图中节点的局部邻域结构与高阶邻域结构,实现了节点-全局的对比学习框架,并使用最大化对比互信息的方式构造对比损失用于优化网络.You 等人41提出了全局范围对比的图对比模型GraphCL,其定义了 4 种类型的数据增广方式,分别是节点失活、边扰动、特征掩盖以及子图划分,以此获得更加丰富的增广视图,充分挖掘了图数据中隐层的模式,并通过对比最大化原始图与增广视图之间的互信息来学习图的表示向量.Zeng 等人42提出的图对比学习模型 CSSL 遵循与 GraphCL 相似的对比方式,不同之处在于数据增广的方式,除了删除节点外,CSSL 还将节点插入视为一种重要的增广策略.Park 等人43将 DGI 的思想扩展到多关系图,提出了针对多关系图的对比学习模型 DMGI.对于每一种连接关系,DMGI 首先使用图神经网络学习该关系下的节点表示,并将节点表示聚合成该关系图的表示;随后,在节点表示与图表示之间执行对比学习.Ren 等人44提出的 HDGI 模型将 DGI 的对比方式拓展至异质图的表示学习当中,利用双层的注意力机制学习节点的局部邻域表示,并与全局的节点表示进行对比优化.现有的图对比学习都是通过对图数据进行数据增广生成同一图数据的多种视图,并将最大化不同视图之间的互信息作为优化目标,利用了图数据自身蕴含的潜在特性来学习包含了邻域的结构信息和属性信息的节点表征或图表征.由于图对比学习不依赖监督信号的指引,其相比于监督学习的图神经网络模型具有更广泛的应用场景.2 基础知识 为了清晰且形式化地表述本文提出的 MV-HGSL 模型,本节首先给出异质图的形式化定义以及异质图的关系子图、网络模式和元路径的基本概念的介绍.本节最后给出形式化的异质图结构学习的定义,用于描述异质图结构学习的目标.定义 1(异质图).异质图 G=(V,E,T,R,)是由多种类型的节点和边组成的图,其中,V 是节点集合;E 是边集合;T 与 R 分别表示节点类型与边类型的集合,且|T|+|R|2;表示节点类别映射函数:VT;表示边类别映射函数:ER.令 VtV 表示类型为 t 的节点集合,则节点特征矩阵可表示为集合:|,ttVdttXtTXX 其中,dt为t类型节点特征的维度.邴睿 等:多视图对比增强的异质图结构学习方法 4483 定义 2(关系子图).给定异质图G=(V,E,T,R,),其关系子图()()(,)head rtail rrttrGVVE定义为只包含了边类型为r的子图,其中,()head rtV与()tail rtV分别表示子图中由关系r确定的头节点与尾节点的集合,Er表示所有类型为r的边的集合.关系子图Gr的邻接矩阵记为()()|,tthead rtail rVVrA 当节点()head ritvV与节点()tail rjtvV之间有 边时,Ari,j=1;否则,Ari,j=0.从而异质图的邻接矩阵可以使用所有关系子图的邻接矩阵组成的集合A加以表示,即A=Ar,rR.以图1中展示的DBLP异质网络为例,抽取该网络中所有的关系子图,结果如图2所示.该异质网络中共包含4种类型的交互,分别是撰写(write)、被撰写(written)、发表(publish)以及被发表(published).网络中的每一种交互都有固定的头节点类型与尾节点类型,例如:当交互类型为撰写时,其头节点为作者,尾节点为文章;而当交互为被撰写时,其头节点为文章,尾节点为作者.A1关系子图:撰写关系子图:被发表头节点:作者尾节点:文章关系子图:被撰写关系子图:发表头节点:文章尾节点:作者头节点:文章尾节点:会议头节点:会议尾节点:文章A1A2A2A3A3P1P1P1P1P2P2P2P2P3P3P3P3C1C1C2C2 图2 DBLP异质学术网络的关系子图 定义 3(网络模式).给定异质图G=(V,E,T,R,),图G的网络模式定义为一个有向图SG=(T,R),其节点集合为T,边集合为R网络模式可看作是异质图G的元模式,其中的节点与边对应着异质图中的节点类型与边类型.网络模式记录了异质图中不同类型节点之间的每一种交互,是异质图的高阶抽象表示.以图1所示的DBLP异质学术网络为例,图3(b)给出了该DBLP异质网络的网络模式,由3个节点与4条边组成,对应于该网络中3种类型的节点和4种类型的边.通过图3(b)所示的网络模式,可知该DBLP异质网络中包含了3种节点与4种交互.其中,图3(a)表示DBLP异质学术网络;图3(b)表示该异质学术网络的网络模式,其中节点对应于异质图中的节点类型,边对应于异质图中的边类型;图3(c)表示在该学术异质网络上定义的两种元路径:APA与APCPA.图3 4484 软件学报 2023年第34卷第10期 定义 4(元路径).元路径p是定义在网络模式SG上的一条路径,通常用于描述节点之间的高阶语义关系,记为12121.,krrrkpttt 可简写为t1t2tk+1,其中,k表示元路径p的长度.元路径p描述了不同类型的节点t1与tk+1之间的高阶语义关系.例如,图3(c)给出了在DBLP异质网络上定义的两条元路径,APA与APCPA.基于元路径APA的邻居表示了具有合著关系的作者,而基于元路径APCPA的邻居则表示了两位作者有文章发表在同一个会议上.定义 5(元路径的生成).给定异质图的关系子图,元路径图可以通过连乘关系子图的邻接矩阵来获得,计算过程如公式(1)所示:Ap=A1A2Ar,rR(1)其中,()()|ttsta pend pVVpA表示基于元路径p的邻接矩阵,tsta(p)表示元路径p开始的节点的类型,tend(p)表示该路 径结束的节点的类型.例如:图3(c)所示生成的元路径APA与APCPA,其头节点类型都为作者(author),尾节点类型同样为作者(author).通过构建元路径邻接矩阵,本文保持了异质图中的复杂高阶异质信息.例如:元路径APA可以表达作者之间的合著关系,可由关系子图的邻接矩阵Awrite(A-P)与Awritten(P-A)相乘获得,并生成元路径APA的邻接矩阵AAPA.此外,为了保证能够全面捕获异质图中多样的高阶语义信息,本文将定义多条元路径并记为集合P=(p1,p2,pM),其中,P是元路径集合,M为定义的元路径数量,则元路径邻接矩阵可以记为集合:12,.,.MPpppA AAA 定义 6(异质图结构学习).给定异质图G、元路径邻接矩阵AP以及节点特征X,异质图结构学习的目的是 获取去除了冗余交互并且补足了缺失交互的元路径邻接矩阵*PA,并将该邻接矩阵作为下游任务的输入.3 多视图对比增强的异质图结构学习 针对先前提出的两个问题,本文提出了MV-HGSL,该方法由4个步骤组成,分别是相似度图计算、相似度图更新、多视图对比下的图结构优化以及渐进式图结构更新.图4所示的模型框架图展示了MV-HGSL学习图结构的步骤.节点特征元路径图MLP相似度图更新相似度图更新fmTedTfmTedT数据增广数据增广GNN Encodermfix Pmlea Pmfix Pmlea PmGNN PfGNN EncodermGNN PfMLP EncoderMLP EncodermMLP PfmMLP Pfmfix Pmlea P计算对比损失计算对比损失共享权重共享权重共享权重共享权重