基于层次对比学习的半监督节点分类算法.pdf

摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇基基于层次对比学习的半监督节点分类算法李雅琪1摇 摇 王摇 杰2摇 摇 王摇 锋1摇 摇 梁吉业1摘摇 要摇 大多数用于半监督节点分类的图对比学习方法需要通过繁琐的图数据增强方式得到两个视图,而且这些数据增强方式会不可避免地改变图语义信息,限制现有图对比学习方法的效率和适用性.为此,文中提出基于层次对比学习的半监督节点分类算法.算法无需进行图数据增强,而是将图神经网络不同层次的表示作为对比的视图进行学习,从而缓解繁琐的搜索以及语义的破坏.此外,设计一种半监督对比损失,有效利用少量的标记信息和大量的无标记信息以提供丰富的监督信号和改进节点的表示.最后,在四个基准数据集上对节点分类任务的实验验证文中算法的有效性.关键词摇 半监督节点分类,图对比学习,图数据增强,半监督对比损失,图神经网络引用格式摇 李雅琪,王 杰,王 锋,梁吉业.基于层次对比学习的半监督节点分类算法.模式识别与人工智能,2023,36(8):712-720.DOI摇 10.16451/ki.issn1003鄄6059.202308004中图法分类号摇 TP 391Semi鄄Supervised Node Classification Algorithm Based onHierarchical Contrastive LearningLI Yaqi1,WANG Jie2,WANG Feng1,LIANG Jiye1ABSTRACT摇 Most graph contrastive learning methods for semi鄄supervised node classification obtain twoviews by cumbersome data augmentation.Moreover,the above data augmentation inevitably changes thegraph semantic information,limiting the efficiency and applicability of the existing graph contrastivelearning methods.Therefore,a semi鄄supervised node classification algorithm based on hierarchicalcontrastive learning is proposed in this paper.In the proposed algorithm,graph data augmentation isunnecessary and the representations of different hierarchies of the graph neural network are learned ascontrasted views to alleviate the tedious search and the semantic destruction.In addition,a semi鄄supervised contrastive loss is designed,and a small amount of labeled information and a large amount ofunlabeled information are effectively utilized to provide rich supervised signals and improve the noderepresentations.Finally,node classification experiments on four benchmark datasets validate theeffectiveness of the proposed algorithm.Key Words摇 Semi鄄Supervised Node Classification,Graph Contrastive Learning,Graph Data Augmenta鄄tion,Semi鄄Supervised Contrastive Loss,Graph Neural NetworkCitation摇 LI Y Q,WANG J,WANG F,LIANG J Y.Semi鄄Supervised Node Classification AlgorithmBased on Hierarchical Contrastive Learning.Pattern Recognition and Artificial Intelligence,2023,36(8):712-720.收稿日期:2023-06-25;录用日期:2023-08-24Manuscript received June 25,2023;accepted August 24,2023国家自然科学基金项目(No.62276158,U21A20473)资助Supported by National Natural Science Foundation of China(No.62276158,U21A20473)本文责任编委 王士同Recommended by Associate Editor WANG Shitong1.山西大学 计算机与信息技术学院摇 太原 0300062.太原科技大学 计算机科学与技术学院 摇 太原 0300241.School of Computer and Information Technology,Shanxi Uni鄄versity,Taiyuan 0300062.College of Computer Science and Technology,Taiyuan Uni鄄versity of Science and Technology,Taiyuan 030024第 36 卷摇 第 8 期模式识别与人工智能Vol.36摇 No.82023 年 8 月Pattern Recognition and Artificial IntelligenceAug.摇2023摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 摇 近年来,深度学习在很多领域都具有长足的进展1-2,但是深度学习的成功需要使用大量的标记数据.然而,在许多实际问题中,标记样本的获取是相当困难的,需要耗费巨大的人力、物力和财力,通常无标记样本的数量远大于标记样本的数量.因此,如何使用少量的标记数据结合大量的无标记数据进行训练是机器学习领域广泛关注的问题之一3.半监督学习(Semi鄄Supervised Learning,SSL)4是应对上述问题的主流方法之一.SSL 能够在没有外界干预的情况下,同时利用少量的标记样本和大量的无标记样本进行学习,改善学习性能.目前,半监督学习方法大致可分为5 类:生成式方法5、半监督 SVM(Semi鄄Supervised Support Vector Machine)6、图半监督学习7-8、基于分歧的方法9和基于深度学习的方法10-11.其中,图半监督学习由于其概念清晰、可解释性强且性能优越,受到学者们越来越多的关注.图半监督学习的基本思想是利用标记样本和无标记样本构建一个反映数据分布信息的图,再利用该图将标记从标记样本“传播冶 到无标记样本.Perozzi 等12提出 DeepWalk,在图中利用截断随机游走方式获取局部信息,学得节点的潜在表示.Defferrard 等13提出切比雪夫网络 Chebyshev,利用切比雪夫多项式近似图卷积核.Velic姚kovic等14提出GATs(Graph Attention Networks),引入图注意力机制,聚合每个节点的邻居节点,自适应地为不同的邻居节点分配权重.然而,图半监督学习在标记样本较少时性能退化严重,使用更少的标注代价学习高效的模型是图半监督学习面临的挑战之一.研究者们通过直接增强监督信息和间接增强监督信息的方式缓解标记样本过少的问题.直接增强监督信息的方法包括标签传播或自训练技术.Zhu 等15提出基于高斯随机场与调和函数的半监督学习方法,构造相似度矩阵,让每个样本的类标记信息在空间中传播.Sun 等16提出 M3S(Mulit鄄stage Self鄄Supervised),基于 DeepCluster17,在每个训练阶段为未标记节点分配伪标记.You等18提出 Node Clustering,利用节点特征之间的相似性进行聚类,将簇索引作为自监督学习的伪标记,分配给所有节点.Li 等19训练图卷积神经网络(Graph Convolutional Network,GCN)20,利用特征提取增强监督信息.但标签传播或自训练技术存在一些缺点,如伪标记错误的累积.尤其是当标记节点特别稀疏时,会引入大量的噪声,影响标记的传播过程.间接增强监督信息的方法是指通过挖掘数据的分布信息发现潜在规律,从而弥补监督信息的不足.在这方面,图自监督学习通过精心设计的代理任务而不依赖人工标注提取信息,从数据中挖掘自身的监督 信 息,从 而 学 习 到 对 下 游 任 务 有 价 值 的表示21-23.图自监督学习方法包括预测式自监督学习方法、生成式自监督学习方法和图对比学习方法(Graph Contrastive Learning,GCL).预测式自监督学习方法将数据中自生成标记作为监督信号进行学习.生成式自监督学习方法将完整的图或子图作为监督信号,用于重构输入数据的特征或结构.图对比学习方法通过区分正对和负对进行训练.其中,图对比学习方法由于具有强大的学习表示性能成为当下研究的热点.图对比学习通过图数据增强为每个节点生成多视图表示,同一节点生成的节点表示视为正例对,而从不同节点生成的节点表示视为负例对.图对比学习的主要目标是在最大化正例对的一致性的同时最小化负例对的一致性24.代表性的图对比学习方法如下.Velic姚kovic等25提出 DGI(Deep Graph Infomax),最大化节点局部特征与图的全局性特征之间的互信息,得到图中节点的表示.Hassani等26提出Contrastive Multi鄄viewGraph Representation Learning,对比一阶邻居和图扩散编码,提高方法性能.Peng等27提出GMI(Gra鄄phical Mutual Information),把传统互信息的思想推广到图域,利用图形互信息测量输入和高层隐藏表示之间的相关性.Zhu等28提出GRACE(Graph Con鄄trastive Representation Learning),采用去除边和屏蔽节点特征两种不同策略,进行图数据增强.Zhu等29在拓扑层面上,设计基于节点中心性度量的图数据增强方案,突出重要的连接结构,在节点属性层面上,向不重要的节点特征添加更多的噪声,从而破坏节点特征.Suresh等30提出AD鄄GCL(AdversarialGCL),引入信息瓶颈原则,在数据增强时保留图本身的特性,避免在训练过程中获得冗余信息.Chu等31提出 CuCo(Curriculum Contrastive LearningFramework for Self鄄Supervised Graph鄄Level Repre鄄sentation),使用评分函数对负样本进行排序.Zhu等32提出 RoSA(Robust Self鄄Aligned Framework),利用图的拓扑信息和属性信息进行非对齐节点级对比,用于节点级的图表示学习.尽管图对比学习方法已得到广泛研究,但是存317第 8 期摇 摇 摇 摇 李雅琪等:基于层次对比学习的半监督节点分类算法在如下不足:1)通过反复试错为每个数据集手动选择数据增强方案;2)引入昂贵的领域特定知识作为指导以获得数据增强;3)大多会改变图语义信息,丢弃一些重要的节点和边,使模型学习对不重要的节点和边缘扰动不敏感29.因此,图对比方法中保持图的语义,同时减少人工的干预是必要的.基于上述分析,本文提出基于层次对比学习的半监督节点分类算法(Semi鄄Supervised Node Classi鄄fication Algorithm Based on Hierarchical ContrastiveLearning,SSC鄄HCL).不使用图数据增强的方式生成视图,而是将不同层次的图神经网络(GraphNeural Network,GNN)表示作为相关视图进行对比,保留图的语义信息.在此基础上,设计半监督对比损失,结合半监督任务和对比学习,可以有效利用少量标记信息提供监督信息,改进节点表示,进而改善节点分类任务的效果.一方面可以缓解繁琐的搜索,学习更好的节点表示,另一方面可以对不同跳邻居学到的节点表示进行约束,缓解由于数据增强及深度加深带来的语义破坏问题.在 4 个基准数据集上的实验验证 SSC鄄HCL 的优越性.1摇基于层次对比学习的半监督节点分类算法1.1摇图半监督学习问题定义设 G=(V,着)表示一个无向图,其中,V=v1,v2,vN表示 N 个节点的集合,包括 l 个标记样本Dl=(x1,y1),(x2,y2),(xl,yl),yi沂 1,2,C,C 表示样本的类别,和 u 个无标记样本Du=(xl+1),(xl+2),(xl+u),通常,l 垲 u.着 哿 V 伊 V 表示节点之间的边集.X 沂RN伊F表示节点的特征矩阵,F 表示特征维度,Y 表示节点的标记矩阵.A=aij 沂 RN伊N表示节点的邻接矩阵.D=diag(d1,d2,dN)表示 A 的度矩阵,di=移jaij表示顶点 i 的度.图半监督学习的目标是学习一个函数 f,最终输出标记矩阵 Y卒.1.2摇图神经网络图神经网络的目标是学习一个编码器f(X,A)沂 RN伊F忆,以图的特征和结构作为输入,产生低维的节点嵌入,即 F忆 垲 F.GCN 的卷积层传播公式为H(l+1)=(滓D-12A D-12H(l)W(l),其中,A=A+IN表示无向图G 的邻接矩阵A和单位矩阵 IN的和,D 表示A 的度矩阵,W(l)表示权重矩阵,H(l)表示第l层激活矩阵,滓()表示非线性激活函数,例如ReLU()=max(0,).1.3摇算法介绍本文提出基于层次对比学习的半监督节点分类算法(SSC鄄HCL),框架如图 1 所示.SSC鄄HCL将原始图G=(X,A)的结构和特征作为输入,采用 GCN 对图进行编码,在学习的过程中,将不同层次上得到的嵌入表示作为不同的视图,用作对比学习.同时,使用半监督对比损失,最大化多个视图上学得表示的一致性,通过迭代优化学习节点的表示.?GCNz21z31?XYz11z61z51z41z81z71GCNGCNz12z22z32z52z62z72z82z42z13z23z33z63z53z43z83z73?Y2Y1Y5.图 1摇 SSC鄄HCL 结构图Fig.1摇 Structure of SSC鄄HCL417模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷摇 摇具体地,SSC鄄HCL(以三层为例)通过在图 G 上应用 GCN,得到第 1 层 第 3 层视图表示:Z1=(滓A卒XW)0,Z2=(滓A卒Z1W)1,Z3=(滓A卒Z2W)2,其中,A卒=D-12A D-12表示归一化邻接矩阵.然后,将层次视图设计为对比视图,以增大正例对的相似性、降低负例对的相似性为目的,改进图的嵌入表示.半监督对比损失同时利用大量的无标记样本和少量的标记样本,为仅使用无标记样本的对比学习提供丰富的监督信息,帮助模型学习更好的节点表示,进一步提高模型性能.在学习的过程中,使用评分函数衡量节点编码特征的相似度,目标是尽可能地增大同一类别的节点之间的相似度,尽可能地减小不同类别的节点之间的相似度,指导学习过程.半监督对比损失分为两部分:监督对比损失和无监督对比损失.SSC鄄HCL 的半监督对比损失机制如图 2 所示.使用xi表示视图中的节点,如果xi为标记节点,xi的正例为与它具有同类的标记节点,负例为与它具有不同类的标记节点,即图2 中的紫色箭头和蓝色箭头指向的节点分别表示节点 xi的正例和负例.如果 xi为无标记节点,xi的正例为另一个视图上它本身,负例为除 xi之外的其它节点,即图 2 中的绿色箭头和红色箭头指向的节点分别表示节点 xi的正例和负例.?图 2摇半监督对比损失机制示意图Fig.2摇Schematic diagram of semi鄄supervised contrastiveloss mechanism无监督对比损失表示如下:lsuc=12n移ni=1(lsuc(xi)+ls+1uc(xi),其中,lsuc和ls+1uc分别表示第s层和第s+1层次中对于无标记节点 xi的成对的无监督对比损失.通过内积衡量节点表示之间的相似度,得到 lsuc(xi),即将正例对之间的相似度和负例对之间的相似度进行对比.lsuc(xi)可以形式化地表示为lsuc(xi)=-lgexp(掖zsi,zs+1i业)exp(掖zsi,zs+1i业)+移j屹iexp(掖zsi,zsj业)+移j屹iexp(掖zsi,zs+1j业),其中,zsi和 zs+1i表示从不同的视图中学习得到的节点 xi的第 i 行的表示,掖 业 表示内积.ls+1uc(xi)的计算方法与 lsuc(xi)类似,可以形式化地表示为ls+1uc(xi)=-lgexp(掖zs+1i,zsi业)exp(掖zs+1i,zsi业)+移j屹iexp(掖zs+1i,zs+1j业)+移j屹iexp(掖zs+1i,zsj业),摇 摇同时,为了充分利用稀缺但有价值的标记样本,使用监督对比损失为学习节点表示提供额外的监督信号.监督对比损失表示如下:lssc=12l移li=1(lssc(xi)+ls+1sc(xi).lssc(xi)和 ls+1sc(xi)可以形式化地表示为lssc(xi)=-lg移lk=1IIyi=ykexp(掖zsi,zs+1k业)移lk=1IIyi=ykexp(掖zsi,zs+1k业)+移lj=1IIyi屹yjexp(掖zsi,zs+1j业),517第 8 期摇 摇 摇 摇 李雅琪等:基于层次对比学习的半监督节点分类算法ls+1sc(xi)=-lg移lk=1IIyi=ykexp(掖zs+1i,zsk业)移lk=1IIyi=ykexp(掖zs+1i,zsk业)+移lj=1IIyi屹yjexp(掖zs+1i,zsj业),其中,II 表示指示函数,在 内为真和假时分别取值为 1 和 0.半监督对比损失结合无监督对比损失和监督对比损失,表示如下:lsssc=lsuc+lssc.(1)使用交叉熵损失衡量网络的实际输出与真实标记之间的差异,即lce=-移li=1移Ci=1Yij(lnY卒)ij,(2)其中,Yij表示节点 xi的真实标记,Y卒ij表示节点 xi的第 i 个样本在第 j 个位置的预测标记.结合半监督对比损失和交叉熵损失,得到整体的网络输出,总体的目标损失函数表示如下:l=姿移ks=1lsssc+lce,(3)其中,姿 0 表示半监督对比损失和交叉熵损失之间的相对权重,k表示第s层和第s+1 层上的半监督对比损失.最终,第 i 个节点的预测函数表示如下:yi=arg maxj沂1,CY卒ij.1.4摇算法步骤SSC鄄HCL 的详细训练过程如算法 1 所示.算法 1摇 SSC鄄HCL(以三层为例)输入 摇特征矩阵 X,邻接矩阵 A,标记矩阵 Y,迭代次数 N输出 摇未标记节点的标记初始化 摇随机初始化模型参数For epoch=1 to N do摇通过 GCN 得到第 1 层的嵌入表示 Z1摇通过 GCN 得到第 2 层的嵌入表示 Z2摇通过 GCN 得到第 3 层的嵌入表示 Z3摇由式(1)计算第1 层和第2 层上的半监督对比损失 l1ssc摇由式(1)计算第2 层和第3 层上的半监督对比损失 l2ssc摇计算总的半监督对比损失 l1ssc+l2ssc摇由式(2)计算交叉熵损失 lce摇由式(3)计算总体目标损失 l摇根据梯度下降方法,更新参数 lEnd for预测未标记节点的标记2摇实验及结果分析2.1摇实验数据集与实验设置为了验证本文算法的有效性,在 Cora33、CiteSeer33、PubMed33、Amazon Photo34这 4 个基准数据集上进行实验,数据集信息如表 1 所示.Cora、CiteSeer、PubMed 为引文网络数据集,节点表示文档,边表示文档之间的引用关系,每个文档都由一个词袋向量表示相应的词存在或不存在.AmazonPhoto 数据集是亚马逊产品联合购买数据集,节点表示商品,边表示两种商品经常被同时购买,节点特征表示产品评论,类别标签由产品的类别给出.表 1摇实验数据集信息Table 1摇 Experimental dataset information名称类别数节点数边数特征维度Cora7270854291433CiteSeer6332747323703PubMed31971744338500Amazon Photo87487119043745在 Cora、CiteSeer、PubMed 数据集上,本文使用与 Yang 等35相同的训练集、验证集、测试集划分方式,即每类随机抽取 20 个节点作为标记数据进行训练,500 个节点用于验证,1 000 个节点用于测试.在Amazon Photo 数据集上,每类随机抽取30 个节点作为标记数据进行训练,随机抽取 30 个节点用于验证,其余节点用于测试.2.2摇基线方法本文选择如下对比方法.1)DeepWalk12.基于图嵌入的方法,通过随机游走学习节点的嵌入表示.2)Chebyshev13.基于图卷积的方法,把 CNN扩展到非欧数据上.3)GATs14.使用注意力机制学习邻居节点的权重,对邻居节点的特征加权求和,为不同的节点分配不同的权重.4)文献15 方法.传统的基于图的半监督学习617模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷方法,通过节点之间的边传播标签,将标签分配给未标记节点.5)GCN20.对图数据进行操作的经典的图卷积神经网络.6)DGI25.最大化图局部和全局的互信息,学习节点表示.7)文献26 方法.最大化图的多视图编码表示之间的互信息,学习节点表示.8)GMI27.对比输入图和每个节点的隐藏表示之间的相关性,学习节点表示.9)GRACE28.利用节点级对比目标的无监督图表示学习框架.2.3摇实验结果本节计算各方法 10 次运行的平均分类准确率以评估性能.各方法在4个数据集上的结果如表2所示,表中黑体数字表示最优值.由表可见,SSC鄄HCL优于对比方法,在 Cora、CiteSeer、PubMed、AmazonPhoto 数据集上与次佳方法的分类准确率相比,分别提升 0.8%、0.6%、0.5%和 1.2%.因此可以看出,利用不同层次进行对比学习,能够更好地保留图的节点特征和拓扑信息,学得更好的表示,从而验证SSC鄄HCL 的有效性.表 2摇各方法在 4 个数据集上的分类准确率对比Table 2摇 Classification accuracy comparison of different models on 4 datasets%方法CoraCiteSeerPubMedAmazon Photo文献15 方法68.045.363.067.8DeepWalk67.243.265.3-Chebyshev81.269.874.474.3GCN81.2 依0.571.3 依0.478.6 依0.487.3 依1.0GATs82.9 依0.772.5 依0.778.3 依0.386.2 依1.5DGI81.2 依0.672.9 依0.577.6 依0.383.1 依0.5GMI82.2 依0.872.7 依0.479.6 依0.485.1 依0.1文献26 方法82.8 依0.672.9 依0.679.3 依0.387.3 依0.3GRACE82.4 依0.671.5 依0.379.4 依0.881.8 依1.0SSC鄄HCL83.7 依0.773.5 依0.680.1 依0.788.5 依0.8摇 摇为了进一步分析模型深度对分类准确率的影响,改变模型中编码器的卷积层数,设置隐藏层维度为 128.SSC鄄HCL 和 GCN 在不同层数上的分类准确率如图 3 所示.9080706050403023456789 10?/%?GCNSSC HCL-80706050403020?/%23 456 789 10?908070605040?/%?23 456 789 10GCNSSC HCL-GCNSSC HCL-(a)Cora(b)CiteSeer(c)PubMed图 3摇不同层数对方法性能的影响Fig.3摇 Influence of different layers on classification performance on 3 datasets摇 摇由图 3 可以看出,两层 GCN 编码器的性能最佳,随着层数的不断增加,性能下降,多卷积层可能产生从较远的邻域聚合信息的噪声,从而降低节点表示的质量和下游节点分类任务的性能.尽管 GCN和SSC鄄HCL的性能都有一定下降,但SSC鄄HCL在不同深度下的性能大幅优于 GCN.717第 8 期摇 摇 摇 摇 李雅琪等:基于层次对比学习的半监督节点分类算法摇 摇此外,进一步研究不同标记数量对方法性能的影响.对于每个数据集,为每类抽取 n 个标记样本进行实验,n=10,15,20,25,30.GCN、DGI、文献26方法、GRACE、SSC鄄HCL 在 Cora、CiteSeer、PubMed数据集上的分类准确率如表3 表5 所示,表中黑体数字表示最优值.表 3摇各方法在 Cora 数据集上不同标记数量下的分类准确率Table 3摇Classification accuracies of different methods withdifferent number of labeled nodes on Cora dataset方法n=10n=15n=20n=25n=30GCN73.6%77.8%81.2%83.7%84.9%DGI74.9%78.6%81.2%83.2%83.3%文献26 方法75.6%79.0%82.8%83.4%84.2%GRACE74.3%78.1%82.4%83.1%84.1%SSC鄄HCL76.0%80.3%83.7%85.8%86.1%表 4摇各方法在 CiteSeer 数据集上不同标记数量下的分类准确率Table 4摇Classification accuracies of different methods withdifferent number of labeled nodes on CiteSeerdataset方法n=10n=15n=20n=25n=30GCN65.2%69.5%71.3%70.6%72.7%DGI68.7%71.1%72.0%73.1%73.4%文献26 方法69.1%71.3%72.9%73.2%73.9%GRACE68.7%70.4%71.5%71.7%73.0%SSC鄄HCL69.8%71.9%73.5%73.7%75.0%表 5摇各方法在 PubMed 数据集上不同标记数量下的分类准确率Table 5摇Classification accuracies of different methods withdifferent number of labeled nodes on PubMeddataset方法n=10n=15n=20n=25n=30GCN67.1%78.1%78.6%80.0%80.3%DGI70.2%77.3%77.6%80.4%80.6%文献26 方法70.9%78.1%79.3%80.2%80.5%GRACE71.2%77.9%79.4%80.6%80.8%SSC鄄HCL71.8%78.7%80.1%81.0%81.5%由表 3 表 5 可以看出,随着标记数量的增加,性能随之上升,这一结果表明,样本的标记数量与方法性能相关,标记数量越高,分类准确率越高.在 3个引文网络数据集上的实验结果表明,SSC鄄 HCL 在不同标记数量上的分类准确率均最优.为了提供更直观地说明,在 Cora 数据集上,给出 SSC鄄HCL、DGI、GMI 学 得 的 节 点 嵌 入 表 示 的t鄄SNE36可视化结果,具体如图4 所示,图中不同颜色表示不同类别.由图可观察得出,SSC鄄HCL 得到的子簇内较紧凑,子簇间界限较明显,不同颜色的子簇间重叠较少.DGI 得到的红色子簇和绿色子簇之间重叠部分较多,且属于同类的黑色子簇之间的距离较远.GMI 得到的橙色子簇和黑色子簇之间重叠于左上方,且属于同类的黑色子簇之间的距离较远.结果表明,SSC鄄HCL 能够得到良好的节点嵌入表示.(a)SSC鄄HCL(b)DGI(c)GMI图 4摇各方法在 Cora 数据集上的 t鄄SNE 可视化结果Fig.4摇 t鄄SNE visualization of different methods on Cora dataset3摇结 束 语本文提出基于层次对比学习的半监督节点分类算法(SSC鄄HCL).利用 GCN 的不同层次作为视图进行对比学习,不需要通过图数据增强得到视图,从而有效缓解通过繁琐复杂的试错选择数据增强方法的问题,并且对不同跳邻居学到的节点表示进行约束,缓解图数据增强以及深度加深对图语义信息造成的817模式识别与人工智能(PR&AI)摇 摇 摇第 36 卷破坏.此外,设计半监督对比损失,有效利用大量的无标记样本和少量的标记样本,提供丰富的监督信息.在 4 个基准数据集上的实验表明 SSC鄄HCL 在节点分类任务上的有效性.今后考虑研究动态环境下的图对比学习,学习图结构中的丰富特征.参考文献1 LECUN Y,BENGIO Y,HINTON G.Deep Learning.Nature,2015,521(7553):436-444.2 余 凯,贾 磊,陈雨强,等.深度学习的昨天、今天和明天.计算机研究与发展,2013,50(9):1799-1804.(YU K,JIA L,CHEN Y Q,et al.Deep Learning:Yesterday,To鄄day,and Tomorrow.Journal of Computer Research and Develop鄄ment,2013,50(9):1799-1804.)3 周志华.基于分歧的半监督学习.自动化学报,2013,39(11):1871-1878.(ZHOU Z H.Disagreement鄄Based Semi鄄Supervised Learning.ActaAutomatica Sinica,2013,39(11):1871-1878.)4 刘建伟,刘 媛,罗雄麟.半监督学习方法.计算机学报,2015,38(8):1592-1617.(LIU J W,LIU Y,LUO X L.Semi鄄Supervised Learning Methods.Chinese Journal of Computers,2015,38(8):1592-1617.)5 KINGMA D P,REZENDE D J,MOHAMED S,et al.Semi鄄Super鄄vised Learning with Deep Generative Models/Proc of the 27th In鄄ternational Conference on Neural Information Processing Systems.Cambridge,USA:MIT Press,2014:3581-3589.6 BENNETT K P,DEMIRIZ A.Semi鄄Supervised Support Vector Ma鄄chines/Proc of the 11th International Conference on Neural Infor鄄mation Processing Systems.Cambridge,USA:MIT Press,1998:368-374.7 BLUM A,CHAWLA S.Learning from Labeled and Unlabeled DataUsing Graph Mincuts/Proc of the 18th International Conference onMachine Learning.San Francisco,USA:Morgan Kaufmann,2001:19-26.8 李 明,杨艳屏,占惠融.基于局部聚类与图方法的半监督学习算法.自动化学报,2010,36(12):1655-1660.(LI M,YANG Y P,ZHAN H R.Semi鄄Supervised Learning Based onGraph and Local Quick Shift.Acta Automatica Sinica,2010,36(12):1655-1660.)9 BLUM A,MITCHELL T.Combining Labeled and Unlabeled Datawith Co鄄training/Proc of the 11th Annual Conference on Computa鄄tional Learning Theory.New York,USA:ACM,1998:92-100.10 SOHN K,BERTHELOT D,LI C L,et al.FixMatch:SimplifyingSemi鄄Supervised Learning with Consistency and Confidence/Procof the 33rd International Conference on Neural Information Proce鄄ssing Systems.Cambridge,USA:MIT Press,2020:596-608.11 BERTHELOT D,CARLINI N,GOODFELLOW I,et al.MixMa鄄tch:A Holistic Approach to Semi鄄Supervised Learning/Proc ofthe 32nd International Conference on Neural Information ProcessingSystems.Cambridge,USA:MIT Press,2019:5049-5059.12 PEROZZI B,AL鄄RFOU R,SKIENA S.DeepWalk:Online Lear鄄ning of Social Representations/Proc of the 20th ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining.New York,USA:ACM,2014:701-710.13 DEFFERRARD M,BRESSON X,VANDERGHEYNST P.Convo鄄lutional Neural Networks on Graphs with Fast Localized SpectralFiltering/Proc of the 29th International Conference on Neural In鄄formation Processing Systems.Cambridge,USA:MIT Press,2016:3844-3852.