基于图神经网络节点分类问题研究综述.pdf

第 5 卷 第 8 期 新一代信息技术 Vol.5 No.8 2022 年 4 月 NEW GENERATION OF INFORMATION TECHNOLOGY Apr.2022 基金项目:河北政法职业学院2021年研究课题(项目编号：ZF202107Q11)Foundation item:Hebei Professional College of Political Science and Law 2021 Research Project(No.ZF202107Q11)作者简介:张璞(1994)，男，硕士研究生，助教，研究方向：数据挖掘。DOI:10.3969/j.issn.2096-6091.2022.08.029 基于图神经网络节点分类问题研究综述 张 璞，李亚飞，史欢欢(河北政法职业学院，河北 石家庄 050067)摘 要：图神经网络已经广泛应用于各个领域，节点分类问题是图神经网络的重要下游任务之一。目前，节点分类主要通过消息传递的方式来实现，通过探讨消息传递的几种方式来比较不同方法之间的优劣，并提出可扩展性问题仍将是未来节点分类问题的主要研究内容。关键词：图神经网络；节点分类；采样；消息传递 本文著录格式：张璞，李亚飞，史欢欢.基于图神经网络节点分类问题研究综述J.新一代信息技术，2022，5(8):95-97 中图分类号：TP391 文献标识码：A Explore the Node Classification Problem of Graph Neural Network ZHANG Pu,LI-Ya-fei,SHI Huan-huan(Hebei Professional College of Political Science and Law,Hebei,Shijiazhuang 050067,China)Abstract:Graph neural networks have been widely used in various fields,node classification is one of the important downstream tasks of graph neural networks.At present,node classification is mainly realized through message passing.By exploring several methods of message passing,comparing the advantages and disadvantages of different methods,scalability will still be the main research content of future node classification problems.Key words:graph neural networks;node classification;sampling;message passing Citation:ZHANG Pu,LI-Ya-fei,SHI Huan-huan.Explore the Node Classification Problem of Graph Neural NetworkJ.New Generation of Information Technology,2022,5(8):95-97 0 引言 近年来，由于图神经网络（Graph Neual Network，GNN）1强大的推理能力，引起了研究者的广泛关注。目前，图神经网络已经应用于生物医疗、自然语言处理、推荐系统、计算机视觉、城市数据挖掘以及网络安全等各个领域。为了更好地利用现代机器学习模型来实现图数据上的推理工作，需要找到一种尽可能来表示图数据信息的方法，即图数据表征（图特征提取）。最初大多通过特征工程进行特征提取，而深度学习学得的表示越来越成为当前人工智能研究的最重要利器之一，将深度学习与图数据表征相结合的研究得到了越来越多的关注，图神经网络就是其主要的研究内容。图神经网络的目的在于将图元素的特征具象化，也就是将抽象的图数据变为计算机能识别的低维稠密向量。按照图上的元素分类，图特征提取通常可以分为节点上的特征提取、边上的特征提取、图上的特征提取，其对应的下游任务为节点分类、边分类、图分类。节点分类是目前图特征提取最重要的一个研究任务，现实世界中的恶意账户检测、虚假新闻检测、好友推荐等都可以认为是节点分类问题。1 节点分类简介 给定一个图 G=V,E，其中 V 为图 G 的节点集合，E 为边集合，且|V|=n。假设已知其中部分节点Vtrain的标签 Ytrain，目标是预测一些未知节点 Vtest的标签 Ytest属于哪种类型、类别。为了对节点进行分类，GNN 通常利用自身结构特征与属性特征来进行消息传递，如 GCN。因此，GNN 的核心是图上的消息传递机制，它通过聚合邻居信息并更新中心节点表示。2 消息传递机制 GNN 中消息传递机制可分解为两个步骤：消息96 新一代信息技术 2022 年 传递，消息聚合（状态更新），可以分别用 M 函数和 U 函数来表示。假设存在两个存在边的节点 v，w，其在 t 时刻下的节点表示为ttvwhh，()vN是节点 v的邻居集合，则其消息传递如公式（1）所示。1()m(,)tttvtvwwvMh h（1）对于节点 v，得到邻居节点的信息后与自身的节点表示聚合来更新自己的状态，如公式（2）所示。11(,)tttvvvhU h m（2）消息传递机制虽然取得了一定的成功，但是对于大规模的图训练任务，图卷积网络的计算量非常大，通常存在严重的可扩展性问题。如图 1 所示，要计算 L 层的节点表示，需要计算出其邻居在 L-1层的表示。同理，为了计算出其邻居在 L-1 层的表示，需要计算出其邻居在 L-2 层的表示。以此类推，当图的规模非常大的时候，要计算某一个节点的表示，可能需要更新整个图的节点表示，这将需要相当大的内存来存储节点的表示。这种经过很多层后信息到达的节点会呈现指数增长的现象，成为邻域爆炸。为了解决邻域爆炸问题并归纳消息传递机制的演变过程，将消息传递机制分为两类：（1）平均机制，如 GraphSAGE2、FastGCN3，该类机制认为各邻居节点在聚合信息的过程中重要性是一致的。（2）注意力机制，如 GAT4，借鉴自然语言处理中attention 机制5，根据邻居节点的聚合表示为每条边赋予权重。图 1 信息传递过程 Fig.1 the process of message passing 2.1 平均机制 2.1.1 点采样 点采样，又称为逐点采样法，典型的例子为GraphSAGE。GraphSAGE 在每一层的计算过程中，对于该层中的每一个节点，都随机从邻居集合中采样出聚合节点集，节点集内的元素数量为 S，使用聚合节点集来更新节点表示6。即将公式（1）中的()v改为公式（3）所示。(,)SvvSAMPLES（3）2.1.2 层采样 虽然点采样将邻居节点的个数固定到了 S 个，但是当层数的值很大时，仍然可能造成邻域爆炸问题。而且点采样使用的随机采样邻域的方法无法判断邻域中每一个节点的重要性，因此提出了层采样方法。在每一层的计算过程中，采样只进行一次，而且该层采样具有特异性，如 FastGCN 使用了重要性采样，这样将大大减少每一层采样的元素数量，每层的采样集合将用于整层的节点消息更新过程。2.1.3 子图采样 尽管点采样和层采样在一定程度上解决了图神经网络的可扩展性问题，但是也暴露出自身的一些缺陷，如点采样仍可能造成的邻域爆炸7，层采样造成层间依赖不足，节点连接稀疏，不能较好的学得最终的节点表示。一种解决方案是将原有的图分割为不同的子图，直接在子图上进行节点的信息传递过程，这样把信息更新操作局限在子图上，有效避免了邻域爆炸和稀疏问题8。2.2 注意力机制 注意力机制与 transformer 已经广泛应用于自然语言处理领域，如机器翻译、文本分类、摘要生成等9，它是从大量信息中筛选出少量重要信息，并着重关注这些重要信息，忽略大部分不重要的信息。同样的，在图神经网络中可以通过注意力机制来给中心节点的邻居不同的注意力分数，从而找出重要的邻居节点。3 实验 为了验证不同消息传递机制的效率与准确性，采用经典的 Cora 数据集,Cora 数据集由机器学习论文组成,分为 7 类，包含 2 708 个节点，经过处理后每个节点的属性特征维度为 1 433。将数据集分别应用于 GCN、GAT、GraphSAGE 以及 clusterGCN 上，结果如表 1 所示。可以看到 GAT 的效果最好，反而GraphSAGE 的效果偏差，这是因为 GAT 本身使邻居节点具有特异性，选出了重要性节点，在后期的节点更新中能更好地表示节点。而 GraphSAGE 本身受 S 参数以及层数限制，需要进行调参才可能得到更好的效果。表 1 实验结果 Tab.1 summary of results Model ACC GCN 0.8120 GAT 0.8210 GraphSAGE 0.7780 ClusterGCN 0.7920 4 结论 目前，图神经网络已经取得了不少重大突破，MPNN 等框架相继问世10，其对应的实际应用纷纷落地，腾讯、阿里、谷歌等也都研发出了自己的大规模图表示学习框架。GraphSAGE、FastGCN 被用于大规模图推荐、大规模比特币交易网络进行反洗8 期 张 璞等:基于图神经网络节点分类问题研究综述 97 钱等领域。如何提高图神经网络的可扩展性11，并且进一步高效低成本解决邻域爆炸的问题仍是未来一段时间的研究热点。参考文献 1 Kipf T N,Welling M.Semi-Supervised Classification with Graph Convolutional NetworksJ.Arxiv Preprint Arxiv:1609.02907,2016.2 Hamilton W,Ying Z,Leskovec J.Inductive Representation Learning on Large GraphsJ.Advances in Neural Information Processing Systems,2017,30.3 Chen J,Ma T,Xiao C.Fastgcn:Fast Learning with Graph Convolutional Networks Via Importance SamplingJ.Arxiv Preprint Arxiv:1801.10247,2018.4 Velickovic P,Cucurull G,Casanova A,Romero A,Li P,Bengio Y.Graph attention networks.arXiv:1710.10903,2017.5 Vaswani A,Shazeer N,Parmar N,et al.Attention is all you needC/Advances in Neural Information Processing Systems.2017:5998-6008.6 马耀,汤继良.图深度学习M.北京:电子工业出版社,2021.7 马腾飞.图神经网络:基础与前沿M.北京:电子工业出版社,2021.8 刘知远,周界.图神经网络导论M.北京:人民邮电出版社,2021.9 Velikovi P,Cucurull G,Casanova A,et al.Graph Attention NetworksJ.Arxiv Preprint Arxiv:1710.10903,2017.10 Zhou L,Jia C,Zhang J.Information-Aware Message Passing Neural Networks for Graph Node ClassificationC.Proceedings of the 2020 3rd International Conference on Signal Process-ing and Machine Learning.2020:68-72.11 Chen T,Sui Y,Chen X,et al.A Unified Lottery Ticket Hy-pothesis for Graph Neural NetworksC.International Conference on Machine Learning.PMLR,2021:1695-1706.张璞（1994），男，硕士研究生，助教，研究方向：数据分析与处理。李亚飞(1995)，女，硕士研究生，助教，研究方向：数字图像处理。史欢欢(1989)，女，硕士研究生，讲师，研究方向：数据仓库与数据挖掘。（上接第 94 页）给予批评，询问如此行动的缘由。此类尊重现实、尊重学生思想及心理状态的班级冲突管理，借助了监控设备的力量。信息技术的应用提升了学生日常表现监督的效率，更一定程度上减轻了班委协助班级管理的压力10。3 结论 鉴于当前时代背景，将信息技术融入高职学生班级管理中十分必要。高职院校参与班级管理的教师应优先了解信息技术对于高职班级管理的意义，进而结合实际情况，适当选用多种策略，在班级管理中融入信息技术应用，提高管理工作的实行效率及质量。参考文献 1 张聪.教育信息化2.0时代智慧班级的建构限域与实践突围J.南京社会科学,2020(04):136-141+156.2 张海珠,贾旭霞,靳琪,等.“互联网+”时代乡村教师班级管理能力及素养的提升探究基于乡村教师班级管理能力检核模型的构建J.远程教育杂志,2019,37(02):102-112.3 金绅,叶鸿佳.利用信息技术改进班级管理的实践与反思 J.教学与管理,2014(34):26-28.4 丁丁.高校班级管理信息化平台的构建J.思想教育研究,2009(S1):108-110.5 刘魁元.现代远程教育班级管理初探J.中国电化教育,2008(12):55-57.6 张静然.多元应用引领发展 纵深推进常州市天宁区教育信息化J.中国电化教育,2008(10):1-4.7 张梨祥.网络环境下高职院校班级管理的对策研究以兰州现代职业学院为例J.兰州职业技术学院学报,2021,37(05):119-121.8 张守平,杨连武.互联网班级群的管理优势与提升策略J.教学与管理,2021(28):25-28.9 王喜文.适应网络时代的班级德育管理新论J.教书育人,2021(28):70-71.10 朱梦夏.中职学校班级信息化管理中存在的问题及对策J.电脑知识与技术,2021,17(27):236-237+256.董书光(1973)，男，讲师，研究方向：学生管理。