图卷积神经网络综述.pdf

图卷积神经网络综述*刘俊奇,涂文轩,祝 恩(国防科技大学计算机学院,湖南 长沙 4 1 0 0 7 3)摘 要:由于图数据的广泛存在,图卷积神经网络发展速度越来越快。根据卷积算子定义方式的不同,图卷积神经网络大体可以分为2类,其中一类基于谱方法,另一类基于空间方法。首先对这2类方法中的代表性模型以及二者之间的联系进行详细论述,并进一步全面总结图的池化操作;接着介绍了图卷积神经网络在各个领域中的广泛应用;最后提出了图卷积神经网络的几个可能的发展方向并对全文进行了总结。关键词:图数据;卷积算子;图卷积神经网络中图分类号:T P 3 9 3 文献标志码:Ad o i:1 0.3 9 6 9/j.i s s n.1 0 0 7-1 3 0 X.2 0 2 3.0 8.0 1 6 S u r v e y o n g r a p h c o n v o l u t i o n a l n e u r a l n e t w o r kL I U J u n-q i,TU W e n-x u a n,Z HU E n(C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,N a t i o n a l U n i v e r s i t y o f D e f e n s e T e c h n o l o g y,C h a n g s h a 4 1 0 0 7 3,C h i n a)A b s t r a c t:W i t h t h e w i d e s p r e a d e x i s t e n c e o f g r a p h d a t a,t h e d e v e l o p m e n t o f g r a p h c o n v o l u t i o n a l n e u-r a l n e t w o r k s(G C NN s)i s b e c o m i n g f a s t e r a n d f a s t e r.A c c o r d i n g t o t h e d i f f e r e n t d e f i n i t i o n s o f t h e c o n-v o l u t i o n o p e r a t o r,G C NN s c a n b e r o u g h l y d i v i d e d i n t o t w o c a t e g o r i e s:o n e b a s e d o n s p e c t r a l m e t h o d s a n d t h e o t h e r b a s e d o n s p a t i a l m e t h o d s.F i r s t l y,r e p r e s e n t a t i v e m o d e l s o f t h e s e t w o c a t e g o r i e s a n d t h e i r c o n n e c t i o n s a r e d i s c u s s e d i n d e t a i l,a n d t h e n t h e g r a p h p o o l i n g o p e r a t i o n s a r e c o m p r e h e n s i v e l y s u mm a-r i z e d.F u r t h e r m o r e,t h e e x t e n s i v e a p p l i c a t i o n s o f G C NN s i n v a r i o u s f i e l d s a r e i n t r o d u c e d,a n d s e v e r a l p o s s i b l e d e v e l o p m e n t d i r e c t i o n s o f G C NN s a r e p r o p o s e d.F i n a l l y,a c o n c l u s i o n i s d o n e.K e y w o r d s:g r a p h d a t a;c o n v o l u t i o n o p e r a t o r;g r a p h c o n v o l u t i o n a l n e u r a l n e t w o r k1 引言在过去的十多年中,对深度学习的研究在很大意义上影响着人工智能以及机器学习的发展。作为机器学习的一个分支,深度学习是指通过以层次化或堆叠很多层结构的方式从简单的概念中构建和学习复杂的概念。人工神经网络可以较好地解决深度模型中的贡献度分配问题C A P(C r e d i t A s-s i g n m e n t P r o b l e m)1,因而成为了深度学习较为流行的实现方式。近年来,基于G P U的计算机不断增长的计算能力和大量训练数据的可用性使得成功地训练大规模的神经网络成为可能2,这导致了人工智能的许多子领域取得了质的突破,比如计算机视觉、语音识别和机器翻译。卷积神经网络C NN(C o n v o l u t i o n a l N e u r a l N e t w o r k)3、循环神经网络R NN(R e c u r r e n t N e u r a l N e t w o r k)4和自编码器5等各种端到端的深度学习模型使得机器学习任务发生了彻底的变化。现今,以图为代表的非欧氏空间数据越来越多地出现在实际场景和应用中。图(也称为网络)是一种可以表示各个领域的对象及对象之间关系的通用数据结构,对象在图中用节点(顶点)表示,对象之间的关系表示为图的边(链接),将对象之间的相互作用建模为图,使研究人员能够以系统性的方式理解各种复杂网络系统6。图结构数据在现实*收稿日期:2 0 2 1-1 2-0 2;修回日期:2 0 2 2-0 4-1 3通信地址:4 1 0 0 7 3 湖南省长沙市国防科技大学计算机学院A d d r e s s:C o l l e g e o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,N a t i o n a l U n i v e r s i t y o f D e f e n s e T e c h n o l o g y,C h a n g s h a 4 1 0 0 7 3,H u n a n,P.R.C h i n a C N 4 3-1 2 5 8/T PI S S N 1 0 0 7-1 3 0 X 计算机工程与科学C o m p u t e r E n g i n e e r i n g&S c i e n c e第4 5卷第8期2 0 2 3年8月 V o l.4 5,N o.8,A u g.2 0 2 3 文章编号:1 0 0 7-1 3 0 X(2 0 2 3)0 8-1 4 7 2-1 0世界中可以说无处不在,包括社交网络、电子商务、知识图谱、化学、生物学、计算机视觉和语言学等各个领域。最近几年,鉴于图在现实世界中的广泛流行和深度学习的成功,研究人员对于将深度学习方法推广和应用到图数据上的兴趣激增。在C NN、R NN和自编码器等传统神经网络的激励和启发下,旨在处理复杂图数据的图神经网络近年来得到了快速的发展。尽管近年来陆续有一些文献全面总结了图上的深度学习方法与模型7,8,但对图卷积神经网络在建模方法和应用层面进行深层次的探讨和总结的仍不多,为此本文对其发展历程及其应用与未来趋势进行了较为全面的总结和概述。2 图卷积神经网络类似于传统的卷积神经网络,构建图卷积神经网络同样需要定义卷积算子与池化算子,卷积算子旨在刻画出节点的局部结构,而池化算子的主要作用是降低参数量。学习好的节点特征表示是节点级任务的关键所在,此时池化并不是必需的,只有在图级任务中池化操作才必不可少。因此,图上卷积算子的构建工作就显得更为重要。根据图卷积算子构建方式的不同,图卷积神经网络大体可以分为2类:基于谱方法的图卷积和采用空间方法的图卷积。基于谱的方法定义图卷积需要引入滤波器9,可以认为是对图信号进行去噪。空间方法则吸收了递归神经网络的思想,从信息传播的角度来定义图卷积。当然,这2类方法之间并不存在明确的界限,图卷积网络G C N(G r a p h C o n v o l u t i o n a l N e t w o r k)1 0就可以看成是谱方法和空间方法之间的桥梁,基于空间的方法由于其有高效性、灵活性和通用性等诸多优越之处,近年来得到了更为广泛的关注和快速发展。2.1 谱方法对于C NN而言,卷积操作是最基本的运算。然而,图像或文本数据中使用的标准卷积无法直接应用在图上,原因在于图数据缺乏网格结构9。基于谱的图卷积神经网络从图信号处理的角度出发,有着十分坚实的数学基础9,1 1。为了简化讨论,本文只考虑无向图G=(V,E),其节点和边的数量分别为n和m,归一化的图拉普拉斯矩阵为L=1-D-1/2A D-1/2,其中A是邻接矩阵,D是节点度的对角矩阵。利用L是实对称半正定矩阵这个特性,可以将其特征分解为L=U UT,其中,U是特征向量组成的矩阵,是特征值组成的对角阵。在图信号处理中,一个图信号xRn是图中所有节点在某个维度的属性组成的向量,其中xi是第i个节点的属性值。对图信号x的傅里叶变换定义为F(x)=UTx,逆图傅里叶变换定义为F-1(x)=U x。图傅里叶变换将输入图信号投影到一个由L的特征向量所张成的正交空间中。输入信号x与滤波器gRn的图卷积定义如式(1)所示:x*g=F-1(F(x)F(g)=U(UTxUTg)(1)其中,表示哈达玛积(元素积),如果将滤波器表示为g=d i a g(UTg),则 谱 图 卷 积x*g=U gUTx,为参数向量,基于谱的图卷积都遵循这个定义,主要区别在于滤波器g的不同。本文从频域的角度来对式(1)进行阐述,首先对图信号x进行图傅里叶变换,得到其谱域表示UTx;然后在谱域利用频率响应矩阵(即滤波器g)对各个频段的信号进行调制;最后再利用逆图傅里叶变换转换回空域的信号,并进行非线性激活后输出结果。基于谱方法的图卷积思路简单易懂,表明了在谱域进行图卷积操作的可行性,为后续的一系列图卷积神经网络奠定了理论基础。在数字信号处理中,通常的合理假设是观测值包含一些高频噪声,并且底层的“真实信号”具有低频性质。从这个角度看,图卷积网络应该设计成一个低通滤波器,尽量保留图信号中的低频成分,过滤高频部分,N t等人1 1的研究表明,图卷积神经网络及其变体只对特征向量进行低通滤波,其本质上都是图信号的低通滤波器。B r u n a等人1 2首先使用图拉普拉斯矩阵1 3 为来自谱域的图数据引入卷积,该矩阵起到与信号处理中傅里叶基相似的作用9。具体来说,谱卷积神经网络S p e c t r a l C NN1 2假设滤波器为g=li,j,把滤波器当成是一组可学习的卷积核的参数,并考虑具有多个通道的图信号。谱C NN的图卷积层如式(2)所示:xl+1j=Udli=1li,jUTxli,j=1,2,dl+1(2)其中,Xl表示第l层的节点状态,xli为矩阵Xl的第i列,也就是第i维图信号;li,j表示第l层第i个图信号的卷积核;dl+1表示第l+1层节点xl的维度。由于要对拉普拉斯矩阵进行特征分解,谱卷积神经网络主要有以下4个限制:首先,图的任何一点轻微的变动都会使得特征基发生变化;其次,3741刘俊奇等:图卷积神经网络综述拉普拉斯矩阵的特征分解需要(n3)的计算复杂度;第三,卷积核的参数量过多,导致容易过拟合而且不能扩展到大规模图;最后,该卷积方式不具有局部性,在空域上没有明确的意义。在接下来的工作中,切比雪夫网络C h e b N e t(C h e y b y s h e v S p e c-t r a l C o n v o l u t i o n a l N e u r a l N e t w o r k)1 4和G C N1 0通过一些方法把计算复杂度降低至(m)。C h e b N e t1 4使用切比雪夫多项式来实现对滤波器g的逼近,即g=Kk=0kTk(),其中=2/m a x-I,K表示切比雪夫多项式的阶数,m a x表示拉普拉斯矩阵的最大特征值。这是为了将特征值压缩到-1,1,切比雪夫多项式Tk可递归求解,由T0(x)=1,T1(x)=x与递推公式Tk(x)=2x Tk-1(x)-Tk-2(x)递归地定义,x表示切比雪夫多项式的自变量。因此,图信号x与定义的滤波器g的卷积为:x*g=UKk=0kTk()UTx=Kk=0kTk(L)x,其中L=2L/m a x-I。作为对S p e c t r a l C NN的改进,C h e b N e t避免了高复杂度的特征分解,而且定义的滤波器在空间上是局部化的(节点仅能被其K阶邻居所影响),这意味着滤波器可以独立于图的大小来提取局部特征。此外,C a y l e y N e t s1 5 进一步应用凯莱多项式来捕捉窄频带,凯莱多项式是含参数的有理复函数,C h e b N e t可以看作是C a y l e y N e t s的一个特例。在切比雪夫网络的基础上,K i p f等人1 0提出了经典的图卷积网络(G C N),把切比雪夫网络中的多项式卷积核限定为一阶,进一步进行了简化。具体来说,假设K=1,m a x=2,卷积操作则简化如式(3)所示:x*g=0 x-1D-1/2A D-1/2x(3)为了限制参数数量并避免过拟合,G C N进一步假设=0=-1,得出式(4):x*g=(I+D-1/2A D-1/2)x=D-1/2A D-1/2x(4)其中,A=A+I。进一步,为了防止数值不稳定和梯度消失与爆炸问题,又进行了归一化操作,最终得到层与层之间的卷积操作,如式(5)所示:Hl+1=(D-1/2AD-1/2HlWl)=(AHlWl)(5)其中,D是A的度矩阵,A=D-1/2AD-1/2,Hl为第l层的节点特征,Wl为对应的参数矩阵。C h e b N e t和G C N对卷积核进行了参数化,尽管它们定义图卷积是从谱方法开始的,但是定义节点相关性的聚合函数已经包含在最终形式中。切比雪夫网络的聚合函数是拉普拉斯矩阵多项式,G C N以A=D-1/2AD-1/2 作为聚合函数,其输出结果为每个节点在相应的聚合函数下由节点自身与邻居节点加权得到的新表示。谱分析为本文提供了非常好的图信号分析工具,对基于谱方法的图卷积的研究也一直没有停止,比如图小波网络中使用了基于小波基的滤波器,反 馈 环 路 滤 波 器 网 络D F N e t s(D i s t r i b u t e d F e e d b a c k-L o o p e d N e t w o r k s)则设计了更加稳定的滤波器,L a n c z o s N E T(L a n c z o s N E T w o r k)对拉普拉 斯 矩 阵 做 了 快 速 的 低 秩 近 似,图 热 核 网 络G r a p h H e a t1 6实现低通滤波器,利用热核函数来参数化卷积核,基于个性化P a g e R a n k的图卷积神经P P N P(P e r s o n a l i z e d P r o p a g a t i o n o f N e u r a l P r e-d i c t i o n s)网 络1 7和 简 单 图 卷 积S G C(S i m p l e G r a p h C o n v o l u t i o n)网络1 8对G C N的方法进行了分析,并提出了一些变形和简化。尽管基于谱方法的图卷积神经网络有着坚实的理论基础,但是由于其复杂度高,缺乏跨图学习和迁移的能力,计算时需要将整个图存入内存中等诸多不足,导致后续的研究更多倾向于基于空间方法的图卷积神经网络。2.2 空间方法类似于传统C NN中的卷积运算,基于空间方法的图卷积神经网络从节点的空间拓扑关系出发来实现图卷积操作,通过定义聚合函数来将节点自身的表示与其邻居的表示进行加权求和,以更新当前节点的表示。空间方法的图卷积运算本质上是沿着边来进行节点之间的消息传播。消息传递神经网络MP NN(M e s s a g e P a s s i n g N e u r a l N e t w o r k)1 9可以视为基于空间方法的图卷积神经网络的一般框架。MP NN将图卷积看成是图上的消息传递,消息从图中的一个节点开始,沿着边传递到另一节点,MP NN通过多步迭代的方式使得消息可以传递得更远。MP NN可以分为2步,首先将聚合函数作用于每个节点及其邻居,从而得到包含节点局部结构信息的聚合表示;第2步,将该聚合表示连同节点自身特征输入更新函数中,进而得到每个节点更新后的表示,如式(6)和式(7)所示:mt+1u=vN(u)Mt(htu,htv,eu v)(6)ht+1u=Ut(htu,mt+1u)(7)其中,htu表示第t步节点u的隐层表示,eu v表示连接节点u,v 之间边的特征,Mt表示第t步的聚4741C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)合函数,mt+1u表示节点u经过聚合后得到的局部结构表达,Ut表示第t步的更新函数,N(u)表示节点u的邻居节点集合。MP NN将图卷积神经网络的每一层分成聚合消息和状态更新2个步骤,每个节点收到邻居节点传递过来的消息后,再结合自身前一个时间步的节点状态来共同指导状态的更新,进而得到了包含局部结构信息的新表示。MP NN从信息传递的角度出发定义了图卷积神经网 络 的 通 用 框 架,而 混 合 模 型 网 络M o N e t(M i x t u r e m o d e l N e t w o r k)2 0,2 1 则先通过函数将每个节点的局部结构映射到相同的维度,然后学习共享的卷积核。混合模型网络M o N e t使用伪坐标确认节点之间的位置,当知道了一个节点到另一个节点之间的相对位置,就用权重函数计算它们之间的权重。现有的一些方法,如测地线C NN G C NN(G e o d e s i c C o n v o l u t i o n a l N e u r a l N e t w o r k)2 2、各向异 性C NN A C NN(A n i s o t r o p i c C o n v o l u t i o n a l N e u r a l N e t w o r k)2 3、样条C NN 2 4以及G C N1 0、扩散卷积神经网络D C N N(D i f f u s i o n-c o n v o l u t i o n a l N e u r a l N e t w o r k)2 0等,都可以通过构造非参数权值函数视为M o N e t的特殊情况。此外,M o N e t提出的具有可学习参数的高斯核使得权重函数能够进行自适应的学习。在以上的通用框架下,一些方法不再依赖于图拉普拉斯矩阵,而是利用神经网络来学习聚合函数。这些方法学到的聚合函数更加灵活,可以自适应于各种不同的图结构和具体的任务。由于一个节点的邻居数量可以很多,因此采用节点的全部邻居进行聚合操作是低效的。为此,图采样与聚合G r a p h S AG E(G r a p h S Am p l e a n d a g g r e G a t E)网络2 5 通过采样来为每个节点获得固定数量的邻居,它通过如式(8)所示的方式执行图卷积:hlu=(Wlfl(hl-1u,hl-1v,vSN(u)(8)其中,fl()是聚合函数,SN(u)是对节点u的邻居进行随机采样得到的节点。聚合函数对于节点顺序的排列应该是不变的,G r a p h S AG E给出了3种聚合函数:均值聚合、最大值聚合和长短时记忆L S TM(L o n g S h o r t-T e r m M e m o r y)网 络 聚 合 函数。G r a p h S AG E中的S AG E很好地概括了该模型的核心步骤:S指的是采样(S a m p l e),采样可以方便进行批处理以及降低计算复杂度,AG E是指聚合函数(A g g r e G a t E)。在G r a p h S AG E模型中,节点的嵌入表示可以通过一个共同的聚合邻居节点信息的函数来得到,在训练时只需要得到这个聚合函数,就可以泛化到未知的节点上,从而进行归纳式学习。可以说,G r a p h S AG E和G C N都是图卷积神经网络中具有里程碑意义的模型,G r a p h-S AG E的提出不仅使得图卷积神经网络在大规模图上的应用得以实现,而且把图表示学习由直推式学习推广到归纳式学习,对于图神经网络的发展具有十分重要的意义和作用。G r a p h S AG E的运行步骤如图1所示。F i g u r e 1 S a m p l i n g a n d a g g r e g a t i o n o f G r a p h S A G E图1 G r a p h S AG E的采样和聚合过程图注意 力 网 络GAT(G r a p h A t t e n t i o n N e t-w o r k s)2 6采用了注意力机制来进行节点之间权重的学习,相比于G C N 1 0中节点间的权重是预先确定不变的,GAT中邻居节点对中心节点的贡献不是预先确定 的,这是其 相 对G C N的 一 大 改 进。GAT中图卷积运算被定义如式(9)所示:h i=jN(i)ai jW hj(9)其中,hj是第j个节点的特征向量;W是卷积核的参数,是一个矩阵。注意力权重ai j度量节点i和它的邻居节点j之间的连接强度,如式(1 0)所示:ai j=e x p(L e a k y R e L U(aW hiW hj)kN(i)e x p(L e a k y R e L U(aW hiW hk)(1 0)其中,a 表示权重向量a与括号内的向量做内积。为了提高模型的表达能力,还可以对GAT进一步执行多头注意力进行扩展,用K个W来得到不同的注意力,然后将其拼接在一起或者进行平均。此外,门控注意力网络G a AN(G a t e d A t t e n-t i o n N e t w o r k)2 7引入了一种自注意力机制,可以为每个注意力头计算额外的注意力得分。除了把5741刘俊奇等:图卷积神经网络综述图注意力应用在空间上之外,G e n i e P a t h 2 8提出一种类似于L S TM的门控机制,这种机制可以有效控制图卷积层之间的信息流动。GAT的结构如图2所示。F i g u r e 2 S t r u c t u r e o f G A T图2 G A T结构2.3 池化算子GNN生成节点表示后,可以将它们直接用于节点级的任务,但是无法直接将所有这些节点的特征用于图级任务,这种情况下就必须进行下采样。下采样策略包括池化操作和读出操作,池化操作旨在避免过拟合以及计算过于复杂的情况,其通过对节点进行下采样来生成更粗粒度的表示,从而减少参数的数量;读出操作则一般用于基于节点表示来生成图级表示的情况。本节使用池化来指代应用在图卷积神经网络中的各种下采样操作。D e f f e r r a r d等人1 4在切比雪夫网络中设计了一种有效的池化策略,他们对图的节点增加虚拟节点并重新排列之后,利用完全二叉树来实现池化操作。首先将输入的图利用G r a c l u s算法2 9粗化成多个级别,完成粗化后再将图的节点及其粗化节点重新排列,进而得到一个完全二叉树。接着只要进行自下而上任意聚合,就可以使得相似的节点排列在一起,对一个经过这样重排列的信号进行池化比直接来池化原始信号要有效得多。该实现过程如图3所示,其中,0 1 2表示图的粗化过程,x,y,z则代表不同粗化程度下图上的信号。F i g u r e 3 C h e b N e t u s i n g c o m p l e t e b i n a r y t r e e t o r e a l i z e p o o l i n g o p e r a t o r图3 切比雪夫网络利用完全二叉树实现池化算子上文所描述的池化方法侧重于节点本身的特征,忽视了图的拓扑结构。近年Y i n g等人3 0提出了微分池化D i f f P o o l(D i f f e r e n t i a b l e P o o l i n g),微分池化可生成图的层次化表示,其核心思想在于要对图的拓扑信息以及特征信息的节点分配进行综合考虑。相较于过去简单地对图中的节点进行聚类的池化方法,微分池化更加重视结构信息,在每一层都进行聚类分配矩阵的学习,聚类分配矩阵可以根据上层信息进行参数化,从而得到一个端到端可学习的池化图网络,在每一层中,定义了2个不同的图神经网络,一个用来学习嵌入表示,另外一个用来学习粗化的聚类分配矩阵。微分池化模型结构如图4所示。F i g u r e 4 S t r u c t u r e o f D i f f P o o l m o d e l 图4 微分池化模型结构虽然D i f f P o o l取得了不错的效果,但是其粗化后的图会变得稠密,因此难以处理大规模图。基于此,G a o等人3 1提出了T o p-K池化方法。T o p-K池化只保留了K个最重要的节点作为粗化节点,只保留这些节点之间的边,因此比原图更加稀疏,从而解决了D i f f P o o l复杂度过高的问题。此外,S AG P o o l3 2方法对T o p-K进行了改进,把节点的重要性向量用自注意力机制来阐释,该方法也同时考虑了节点特征和图的拓扑结构。总的来说,池化是减小图大小的基本操作。如何提高池化的效率和计算复杂度是一个值得研究的问题。3 圈卷积神经网络的应用由于图结构数据无处不在,图卷积神经网络有着广泛的应用。除了节点或图分类、链接预测等标准的图任务外,图卷积神经网络在不同的学科和领域有着广泛的应用,如社交网络、自然语言处理、计算机视觉、推荐系统、生物化学、物理学、疾病或药物预测、基因表达等。本节选择了几个领域的一些有代表性的实际应用来进行介绍和概述。3.1 计算机视觉图卷积神经网络在计算机视觉中的应用包括图像分类、场景图、点云图和视觉推理等。图像分类作为计算机视觉领域中的基础任务,已经有研究者使用图卷积神经网络将图的结构信息纳入图像分类任务中。M a r i n o等人3 3把知识图谱当作额外信息,通过图卷积神经网络来对知识图谱中的先6741C o m p u t e r E n g i n e e r i n g&S c i e n c e 计算机工程与科学 2 0 2 3,4 5(8)验知识加以利用,在多标签分类任务中取得了显著的性能提升。场景图是另一种较为常见的图数据,在场景图中,节点代表物体,边的特征表示空间关系,主要的任务包括场景理解和场景图的生成。T e n e y等人3 4通过对场景图和句子依存句法图进行建模,提出了一种基于场景内容和问题的结构化表示 的 可 视 化 问 答VQA(V i s u a l Q u e s t i o n A n-s w e r i n g)系统的改进方案,在视觉问答任务上取得了不错的效果。点云图是由三维激光扫描仪扫描记录形成的一组三维点。对点云的分类和分割等任务对于挖掘其在无人驾驶等应用中的价值至关重要。T e等人3 5提出了正则化图卷积网络R G C-NN(R e g u l a r i z e d G r a p h C o n v o l u t i o n a l N e u r a l N e t w o r k)用于进行点云分割,R G C NN将点的特征看作图上的信号来定义图卷积,并根据相应的特征对图L a p l a c i a n矩阵进行更新,从而自适应地捕捉动态图的结构。R G C NN在点云分类任务中取得了有竞争力的结果,对噪声和点云密度都有很好的鲁棒性。在计算机视觉系统中,往往需要通过结合空间和语义双重信息来进行推理,典型的视觉推理任务是视觉问答VQA。N a r a s i m h a n等人 3 6利用图神经网络同时给多条事实建模,从而提高了推理的准确性,实验结果表明该方法在相关数据集上效果提升显著。此外,图卷积神经网络在计算机视觉领域中的应用方向仍在不断增多。总的来说,在计算机视觉领域,人们在攻克了基础和简单的任务后,目前更关注在小样本和复杂语义情况下的建模和学习。在这些场景下,图是重要的数据结构,图卷积神经网络则是有效的建模方法。3.2 自然语言处理在自然语言处理领域,许多任务都可以利用图卷积神经网络来建模,包括序列标注等单词级任务和文本分类等句子级任务。文本分类是自然语言处理中的一个重要的基本任务,虽然比较成熟但是依然充满挑战。P e n g等人3 7提出了一个基于图卷积神经网络的模型,其大体思路可以分为2步:第1步把文本转换成单词图,第2步对该单词图进行图卷积操作,进而实现对于文本的分类任务。Y a o等人3 8 对数据集进行重构,把文档和单词作为节点来构建语料库异构图,并使用T e x t G C N来学习单词和文档的表示,将文档分类任务转换成图上的节点分类问题。语义角色标注也是自然语言处理领域中的一个传统任务,该任务是给定一个句子,要求识别出句中各成分的语义角色及其与谓语的关系。M a r c h e g g i a n i等人3 9提出了一种语 法G C N来解决这个问题,通过依存句法分析得到句子的语法结构,然后构建一个有向语法图,从而将语义角色标注问题转变成语法图上的分类问题,利用句法依赖树上的句法G C N作为编码器来学习词的潜在特征表示。3.3 生物化学在生物化学领域,研究人员利用图卷积神经网络来研究分子化合物和蛋白质的结构与性质,把其中的原子或残基看作节点,化学键或链作为边。该领域中主要的任务包括节点分类、图分类以及图的生成,利用基于图卷积神经网络的方法进行表示学习,可以进一步得到分子指纹、预测化合物性质与化学反应、推断蛋白质作用位点、进行化合物或者药物的合成等。分子指纹是能代表分子的特征向量,图卷积神经网络提供了更加多样的方法来得到它。D u v e n a u d等人4 0 提出神经图指纹,针对传统分子指纹方法的不足进行了改进,该方法首先使用G C N计算出子结构的特征向量,进而对其求和得到分子的整体表示。K e a r n e s等人4 1进一步显式地分别建模原子和原子对,以强调原子间的相互作用,并引入了边的表示来代替聚合函数。G i l m e r等人1 9提出的消息传递网络MP NN则是在生物化学的背景下对信息传递网络进行了统一和改进。蛋白质作用位点预测旨在预测蛋白质之间的相互作用以及作用的位置,F o u t4 2使用基于G C N的方法分别对配体和受体蛋白残基的表示进行学习,合并后进行成对分类,这在药物发现和新药设计中具有重要的应用价值。3.4 推荐系统推荐系统是图卷积神经网络在工业界最为成熟的应用之一,因此图卷积神经网络在该领域的应用引起了极大的重视。推荐中天然地存在着图结构,如用户-产品图,推荐系统以商品和用户为节点,利用商品、用户及其内容信息的关系,基于图卷积神经网络等方法进行有效推荐,其关键在于对商品的重要性打分,这可以转化为图上的链接预测任务,目标是预测用户和商品之间缺失的链接。B e r g等人4 3 基于二部交互图和图自编码器,提出了图上可微消息传递的推荐模型,该方法表现出与标准协同过滤推荐模型相当的性能,在社交网络上则优于此 前 的 方 法。M o n t i等 人4 4提 出 一 个 结 合R NN与图卷积的可学习模型,该模型可以认为是7741刘俊奇等:图卷积神经网络综述分数的可学习扩散,与传统方法相比,主要优势是变量数量固定且与矩阵的大小无关。3.5 其他应用图卷积神经网络强大的表征能力使得其在各个领域都很受欢迎,除了上述的应用场景,图卷积神经网络在其他领域也大放异彩。在很多领域中,我们都可以从数据中挖掘和抽象出图结构,从而利用图卷积网络进行建模得到更好的结果。例如,将图卷 积 神 经 网 络 应 用 于 物 理 学4 5,4 6、知 识 图谱4 7 4 9、交通预测5 0,5 1、程序验证与推断5 2、金融行业反欺诈与反洗钱5 3等。甚至一些看似不相关的领域中都能看到图卷积神经网络的身影,如利用图卷积神经网络来求解组合优化问题5 4,5 5等。当然,图卷积神经网络不是万能的,在应用到具体领域中时,图卷积神经网络通常不是作为单独的模型,而是建立在其他架构之上作为一个子模块。此外,将领域知识纳入模型中是非常重要的。随着技术的发展,相信图卷积神经网络会有更加广泛的应用前景。4 展望尽管大量的研究已经表明图卷积神经网络在处理图数据时具有独到的优势,但由于图数据的多样性和图结构的复杂性,因此在对图卷积神经网络的研究和应用上仍然存在不小的困难与挑战。本节将对图卷积神经网络未来可能的发展方向进行展望。4.1 更深的网络结构深度学习的成功很大程度上源于深层的网络结构,传统的神经网络可以堆叠上百层以获得更好的性能,因为更深的网络具有更多的参数,从而可以显著提高模型的表示能力。但是,在图卷积神经网络中仅仅堆叠少数几层后就达到了最佳结果,此后再增加网络层数反而会使得效果变差。L i等人2 8的实验研究表明,随着G C N层数量的增加,图卷积神经网络的性能急剧下降,即堆叠过多的图卷积层会导致过平滑问题。这是因为图神经网络的本质是消息传递,图卷积操作会聚合邻居节点的特征,经过多次图卷积后,节点的表示会十分接近,理论上经过很多层图卷积后所有节点的表示都将收敛到相同的值。虽然已有一些研究人员尝试着解决这个问题,但它目前仍然是图卷积神经网络的一大局限。进行更为基础的研究,探索图卷积神经网络是否需要更深层的结构,或者说能否设计出真正的深度图卷积神经网络来缓解甚至消除过平滑的问题是未来研究的挑战,将为深入理解图卷积神经网络做出重大贡献。4.2 复杂图由于图的结构和类型千差万别,现有的方法并不适用于处理所有的图数据。对于大多数图神经网络而言,目前只能处理图结构固定不变、节点和边类型单一的静态同质图。然而,现实场景中的图往往更加复杂多样,通常具有多种类型的节点和边,而且结构也是动态变化的。在推荐系统中,商品的输入形式可能有图像或文本等不同的类型。此外,如何处理有向图也是一个具有挑战性的问题,因为有向图的拉普拉斯矩阵是非对称的,不能进行正交特征分解,没有易于解释的谱域结构。除了这些,符号图(即图中同时包含正边和负边)、超图(代表2个以上对象之间的复杂关系)等其他复杂多样的图结构,由于其各自独特的结构,都对现有的方法提出了巨大的挑战,有待进一步的研究。因此,设计特定的图卷积神经网络模型来处理这些类型的图数据也是未来的一个重要方向。4.3 可扩展性在互联网等实际场景中,图的规模往往非常大,比如社交网络和推荐系统中,通常包含了上亿个节点和边。目前的图神经网络模型大多不具有良好的可扩展性,无法处理这类超大规模图,因为当图卷积神经网络叠加多层后,节点的最终表示与图中大量节点的隐藏状态相关,导致反向传播时复杂度很高。同时每个节点的领域结构一般都不同,无法应用批处理和并行方法。此外,当前图卷积神经网络的可扩展性是以破坏图的完整性为代价的,无论是采样或者聚类,都会使得模型丢失部分图信息。总的来说,可扩展性的好坏决定了算法能否直接应用到实际场景中,虽然近些年已经有一些基于采样和子图训练的方法来提高模型效率,但是这一问题仍然没有得到有效解决,如何设计新的模型