附加特征图增强的图卷积神经网络.pdf

第4 6卷 第9期2 0 2 3年9月计 算 机 学 报CH I N E S E J OUR NA L O F C OMP UT E R SV o l.4 6 N o.9S e p.2 0 2 3 收稿日期:2 0 2 3-0 3-6;在线发布日期:2 0 2 3-0 3-1 3.本研究得到科技创新2 0 3 0-新一代人工智能重大项目:面向跨媒体内容管理的智能分析与推理(N o.2 0 1 8 A A A 0 1 0 2 0 0 0)、国家自然科学基金委员会:跨媒体理解与知识推理(N o.6 2 0 2 2 0 8 3)、国家自然科学基金委员会:数据和知识联合驱动的跨媒体语义理解与文本生成(N o.6 2 2 3 6 0 0 8)、中国科学院计算技术研究所创新课题(E 1 6 1 0 6 0)、香港大学项目(1 0 4 0 0 5 8 5 8,1 0 4 0 0 5 9 9)、粤港澳联合实验室项目(2 0 2 0 B 1 2 1 2 0 3 0 0 0 9)、鹏城实验室重大攻关项目:脑眼融合的智能感知计算技术与平台(P C L 2 0 2 3 A S 6-1)等项目资助.孙隽姝,硕士研究生,主要研究领域为图表示学习、计算机视觉.E-m a i l:j u n s h u.s u n v i p l.i c t.a c.c n.王树徽(通信作者)博士,研究员,中国计算机学会(C C F)高级会员(2 2 4 8 2 S),主要研究领域为跨媒体分析推理与可信机器学习方法.E-m a i l:w a n g s h u h u i i c t.a c.c n.杨晨雪,博士,助理研究员,主要研究领域为机器学习、数据挖掘及应用.黄庆明,博士,教授,中国计算机学会(C C F)会士,主要研究领域为多媒体分析、计算机视觉、模式识别理论与方法.郑振刚,博士,教授,主要研究领域为大规模数据管理、知识库、社交网络、众包技术等.附加特征图增强的图卷积神经网络孙隽姝1),2)王树徽1),3)杨晨雪4)黄庆明1),2),3)郑振刚5),6)1)(中国科学院计算技术研究所智能信息处理实验室 北京 1 0 0 1 9 0)2)(中国科学院大学计算机科学与技术学院 北京 1 0 0 0 4 9)3)(鹏城实验室 广东 深圳 5 1 8 0 5 5)4)(中国农业科学院农业信息研究所 北京 1 0 0 0 8 1)5)(香港大学计算机科学系 香港)6)(深圳大学粤港澳智慧城市联合实验室 广东 深圳 5 1 8 0 6 0)摘 要 近年来,图卷积网络(G r a p h C o n v o l u t i o n a l N e t w o r k,G C N)凭借其简单的网络结构、在图上任务中展现出的优异性能,受到了学术界和工业界的广泛关注.然而G C N也存在着在浅层时信息传播范围过小、特征提取不充分的缺陷.针对这一问题,本研究提出附加特征图模型(A d d i t i o n a l F e a t u r e G r a p h,A F G).A F G通过引入图的节点结构特征(度特征),对度相同的节点随机增加连边、缩短信息传播距离.A F G并不是独立的图神经网络模型,而是作为一种附加技术与G C N及其相关模型配合使用.实验显示,在C o r a、C i t e s e e r、P u b m e d数据集上A F G能够对浅层主干模型实现显著性能增益,帮助主干模型性能超越了其他以提升模型特征提取能力、改善欠传播情况为目的进行设计的模型.本研究进一步分析了A F G与D r o p E d g e 一种随机切断原始图连边的附加技术 的区别与联系,并通过实验证明附加特征图模型与D r o p E d g e模型共同使用的可行性,以及两者间存在一定的互补性.结合使用两种附加技术可以实现更大的节点分类准确度增益.关键词 图表示学习;图神经网络;信息传播;图卷积网络;节点分类中图法分类号T P 3 9 1 D O I号1 0.1 1 8 9 7/S P.J.1 0 1 6.2 0 2 3.0 1 9 0 0 G r a p h C o n v o l u t i o n a l N e u r a l N e t w o r k s w i t h A d d i t i o n a l F e a t u r e G r a p hS UN J u n-S h u1),2)WANG S h u-H u i1),3)YANG C h e n-X u e 4)HUANG Q i n g-M i n g 1),2),3)R e y n o l d C.K.C h e n g5),6)1)(K e y L a b o f I n t e l l i g e n t I n f o r m a t i o n P r o c e s s i n g(C A S),I n s t i t u t e o f C o m p u t i n g T e c h n o l o g y,C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 1 9 0)2)(D e p a r t m e n t o f C o m p u t e r S c i e n c e a n d T e c h n o l o g y,U n i v e r s i t y o f C h i n e s e A c a d e m y o f S c i e n c e s,B e i j i n g 1 0 0 0 4 9)3)(P e n g c h e n g L a b o r a t o r y,S h e n z h e n,G u a n g d o n g 5 1 8 0 5 5)4)(A g r i c u l t u r e I n f o r m a t i o n I n s t i t u t e o f C h i n e s e A c a d e m y o f A g r i c u l t u r e S c i e n c e s,B e i j i n g 1 0 0 0 8 1)5)(D e p a r t m e n t o f C o m p u t e r S c i e n c e,T h e U n i v e r s i t y o f H o n g K o n g,H o n g K o n g)6)(G u a n g d o n g-H o n g K o n g-M a c a u J o i n t L a b o r a t o r y,S h e n z h e n U n i v e r s i t y,S h e n z h e n,G u a n g d o n g 5 1 8 0 6 0)A b s t r a c t G r a p h s t r u c t u r e s a r e s u i t a b l e f o r t h e m o d e l i n g o f c o m p l e x i n t e r a c t i o n s a n d r e l a t i o n s.T h e r e f o r e,g r a p h s a r e w i d e l y u s e d i n d a t a r e p r e s e n t a t i o n s u c h a s m o l e c u l e s,c h e m i c a l c o m-p o u n d s,c i t a t i o n n e t w o r k s,s o c i a l n e t w o r k s,t r a f f i c w e b,a n d k n o w l e d g e g r a p h s.I n l i g h t o f t h e g r e a t s u c c e s s o f n e u r a l n e t w o r k s i n i m a g e u n d e r s t a n d i n g a n d n a t u r a l l a n g u a g e p r o c e s s i n g,t h e r e h a s b e e n a r i s i n g i n t e r e s t i n G r a p h N e u r a l N e t w o r k s(GNN)f o r t h e s t u d y o f l e a r n i n g o n g r a p h s.Am o n g t h e p o p u l a r GNN s,G r a p h C o n v o l u t i o n a l N e t w o r k s(G C N),h i g h l i g h t e d f o r t h e i r s i m p l e n e t w o r k s t r u c t u r e s a n d e x c e l l e n t p e r f o r m a n c e w i t h g r a p h s,h a v e a t t r a c t e d w i d e a t t e n t i o n a n d b e-c o m e a p r o m i s i n g d i r e c t i o n.H o w e v e r,t h e l i m i t a t i o n o n m e s s a g e p a s s i n g d i s t a n c e d e t e r i o r a t e s t h e p e r f o r m a n c e o f G C N.T o a d d r e s s t h i s p r o b l e m,p e o p l e p r o p o s e c o n s t r u c t i n g d e e p G C N m o d e l s t o i m p r o v e p r o p a g a t i o n.H o w e v e r,a s t h e d e p t h o f G C N i n c r e a s e s,n o d e f e a t u r e s b e c o m e o v e r-s m o o t h e d o r o v e r-s q u a s h e d.T h i s l e a d s t o a s h a r p d e c r e a s e i n t h e m o d e l p e r f o r m a n c e.T h o u g h d i f f e r e n t d e e p G C N m o d e l s h a v e b e e n p r o p o s e d t o t a c k l e t h e o v e r-s m o o t h i n g o r o v e r-s q u a s h i n g p r o b l e m,t h e i n h e r e n t p r o b l e m s o f t h e m e s s a g e p a s s i n g m e c h a n i s m a r e l e s s e x p l o r e d.T h e p r o b-l e m s o f m e s s a g e p a s s i n g i n G C N i n c l u d e:1)h a v i n g u n r e l i a b l e p a t h s i n t h e o r i g i n a l i n p u t g r a p h s w h i c h p a s s i n f o r m a t i o n w i t h l o w s i g n a l-t o-n o i s e r a t i o s,2)r e a c h i n g l i m i t e d m e s s a g e p a s s i n g e x-t e n t w h i c h g i v e s r i s e t o t h e l e s s e x p r e s s i v e f e a t u r e r e p r e s e n t a t i o n,a n d 3)l a c k i n g e x p l i c i t l e a r n i n g f a s h i o n o n s t r u c t u r a l f e a t u r e s.T o t h i s e n d,s o m e p e o p l e s e e k t o d i r e c t l y i m p r o v e t h e m e s s a g e p a s s i n g i n s h a l l o w G C N c o n c e r n i n g t h e l i m i t a t i o n i n r o b u s t n e s s,m e s s a g e p a s s i n g e x t e n t,o r f e a-t u r e d i v e r s i t y.B u t a l l t h e s e s t u d i e s f a i l t o t a c k l e t h r e e p r o b l e m s i n a s i n g l e m o d e l.I n t h i s p a p e r,w e p r o p o s e a n o v e l m o d e l n a m e d A F G(A d d i t i o n a l F e a t u r e G r a p h),t o i m p r o v e t h e m e s s a g e p a s s-i n g o v e r r o b u s t n e s s,m e s s a g e p a s s i n g e x t e n t,a n d f e a t u r e d i v e r s i t y.S p e c i f i c a l l y,A F G c a n i n j e c t t h e s t r u c t u r a l f e a t u r e s o f t h e i n p u t g r a p h i n t o t h e m e s s a g e p a s s i n g p r o c e s s a n d r a n d o m l y a d d e d-g e s b e t w e e n n o d e p a i r s t h a t h a v e t h e s a m e d e g r e e.T h e d e g r e e f e a t u r e r e p r e s e n t s t h e f i r s t-o r d e r t o p o l o g i c a l s t r u c t u r e o f i n d i v i d u a l n o d e s.C o n n e c t i n g n o d e s w i t h t h e s a m e d e g r e e a l l o w e x p l i c i t l e a r n i n g o n s t r u c t u r a l f e a t u r e s.A s a l i g h t w e i g h t a n d g e n e r a l t e c h n i q u e,o u r A F G m o d e l c a n b e e a s i l y p l u g g e d i n t o G C N a n d i t s r e l a t e d m o d e l s,b r i n g i n g e x t r a i m p r o v e m e n t s.E x p e r i m e n t a l r e-s u l t s o n t h r e e d a t a s e t s d e m o n s t r a t e t h e e f f i c i e n c y o f A F G.A F G-a i d e d m o d e l s o u t p e r f o r m s h a l l o w b a c k b o n e s a n d r e l a t e d G C N-b a s e d m o d e l s o n C o r a,C i t e s e e r,a n d P u b m e d.A F G a c h i e v e s 0.6 9%a v e r a g e d i m p r o v e m e n t o n 2-l a y e r m o d e l s,0.5 7%o n 4-l a y e r m o d e l s,1.1 8%o n 6-l a y e r m o d e l s,a n d 0.9 9%o n 8-l a y e r m o d e l s.T h e i m p r o v e m e n t s a r e p r o v e n t o b e s i g n i f i c a n t w i t h h y p o t h e s i s t e s t i n g.W e a l s o p r o v i d e d e t a i l e d e x p e r i m e n t a l a n a l y s i s o n A F G w i t h b o t h s y n t h e t i c d a t a s e t s a n d r e a l w o r l d d a t a s e t s.T h e c o r r e s p o n d i n g e x p e r i m e n t a l r e s u l t s d e m o n s t r a t e t h a t A F G c a n i m p r o v e t h e c o n n e c t i v i t y a n d s h o r t e n t h e a v e r a g e p a t h l e n g t h o f t h e i n p u t g r a p h s.W i t h A F G,n o d e s c a n g e t m o r e i n f o r m a t i v e f e a t u r e s f r o m t h e i r n e i g h b o r s.C o m p a r e d t o G C N,A F G r e a c h e s a b r o a d e r m e s s a g e p a s s i n g e x t e n t i n s h a l l o w m o d e l s t r u c t u r e s.F u r t h e r m o r e,w e p r o v i d e e x p e r i m e n t s v e r i f-y i n g t h a t A F G a n d D r o p E d g e(a n o t h e r p l u g-a n d-p l a y t e c h n i q u e f o r G C N m o d e l s)a r e c o m p l e m e n-t a r y t o e a c h o t h e r a n d c a n b e c o m b i n e d t o a c h i e v e b e t t e r p e r f o r m a n c e.K e y w o r d s g r a p h r e p r e s e n t a t i o n l e a r n i n g;g r a p h n e u r a l n e t w o r k s;m e s s a g e p a s s i n g;g r a p h c o n v-o l u t i o n a l n e t w o r k s;n o d e c l a s s i f i c a t i o n1 引 言现实生活中存在大量的图结构数据,如新浪微博、豆瓣等社交网络数据,生化分子结构数据,引文网络数据等等1.单纯地将图转化为欧几里得结构数据、交 由 卷 积 神 经 网 络(C o n v o l u t i o n a l N e u r a l N e t w o r k s,C NN)等传统神经网络方法处理会造成拓扑结构信息的损失.因此更好的图结构数据处理方 法 图 神 经 网 络(G r a p h N e u r a l N e t w o r k,GNN)应运而生.作为图神经网络的重要分支,由K i p f等2提出的 图 卷 积 网 络(G r a p h C o n v o l u t i o n a l N e t w o r k,G C N)凭借其优异的性能、简单的网络结构,受到了学术界和工业界的广泛关注.目前,G C N已被成功地应 用 于 推 荐 系 统3-5、药 物 研 发6-8、点 云 分10919期孙隽姝等:附加特征图增强的图卷积神经网络割9和交通流预测1 0-1 2等任务.尽管在多种任务上性能表现优异,G C N也存在着众多缺陷.在本文中,我们主要 关 注G C N的 浅 层 网 络 信 息 欠 传 播问题.根据G i l m e r等1 3的研究分析,GNN的前向传播过程通常可以被划分为信息传播和节点更新.其中,信息传播指以目标节点为中心,聚合邻居节点状态信息(输入层状态信息即为节点特征信息).G C N模型通过图空间域上的卷积实现信息传播,且信息传播范围随着卷积层的叠加逐渐扩大.为了扩大G C N模型的信息传播范围、避免可能出现的信息欠传播,一种自然的思路是构造深度G C N模型1 4.这种思路主要面临的困难是,G C N模型在深度增加时会出现梯度消失、图上节点特征分布过度平滑(即信息过传播)、网络性能快速下降甚至崩溃等现象.对此,研究人员从不同的角度提出了解决方案:在网络中增加跳连,如J K N e t1 5,D e e p-G C N9,1 6等;删除图上连边,如D r o p E d g e1 7-1 8(见图1-b).不同于构造深度G C N模型的思路,本文从思考如何扩大浅层网络信息传播范围的角度入手,提出一种G C N及其相关模型的改进技术 附加特征图模型(A d d i t i o n a l F e a t u r e G r a p h,A F G).A F G通过引入图的节点结构特征,对度相同的节点对随机增加连边,缩短信息传播距离(见图1).度特征是节点拓扑连接结构的体现,度相同的节点拥有相同的一阶拓扑结构.通过令度相同的节点之间建立连边,A F G可以显式地在一阶拓扑结构相同的节点之间进行信息传递,提取局部拓扑相同的节点之间的共性特征.同时A F G能够帮助G C N类模型在不增加网络深度的同时,扩大信息传播范围,提取更多图上特征.特别的,A F G并非一种独立模型,而是作为附加改进策略,嵌入G C N等主干模型(b a c k b o n e)中,实现模型性能的提升.A F G的卷积层信息传递如图1-c所示.本文将在第3节对A F G进行详细介绍.图1 模型信息传递对比 本文的贡献可以被总结为三个方面:(1)提出附加特征图模型,为G C N及其相关模型引入节点的度特征;(2)在节点分类任务上,通过实验验证了附加特征图模型对主干模型的性能增益作用,证明了模型各部分对于整体效果发挥的必要性,揭示了附加特征图模型能够有效缩短平均路径长度,从而扩大信息传播范围;(3)在实验中发现了附加特征图模型与R o n g等1 7提出的D r o p E d g e对模型性能增益效果的互补性.2 相关工作G C N模型通过网络深度的增加逐渐扩大节点信息的传播范围.因此当G C N深度较浅时,模型对于输入数据的特征提取和表达相对不足.针对这种信息欠传播现象的改进思路主要可分为两种,本文将在第3节从 第二种角 度入手 尝 试 解 决 欠 传 播问题.2.1 模型深度 受深度学习在神经网络中的成功应用启发,人们很自然地开始探索深度G C N模型的可行性.然而,G C N模型深度的增加会导致模型性能的快速下降,甚至出现性能崩溃.目前,学界对这一现象的主要解释包括以下3类:(1)过平滑.主流研究观点称这种现象为“过平滑”.L i等1 9推导证明了G C N的模型本质为拉普拉斯平滑.基于这一结论可知,G C N对输入信号进行逐层拉普拉斯平滑,导致高频信息丢失、深层网络提取到的节点特征同质化严重.从信息传播角度分析,过平滑现象也被解释为邻居节点间信息的过度共享、交换.(2)过拟合.Y a n g等2 0通过分析深度G C N的训练过程,以及深度G C N在训练、测试中的损失函数曲线提出:G C N能够在训练中依赖监督信号纠正节点的过平滑表示,而性能崩溃来自深层G C N模型对训练样本的过拟合.(3)过挤压.A l o n和Y a h a v2 1通过对图神经网2091计 算 机 学 报2 0 2 3年络进行分析,提出了过度挤压的观点,认为图神经网络中沿连通节点链路进行的信息传播导致随着传播距离变长,规模以指数级增长的节点信息被挤压入了固定大小的向量中.这种过度挤压带来了大量有效信息的损失,映射到G C N网络结构中,即产生深层网络性能崩溃问题.为了构建深度G C N模型,R o n g等1 7提出一种附加模型D r o p E d g e,尝试削减节点间信息的过度传播,解决深层G C N过平滑问题.从解决过平滑的角度来说,D r o p E d g e通过断开连边,截断了节点间信息传播的路径,避免了信息过度交换.同时由于断开操作的随机性,D r o p E d g e有助于抑制噪声信息的交换.从解决过拟合的角度来说,D r o p E d g e在每轮训练中都生成新的邻接矩阵,相当于对输入数据做了随机变形,起到了扩大训练集的作用.L i等9受R e s N e t2 2、D e n s e N e t2 3的启发,将残差连接和膨胀卷积引入G C N模型,提出了D e e p-G C N模型.该模型成功地在避免性能崩溃的同时,将网络深度叠加到了1 1 2层.2.2 信息传递 不同于从模型深度入手的解决方案,第二类方向主要从改善模型信息传递机制出发解决欠传播问题.信息传递机制通过邻域节点信息聚合和更新实现.G C N通过将信息传播限制在连通的邻居间,显式地提取了图上节点的特征信息,同时隐式地编码了图的拓扑连接信息.这样的信息传播方式使得G C N仅仅基于拓扑连通性对中心节点及其邻居进行拉普拉斯平滑.由于非欧式结构数据的特殊性,图上拓扑连通的两个节点尽管在连通路径上临近,其特征并不一定相似.在这种情况下,G C N的信息传递方式存在以下问题:(1)可能存在信息损失和噪声,消息流的信噪比低;(2)过于关注邻域内节点,特征提取不足;(3)缺乏对拓扑结构信息的显式利用.因此,为改善G C N模型存在的欠传播问题,模型需要具备广泛特征的鲁棒学习能力,同时兼顾特征提取的局部性和全局性,即一个更具表达力、更远、更多元的信息传递图模型.在特征鲁棒学习能力方面,根据邻域中不同节点提供的信息,V e l ik o v ic等2 4引入注意力机制对邻域节点赋权,实现信息的加权聚合.以H a m i l t o n等2 5提 出 的G r a p h S AG E为 代 表 的 邻 域 采 样类1 7,2 6模型通过随机采样邻居节点进行特征聚合,帮助聚合函数学习邻域节点更具代表性和决定性的特征.采样模型的聚合过程等价于随机赋二值权重的加权求和过程,即注意力模型和采样模型都通过对节点邻域的加权聚合来帮助更好地提取节点特征,提升聚合信息的信噪比.但他们却忽视了信息欠传播中远程节点信息缺失的问题,也没有很好地针对图结构信息进行模型设计.为了扩大浅层信息传播范围,G a s t e i g e r等2 7引入个性化随机游走来获取远距离节点信息.A b u-E l-H a i j a等2 8提出M i x H o p模型,通过拼接不同幂次的邻 接 矩 阵 在 同 一 层 中 获 得 多 阶 邻 居 信 息.K l i c p e r a等2 9将个性化随机游走等扩散机制泛化,提出利用扩散机制重新学习图结构的方法.这种方法使得输入图中的节点距离被打破重排,改变了原有信息传播的通路,扩大了节点的信息传播范围.在多元特征引入方面,部分研究人员尝试通过度特征编码图结构信息.Wu等3 0受W e i s f e i l e r-L e-h m a n测试3 1启发,认为图卷积应该具备编码度信息的能力,提出根据各节点的度值编码聚合权重.C o r s o等3 2在模型P NA中编码了度信息,并指出度反映了局部节点的连接状态,度的微小变动可能意味着节点信息或梯度的指数级变化.以上研究均从信息传播机制缺陷的某一点入手尝试对模型进行改进,忽视了其他缺陷对模型能力的影响.对此我们提出A F G模型来尝试对信息欠传播引起的低鲁棒性、特征提取不充分问题做出综合改进.3 附加特征图模型为了解决浅层G C N模型的信息欠传播问题,提升模型特征提取能力,本文提出A F G.A F G通过引入新的特征信息(度信息)来建立新的拓扑连接,从而扩大信息传播范围,提升浅层G C N模型性能.同时,由于不需要叠加G C N深度,A F G规避了深层G C N模型可能出现的过平滑、过拟合或过挤压等问题.A F G的整体结构如图2所示.下面首先介绍主干模型G C N,随后具体介绍A F G方法细节.3.1 G C N模型 给定图G=(V,E),设节点个数|V|=N,V=v1,v2,vN,evivjE.定义图的邻接矩阵为A NN,度矩阵为D NN,拉普拉斯矩阵L NN,其中Ai j=1,evivjE0,其他(1)30919期孙隽姝等:附加特征图增强的图卷积神经网络Di i=nj=1Ai j(2)L=D-A(3)G C N模型由K i p f等2提出.取输入信号XnNC,C为节点特征维度,G C N模型的单层卷积过程可写作Z=D-12AD-12XnW(4)其中,A=A+IN,IN表示N阶单位阵,Di i=jAi j,W CF为可学习的滤波器参数,F为滤波器个数.以两层G C N为例,令A=D-12AD-12,网络前向传播过程可以写作下式Z=AR e L UAXnW(0)W(1)(5)其中,表示s o f t m a x函数.从频域信息传播机制的角度来看,G C N的本质是对输入信号进行逐层的拉普拉斯平滑滤波.从空间信息传播机制的角度来看,G C N通过对输入信号左乘拉普拉斯矩阵,引入了以目标节点为中心一阶邻居的信息.随着G C N层数的叠加,邻居节点的步长范围也在逐层扩大.图2 附加特征图模型整体结构(以相加混合训练为例)3.2 结构特征图生成 根据G C N2模型逐层聚合邻居节点信息的工作特点,我们基于节点的度特征扩大了节点邻居的定义范围,即允许度相同节点建立连边.定义度等邻接矩阵Ad e g如下式Ad e g=DTo hDo h(6)式中Do h NM由节点度值的独热(o n e-h o t)表示构成,M为图上节点度的最大值.真实网络往往具有稀疏连接的特点.为了保证节点连接的稀疏性和模型的可扩展性,我们采用随机采样的方式对邻接矩阵Ad e g进行稀疏化处理.稀疏化后的图称为结构特征图.令输入图为G=(V,E),图中节点度的集合为d,则结构特征图为Gs t r=(V,Es t r),其节点度的集合为ds t r.建立结构特征图的候选边集合为Es t r,Es t r 中顶点度的集合为ds t r,ds t rd.假设对任意dnd,度为dn的节点对(vi,vj)建立连边的概率为Pl i n k,dnds t r 的概率为Pd e g r e e;对任意evivjEs t r,定义evivjEs t r的概率为Pl i n k|d e g r e e.基于以上定义与假设,可列等式如下Pl i n k=Pl i n k|d e g r e ePd e g r e e(7)其中Pl i n k|d e g r e eU(0,1),Pd e g r e eU(0,1).设度为dn的节点集合为Vdn,则结构特征图生成算法的伪代码如算法1所示.根据公式7,我们将生成新连边的概率拆分成两步,首先通过Pd e g r e e将候选节点的范围缩小,随后再从符合度要求的节点中选取节点对建立连边.这样做的目的是缩小节点对的搜索空间,缩短程序执行时间.算法1.结构特征图生成.输入:d,Pd e g r e e,Pl i n k|d e g r e e,Vdn|dnd输出:As t rI n i t i a l i z e As t r=OF O R e a c h dnd D O p1pU(0,1)I F p1Pd e g r e e T H E N F O R e a c h viVdn D O F O R e a c h vjVdn D O I F ij T H E N p2pU(0,1)I F p2Pl i n k|d e g r e e T H E N As t ri j1E N D A L L3.3 组合训练方法 本文给出三种结构特征图与原图的组合训练方式:相加混合训练、相加并行训练、独立并行训练.三种训练方式的网络结构如图3所示.4091计 算 机 学 报2 0 2 3年图3 附加结构特征模型训练方式对比 在两类相加训练中,我们对结构特征图做了进一步处理 生成混合特征图.利用得到的结构特征图邻接矩阵As t r,与原图邻接矩阵A做“与”运算,可以得到混合特征图邻接矩阵AF如下式AF=AAs t r(8)相加混合训练.利用得到的混合特征图邻接矩阵AF,替换输入图信号的邻接矩阵A,代入G C N或其改进模型的网络中进行训练.两层G C N网络的前向传播过程可写作下式Z=AFR e L U AFXnW(0)W(1)(9)这种训练方式没有改变主干模型的网络结构,模型直接在混合特征图上进行信息传递.由于原始的拓扑连接发生了改变,模型编码提取的是基于度特征重构后的拓扑结构.独立并行训练.分别利用了原图和结构特征图.在网络中,先分别将原图与结构特征图的邻接矩阵A、As t r代入G C N或其改进模型网络中并行完成训练,得到两组逐层提取出的图特征.随后在s o f t m a x层计算分类输出之前,对两条训练线得到的图特征相加合并.两层G C N网络的前向传播过程可写作下式Z=As t rR e L U As t rXnW(0)W(1)+AR e L U AXnW(0)W(1)(1 0)这种训练方式改变了主干模型的网络结构,模型分别在原图和结构特征图上进行信息传递,可以独立编码原始拓扑结构和基于度特征构建的新拓扑结构.在原图训练分支上,模型提供主干模型的原始特征提取结果;