基于图框架变换的动态图神经网络模型.pdf

第 47 卷第 1 期浙江师范大学学报(自然科学版)Vol.47,No.12024 年 2 月 Journal of Zhejiang Normal University(Nat.Sci.)Feb.2024 DOI:10.16218/j.issn.1001-5051.2024.016基于图框架变换的动态图神经网络模型杨圣鹏1,施建栋1,周斯炜2,李 明2(1.浙江师范大学 计算机科学与技术学院,浙江 金华 321004;2.浙江师范大学 浙江省智能教育技术与应用重点实验室,浙江 金华 321004)摘 要:为了有效地挖掘并利用动态图的低频和高频信息并捕捉其时空演变规律,提出了一种基于图小波的兼顾低通、高通滤波的多尺度图卷积,并将该卷积运算融入长短期记忆网络中,构建了一类基于图框架变换的动态图神经网络模型.在离散动态图的 3 个基准数据集中采用 2 种不同的训练方式进行实验,对比了 11 种动态图表示学习方法.实验结果表明:所提模型通常能取得最优效果且稳定性更好,同时也验证了模型能够更好地捕获动态图的演变规律.关键词:多尺度图卷积;图框架变换;动态图神经网络;动态图表示学习中图分类号:TP183 文献标识码:A 文章编号:1001-5051(2024)01-0019-10Dynamic graph neural network model based on graph framelets transformYANG Shengpeng1,SHI Jiandong1,ZHOU Siwei2,LI Ming2(1.School of Computer Science and Technology,Zhejiang Normal University,Jinhua 321004,China;2.Key Laboratory of Intelligent Education Technology and Application of Zhejiang Province,Zhejiang Normal University,Jinhua 321004,China)Abstract:In order to effectively extract and utilize both low-frequency and high-frequency information from dynamic graphs and capture their spatiotemporal evolution patterns,a multi-resolution graph convolution meth-od combined low-pass and high-pass filtering based on graph wavelets was proposed and incorporated into a long short-term memory network,resulted in the development of a dynamic graph neural network model foun-ded on the graph framelets transform.Experiments were conducted on three benchmark datasets of discrete dynamic graphs using two different training approaches.A comparison was made with 11 different dynamic graph representation learning methods.The experimental results demonstrated that the proposed model often achieved optimal performance and exhibited better stability,thereby validated its ability to effectively capture the evolving patterns in dynamic graphs.Key words:multi-resolution graph convolution;graph framelet transform;dynamic graph neural network;dynamic graph representation learning methods收文日期:2023-04-10;修订日期:2023-09-18基金项目:浙江省教育厅科研项目(Y202249937)作者简介:杨圣鹏(1998),男,湖南郴州人,硕士研究生.研究方向:动态图神经网络.通信作者:李 明.E-mail:mingli 0 引 言自基于深度学习的数据分析方法在学术界取得系列成果以来,已经有大量的模型应用深度学习技术对各类数据进行分析和处理,并在多个领域取得了广泛的应用.然而,目前大部分的模型仅适用于处理欧氏空间的网格型数据.Kipf 等1指出,由于非欧结构的图数据不具备欧氏空间中的规则性和均匀性,所以传统的卷积操作无法直接应用于图数据的特征提取;Bruna 等2指出,由于图数据的频谱特性和传统信号处理中的频谱特性存在差异,所以欧氏空间中的频域处理方法也无法直接应用于非欧结构的图数据;Hamilton 等3也明确了由于非欧结构的图数据具有复杂的连接关系和异构节点属性,传统的特征聚合方法无法充分捕捉到图数据的全局结构和节点之间的复杂交互.而在数据表现形式繁多的大数据时代,非欧结构图数据的应用背景又非常广泛.例如,在社交网络分析领域,通过分析社交网络中的节点和边的连接模式,可以揭示社会关系、社交影响力、社区发现等信息,从而实现更精准的个性化推荐和媒体营销4.在交通网络规划中,通过分析交通网络中节点和边的连接关系,可以进行路径规划、交通流量预测等工作,有助于改善交通运输系统5.此外,图数据还在知识图谱、网络安全、推荐系统等领域得到了广泛的应用,通过构建和分析图数据,能够从复杂的关系中发现隐藏的模式和知识,从而实现智能搜索、语义理解、智能推荐等功能6.欧氏空间网格型数据与非欧空间图结构数据特征如图1 所示.(a)欧氏空间网格型数据 (b)非欧空间图结构数据图 1 规则的网格型数据与非欧结构图数据特征图动态图是非欧空间图结构数据中一类特殊的数据形式,具有丰富的时间和空间演变特征.在以往的研究中,Wang 等7提出了通过聚合邻居节点特征来更新中心节点表示的动态图卷积模型,并与传统的静态图卷积模型在分类任务和分割任务上进行了实验对比,发现用图卷积网络等静态图模型对动态图进行表示学习会导致信息丢失,使实验结果变差;Manessi 等8在静态图中引入时间维度,将静态图扩展为动态图并提出了用邻居节点信息和时间维度的变化更新节点特征的动态图卷积模型,分别完成了图分类和图预测任务,发现静态图卷积模型无法处理动态图数据中节点的新增、删除和连接关系的变化,无法直接对动态图数据的时空演变进行建模;Pareja 等9提出了将 RNN10和 GCN11结合使用的动态图表示学习方法,并指出因为静态图模型无法自适应地学习图结构和特征随时间变化时的演变特征,所以静态图表示学习方法在动态图中并不适用.因此,动态图表示学习领域吸引了众多研究者的关注,提出了各种方法来处理这种动态图数据.例如,Sankar 等12在动态图表示学习中引入注意力机制,构建不同时间下图演变的时间和空间信息;Liu 等13在 RNN10和 GCN11之中引入 Z 核结构,进一步考虑了动态图单个时间戳中的同一局部不同细粒度的相似信息,提高了后续任务的效果;Yu 等14通过深层自编码器和图距离游走方式对动态图进行重新编码,实时更新节点状态并进行图聚类分析;Liu 等15综合考虑动态图神经网络在同一时刻的全局信息、局部信息和动态演变信息,在多个动态图异常检测基准数据集上取得了最佳效果.基于上述处理欧氏结构的特征提取方式并不适用于非欧结构,且静态图表示学习模型也无法准确捕获动态图中的时空演变特征的论述,本文提出一种针对动态图表示学习的模型,主要创新和贡献总结如下:1)将动态图表示学习与非欧空间图框架理论结合起来,提出了一种基于图变换框架的动态图神经02浙江师范大学学报(自然科学版)第 47 卷网络模型,进一步拓展基于谱方法的动态图表示学习技术;2)通过兼顾低通滤波器和高通滤波器,所提模型能够有效地挖掘动态图的低频、高频信息及其演变模式,提升了动态图神经网络的表达能力;3)所提模型在 3 个动态图公共基准数据集上的精度优于已有动态图表示学习算法,验证了基于图框架变换的动态图神经网络模型的潜在优势.1 动态图与动态图表示学习的定义1.1 动态图根据数据的时序处理角度可以把动态图划分为两大类:一类是在固定的时间戳中记录图数据,称为离散动态图,如图 2(a)所示;另一类是记录连续时间下的图数据,称为连续动态图,如图 2(b)所示.(a)离散动态图 (b)连续动态图图 2 离散与连续动态图结构本文基于离散动态图结构,根据离散动态图中顶点和边的动态特性进一步把它划分为如下 3 类图形.第 1 类:图 3 表示带有动态特征的静态图结构,它是图矩阵 G 和节点特征矩阵 X 的有序集合 D=(G,X1),(G,X2),(G,XT),其中节点特征矩阵满足 XtR|V|d,t1,2,T为时间序列中单个时间戳,V=v1,v2,v3,vi(i=1,2,)为节点,V 表示节点数量,d 表示特征维度.即在该类动态图中,节点特征随着时间的流逝而发生改变,图形的结构在各个时刻中均不发生改变.图 3 特征演变的动态图结构第 2 类:图 4 表示带有静态特征的动态图结构,它是图矩阵和节点特征矩阵的有序集合 D=(G1,X),(G2,X),(GT,X),其中 Gt为 t 时刻的图矩阵,节点集合满足 Vt=V,t1,2,T,节点特征矩阵满足 XR|V|d.即在该类动态图中,节点特征在各个时刻中均不发生改变,图形的结构随着时间的流逝而发生改变.图 4 图结构演变的动态图12 第 1 期 杨圣鹏,等:基于图框架变换的动态图神经网络模型第 3 类:图 5 表示带有动态特征的动态图结构,它是图矩阵和节点特征矩阵的有序集合 D=(G1,X1),(G2,X2),(GT,XT),其中节点集合满足 Vt=V,t1,2,T,节点特征矩阵满足 XtR|V|d,t1,2,T.即在该类动态图中,节点特征和图形结构在不同时刻均发生改变.图 5 特征及结构同时演变的动态图1.2 动态图表示学习动态图表示学习是指从动态图数据中学习节点和边嵌入的任务.给定动态图=(V,E,T)作为模型输入,其中 E 表示边集合,然后用神经网络的方法设计一个函数 F 表示可以映射节点和边特征的模型,使得在具体的时间戳 t 下,动态图中每个节点 vV 和边 eE,有 hv(t)=F(v,t),he(t)=F(e,t)分别对节点 v 和边 e 进行嵌入,旨在捕捉动态图中节点和边在时空演变过程中的关联性和变化模式,为后续的图分析、预测和推荐等任务提供有意义的指导.2 基于图框架变换的动态图神经网络模型目前大部分的图神经网络都是基于空间建模的,如 GCN11,GAT16等,这些方法通过空间消息传递的方式计算邻居节点的信息,并通过图卷积技术将源节点和目标节点的信息汇聚整合,经过多层网络堆叠训练,最终实现全图特征学习.然而,这些基于空域建模的方法存在一些局限性,浅层图卷积技术无法有效传播节点标签,而深层图卷积堆叠会导致特征过度平滑,难以区分不同类别的节点6,11.另一种建模方法是通过傅里叶变换把信号传入谱域,先将空域信号投影到傅里叶基上,以此确定信号在谱图中的幅值大小,进行系列操作后再通过逆傅里叶变换无差别地将信号传回空域,这种基于谱域的数据分析和建模方法对于频率随着时间发生改变的非平稳信号有着很大的局限性17.为了弥补基于空域和谱域建模的缺陷,考虑到小波变换比较适用于处理非平稳过程的信号特点,决定引入小波变换.在现有的研究中,Xu 等18在传统的图卷积神经网络基础上引入了小波变换,在不同的频率尺度上提取图结构和特征信息,从而实现更全面的图表示学习,但模型整体结构注重局部邻域的信息,对全局图结构表示相对较弱,这导致在一些全局性图任务学习或者具有长程依赖关系的图数据上性能受限.Zheng 等19提出了用小波图框架来增强图神经网络的性能,将信号分解为不同的频域子空间来更好地表示信号的细节和整体特征,从而提高图神经网络对于图结构的特征提取能力,该模型只考虑了静态图结构,并没有进一步将小波变换用于动态图结构中.本文受此启发,首先将空域信号投影到小波基上,然后对低频信号和高频信号有区分地进行滤波操作,并在谱空间设计激活函数进行信号压缩和去噪,从而构建了一个针对动态图信号提取的谱域卷积模型,再用整个卷积模块替换长短期记忆神经网络中的乘积操作,利用长短期神经网络能够学习数据中长程依赖关系的特性,捕捉动态图的演变特征,构建了基于图卷积框架变换的动态图神经网络模型,即 dynamic graph neural network model based on graph frameles transform(GFTLSTM),模型结构如图 6 所示.2.1 基于图框架变换的多尺度图卷积2.1.1 动态图信号转换 在一个离散动态图时序快照 t中,图框架变换由频谱图和滤波器组成,其中,在滤波器组:=a;b(1),b(i),b(n)中,a,b,i(i=1,2,n)分别表示低通、高通滤波器和高通滤波器的个数,用来提22浙江师范大学学报(自然科学版)第 47 卷取图信号中的相似信息和其他详细信息19.由拉普拉斯矩阵可以得到图 t中各个时刻 N 个节点组成的特征值和特征向量,记为,N=1.j,p表示在节点 p 处进行低通信号的变换,具体信号变换如式(1)所示;并用 rj,p表示在节点 p 处进行高通信号的变换,具体信号变换如式(2)所示20.图 6 基于图框架变换的动态图神经网络模型框架示意图j,p(v)=N=12j()(p)(v);(1)rj,p(v)=N=1(r)2j()(p)(v).(2)式(1)和式(2)中:r=1,2,n;,(r)表示傅里叶变换,分别对应低通和高通信号转换;j=1,2,J 是将空域信号传入谱域时,对投影信号缩放程度的刻画.把原图信号 s 投影到上述信号转换器上的过程记为j,p ,s和rj,p,s,最终得到谱域小波系数 uj,p和 wrj,p.由于深度学习训练的数据是张量形式,所以式(1)和式(2)在具体实现时将傅里叶变换替换成小波变换后,对于图信号 s 的转换可以通过信号分解矩阵 Wr,j(r=0,1,n)和信号重构矩阵 Br,j来执行19.由信号分解矩阵可以构成一个长度为 nJ+1 的矩阵集合 Q,如式(3)所示20.Q=Wr,jr=1,2,m;j=1,2,J W0,J.(3)式(3)中:Wr,1=Tkr(2-JL);Wr,j=Tkr(2k+j-1L)Tk0(2k+j-2L)Tk0(2-kL),j=2,3,J;Tkr表示 r 阶切比雪夫多项式;L 表示图拉普拉斯矩阵;k 是由最大特征值决定的常数并满足 max2k.W0,Js=uJ,ppVt和Wr,js=wrj,p pVt分别表示低通和高通滤波之后的系数.当谱域信号重构回空域的时候,重构矩阵 Br,j就是对信号分解矩阵 Wr,j的排列重组,Br,j=WTr,j.32 第 1 期 杨圣鹏,等:基于图框架变换的动态图神经网络模型2.1.2 多尺度图卷积综合上述动态图信号转换知识,为了更好地捕获动态图演变特征,本文将 t-1 时刻的隐状态矩阵ht-1与当前时刻的输入特征矩阵 Xt作为卷积模型的输入特征,卷积计算过程如式(4)和式(5)所示.Br,j(S(diag()(QXt),Xt=XtA;(4)Br,j(S(diag()(Qht-1),ht-1=ht-1A.(5)式(4)和式(5)中:XtRNd表示当前时刻输入的动态原图信号特征;ARdd表示可训练的权重矩阵,d表示降维维度;Xt是 t 时刻经过权重矩阵 A 转换后的输入特征矩阵;QXt表示使用矩阵集合 Q 中的分解矩阵 Wr,j对输入特征 Xt进行信号转换;是网络滤波器;diag()是对角矩阵函数;S 表示 Shrinkage 信号压缩函数;Br,j表示与矩阵集合 Q 中的分解矩阵 Wr,j对应的重构矩阵.通常情况下,对信号进行压缩的激活函数都是作用在空域的,即需要将信号无损失地传回空域,再应用激活函数.本文模型需要从多个尺度分析数据,所以多数激活函数中的“一刀切”原则并不能满足这个要求19.考虑在谱域实现激活函数的功能后再将信号传回空域,如图 6 所示,当 r=0,1,j=1,2 时,可以得到 3 个信号分解矩阵 W0,2,W1,1,W1,2,每个分解矩阵的维度都是 NN,则 QXtR3Nd,当谱域信号经过滤波器 后,采用式(6)和式(7)中 2 种 Shirankage 函数替代激活函数来截断高频分量,再用重构矩阵 B0,2,B1,1,B1,2将信号传入空域.Ss(x)=sgn(x)(x-)+;(6)Sh(x)=x(x-).(7)式(6)和式(7)中:Ss和 Sh分别为 Shrinkage-soft 和 Shrinkage-hard 信号压缩函数;sgn()为符号函数;x为输入特征;作为一个门限值,可以控制信号分量值,进一步压缩信号.2.2 长短期记忆网络(LSTM)长短期记忆网络(long short-term memory networks,LSTM)是循环神经网络中的一种,主要用于解决长序列训练过程中的梯度消失和梯度爆炸问题21.本文将图卷积操作与长短期记忆神经网络相融合,将长短期记忆网络中输入矩阵 Xt与上一时刻的外部状态 ht-1同权重矩阵 A,U(i,f,c,o)的乘积操作替换成基于图框架变换的多尺度图卷积.具体处理过程如式(8)所示.it=(AiXt+Uiht-1+mict-1+bi);ft=(AfXt+Ufht-1+mfct-1+bf);ct=ftct-1+ittanh(AcXt+Ucht-1+bc);ot=(AoXt+Uoht-1+moct-1+bo);ht=ottanh ct.(8)式(8)中:表示基于图框架变换的多尺度卷积操作;b表示偏置矩阵;m(i,f,o)表示对角矩阵;ct-1表示上一时刻的内部状态,记录了时序中到上一时刻为止的所有历史信息;输入门 it的作用是对当前输入数据进行选择性记忆,减少不重要信息的输入;遗忘门 ft的作用是选择性地忘记上一时刻的内部状态信息,删除不重要的信息;ct表示当前时刻的内部状态,用于更新需要保留的信息;输出门 ot的作用是控制当前时刻的内部状态 ct有多少信息需要输出给外部状态 ht.3 实 验3.1 数据集简介1)Chickenpox Hungary22匈牙利官方报告的 20052015 年匈牙利每周水痘病例动态图数据集,节点是县城,边表示县城之间的邻接关系,预测目标是下一周的患病数量.42浙江师范大学学报(自然科学版)第 47 卷2)Pedal Me London22一个描述 20202021 年伦敦货运自行车物流公司每周交付订单量的动态图数据集,节点是地理位置单元,边描述的是节点的空间连接关系,预测目标是下一周的交货数量.3)Wikipedia Math22一个描述 2019 年 3 月到 2020 年 3 月用户每天访问维基百科次数的动态图数据集,是一个有向加权的动态图,节点是维基百科中关于数学话题的页面,边的权重表示在源维基百科链接到目标维基百科的数量,预测目标是下一天的页面访问量.3.2 实验设置实验在 3 个动态图数据集上采用如下 2 种不同的训练方式:1)Incremental:动态图中的每个时序快照都会更新损失和训练权重.2)Cumulative:动态图中的每个时序快照中的损失会被累积后再进行反向传播.在 Incremental 训练方式上,采用 Shrinkage-hard 函数,硬性阈值特性能够将较小的权重压缩为 0,减少旧数据的影响,使得模型更快地适应新的动态图变化;在 Cumulative 训练方式上,采用 Shrinkage-soft函数,软阈值特性可以对权重进行平滑收缩,减少权重的幅度,但不将其直接压缩为 0,有助于保留历史数据信息,综合考虑整个动态图的演变关联特征.本文模型中的超参数设置见表 1.表 1 模型超参数数据集训练方式训练次数隐藏层神经元/个学习率失活率Chickenpox HungaryIncremental1002000.000 10.3Cumulative100320.010 00.3Pedal Me LondonIncremental 1002000.000 10.3Cumulative100320.000 10.3Wikipedia MathIncremental 1002000.000 10.3Cumulative100320.010 00.33.3 评估指标第 1 个评估指标是均方误差(MSE),是指样本估计值与样本真实值之差平方的期望值.Ly=1NNi=1(yi-oi)2.(9)式(9)中:Ly为样本均方误差;yi表示真实的样本值;o=o1,o2,oN表示模型输出值.第 2 个指标是标准差,是用来度量一组数据平均值分散程度的指标,可以反映数据的准确程度.一个较大的标准差,代表大部分数值和其平均值之间差异较大,反之,代表这些数值接近平均值.SD=Ni=1(xi-x)2N-1.(10)式(10)中:SD表示样本标准差;x 表示样本平均值;xi表示第 i 个样本数据.3.4 实验结果与讨论本文实验的对比数据和对比模型均引自文献22,以监督学习的方式,把动态图数据集按时序输入模型中,然后输出下一时刻的预测结果.每一个数据集在 2 种不同的训练方式下重复 10 次实验,纵向比较其他模型的预测结果,引入均方误差来评价模型的性能并计算标准差用于辅助验证,实验结果见表 2.从表 2 数据可见,本文提出的 GFTLSTM 模型在谱域使用 Shrinkage 作为激活函数后,无论是以 In-cremental 还是 Cumulative 方式进行训练,在处理离散动态图数据时优于大多数对比模型,这表明本文模型确实可以较好地捕获动态图的内部演化和关联特征,为动态图表示学习提供进一步参考.然而,在52 第 1 期 杨圣鹏,等:基于图框架变换的动态图神经网络模型Wikipedia Math 数据集中,以 Incremental 为训练方式的实验结果虽然优于绝大多数模型,但并未达到SOTA 效果,相比之下,以 Cumulative 方式进行训练时,实验结果远超其他纵向对比模型.造成这个现象主要有 2 个原因.首先,Incremental 方法是一种基于增量学习的方式,按照时间顺序逐渐添加新的动态图快照进行训练,能够及时捕获图数据的演变特征,适用于实时数据的变化,侧重捕捉数据的动态特性;而 Cumulative 方法是一种累积式学习方法,将所有动态图快照同时输入模型进行训练,能够综合考虑整个动态图的演变历史,捕捉更全面的动态图特征,侧重捕捉数据的关联关系.由于本文模型在谱域进行低通和高通滤波后,会在空域进行再次整合,并使用长短期记忆网络来捕捉数据中的长程依赖关系,与Cumulative 训练方式更契合,这同时也解释了为什么在 Chickenpox Hungary 和 Pedal Me London 数据集中,以 Cumulative 训练方式得到的实验结果优于 Incremental 训练结果的原因.其次,Wikpedia Math 数据集规模庞大,包含大量的节点和边连接关系,因此,在 Incremental 学习过程中需要处理更大规模的动态数据,每个时序快照中的损失和参数都需要更新,这增加了计算复杂性,加大了模型训练时间和拟合难度,对模型提出了更高的要求.表 2 算法比较(均方误差标准差)模型Chickenpox HungaryIncrementalCumulativePedal Me LondonIncrementalCumulativeWikipedia MathIncrementalCumulativeDCRNN231.1240.0151.1230.0141.4630.0191.4500.0240.6790.0200.8030.018GConvGRU241.1280.0111.1320.0231.6220.0321.9440.0130.6570.0150.8370.021GConvLSTM241.1210.0141.1190.0221.4420.0281.4330.0200.7770.0210.8680.018GC-LSTM251.1150.0141.1160.0231.4550.0231.4680.0250.7790.0230.8520.016DyGrAE26-271.1200.0211.1180.0151.4550.0311.4560.0190.7730.0090.8160.016EGCN-H91.1130.0161.1040.0241.4670.0261.4360.0170.7750.0220.8570.022EGCN-O91.1240.0091.1190.0201.4910.0241.4300.0230.7500.0140.8230.014A3T-GCN281.1140.0081.1190.0181.4690.0271.4750.0290.7810.0110.8720.017T-GCN291.1170.0111.1110.0221.4790.0121.4810.0290.7640.0110.8460.020MPNN LSTM301.1160.0231.1290.0211.4850.0281.4580.0130.7950.0100.9050.017AGCRN311.1200.0101.1160.0171.4690.0301.4650.0260.7880.0110.8320.020GFTLSTM1.0990.0011.0670.0121.4370.0271.4010.0960.7080.0130.6530.0273.5 消融实验及激活函数对比研究为了验证本文模型在谱域空间中引入 Shrinkage 函数取代空域激活函数 ReLU 的有效性,进行消融实验.在实验中,本文将去除函数 Shrinkage 后的模型标记为 GFTLSTM-S.同时,为了进一步验证模型在谱域空间使用多频分析的有效性,在空域中引入了 ReLU 激活函数,并去除了谱域 Shrinkage 函数,将该类模型标记为 GFTLSTMR.重复进行 10 次试验,具体的实验结果见表 3.表 3 消融实验及激活函数对比实验(均方误差标准差)模型Chickenpox HungaryIncrementalCumulativePedal Me LondonIncrementalCumulativeWikipedia MathIncrementalCumulativeGFTLSTM-S1.1030.0021.0780.0091.4490.0201.5690.1670.7170.0190.6690.017GFTLSTMR1.1030.0031.0800.0121.4720.0311.4660.1190.7200.0140.6580.018 根据表 3 的结果,在谱域空间去除 Shrinkage 函数后,通过与表 2 中的 GFTLSTM 模型相比,实验结果的均方误差和标准差均有不同程度的提升,这表明模型的性能下降了,验证了引入 Shrinkage 函数对模型的作用.此外,GFTLSTMR在均方误差或标准差指标上数值都有一定程度的提升,说明实验结果再次变差.因此,在处理离散动态图数据集时,在谱域空间中使用 Shrinkage 函数来代替 ReLU 作为激活函数得到的效果更好,这验证了用 Shrinkage 函数在多频分析中进行信号压缩的价值.3.6 超参数敏感性实验分析62浙江师范大学学报(自然科学版)第 47 卷通过超参数敏感性实验分析可以系统地评估不同超参数对模型性能的影响,从而找到最优的超参数组合.本文模型中的超参数 用来控制信号压缩的程度,原始信号中大于该阈值的数值才会被输入模型中进行训练;另一个超参数 r 表示谱域空间中高通滤波器的数量,它与信号刻画程度 j 共同作用,不同的选择会改变输入特征的维度.在超参数 敏感性分析实验过程中,取 r=2,设置不同阈值 后得到的均方误差如表 4 所示.表 4 超参数 敏感性分析实验Chickenpox HungaryIncrementalCumulativePedal Me LondonIncrementalCumulativeWikipedia MathIncrementalCumulative1e-11.096 81.036 91.440 71.426 60.717 80.662 91e-21.102 71.065 81.430 21.260 80.716 20.657 81e-31.097 91.083 01.432 01.338 50.714 80.662 41e-41.101 51.086 01.424 11.395 60.711 80.650 11e-51.097 31.097 61.430 41.406 50.717 10.658 01e-61.102 51.080 51.406 91.299 90.711 10.654 2 注:黑色数据表示最优结果.下同.在超参数 r 敏感性分析实验过程中,取=1e-4,设置不同高阶滤波器数量 r 后得到的均方误差如表 5 所示.表 5 超参数 r 敏感性分析实验rChickenpox HungaryIncrementalCumulativePedal Me LondonIncrementalCumulativeWikipedia MathIncrementalCumulative11.104 51.077 41.404 21.397 50.718 90.673 821.105 51.083 91.430 51.373 40.701 20.656 831.104 31.077 21.426 91.403 70.700 40.646 341.105 81.077 01.435 81.353 40.710 30.662 4 如表 4 和表 5 所示,加粗的数值表示不同超参数取值中得到的最优结果.可见在上述 2 个超参数敏感性实验中,在给定的实验条件下,结果呈现一定的波动,没有明确的最优解,这可能是受到数据集大小、模型的复杂性以及超参数之间的相互影响等因素导致的.在实际应用中,根据具体任务和需求进行超参数的调整更为重要,而不是过于追求单一的最佳设置.4 结 语本文提出了一个动态图表示学习的通用框架,初次尝试将小波分析理论、多频分析与动态图表示学习相结合,并在多个动态图数据集上验证了模型的有效性.在未来的工作中,将尝试把模型用于图结构演变的动态图、特征及结构同时演变的动态图及连续动态图中,并结合具体的应用场景,进一步验证模型在不同动态图表示学习任务中的通用性.参考文献:1KIPF T N,WELLING M.Semi-supervised classification with graph convolutional networksC/International Conference on Learning Repre-sentations.San Juan:International Machine Learning Society,2016.2BRUNA J,ZAREMBA W,SZLAM A,et al.Spectral networks and deep locally connected networks on graphsC/International Conference on Learning Representations.Banff:International Machine Learning Society,2014.3HAMILTON W,YING Z,LESKOVEC J.Inductive representation learning on large graphsC/VONLUXBURG U,GUYON I,BENGIO S,et al.Proceedings of the 31th International Conference on Neural Information Processing Systems.Long Beach:NeurIPS Foundation,2017:1025-1035.4MAJEED A,RAUF I.Graph theory:a comprehensive survey about graph theory applications in computer science and social networksJ.Inven-tions,2020,5(1):10-49.5PENG H,WANG H,DU B,et al.Spatial temporal incidence dynamic graph neural networks for traffic flow forecastingJ.Inform Sciences,2020,521(1):277-290.72 第 1 期 杨圣鹏,等:基于图框架变换的动态图神经网络模型6WU Z,PAN S,CHEN F,et al.A comprehensive survey on graph neural networksJ.IEEE T Neur Net Lear,2020,32(1):4-24.7WANG Y,SUN Y,LIU Z,et al.Dynamic graph CNN for learning on point cloudsJ.ACM T Graphic,2019,38(5):1-12.8MANESSI F,ROZZA A,MANZO M.Dynamic graph convolutional networksJ.Pattern Recogn,2020,97:107000.9PAREJA A,DOMENICONI G,CHEN J,et al.Evolvegcn:evolving graph convolutional networks for dynamic graphsC/ROSSI F,STONE P.Proceedings of the 34th AAAI Conference on Artificial Intelligence.New York:Association for the Advancement of Artificial Intelligence,2020:5363-5370.10RUMELHART D E,HINTON G E,WILLIAMS R J.Learning representations by back-propagating errorsJ.Nature,1986,323(6088):533-536.11ZHANG S,TONG H,XU J,et al.Graph convolutional networks:a comprehensive reviewJ.Comput Soc Netw,2019,6(1):1-23.12SANKAR A,WU Y,GOU L,et al.DySAT:deep neural representation learning on dynamic graph via self-attention networksC/CAVER-LEE J,HU B X,LALMAS