基于GRU网络的格兰杰因果网络重构.pdf

第 22卷 第 10期2023年 10月Vol.22 No.10Oct.2023软 件 导 刊Software Guide基于GRU网络的格兰杰因果网络重构杨官学，王家栋（江苏大学 电气信息工程学院，江苏 镇江 212013）摘要：传统格兰杰因果依赖线性动力学，无法适应非线性应用场景的需求，因此提出一种基于GRU网络的格兰杰因果网络重构方法。该方法将整个网络重构划分为每个目标节点的邻居节点选择问题，针对每个目标节点构建基于GRU网络的格兰杰因果模型，在循环神经网络中引入简单的门控机制控制信息的更新方式，并对网络输入权重施加组稀疏惩罚以提取节点间的格兰杰因果关系。然后集成每一个子网络，获得最终完整的因果网络结构，并在GRU网络建模训练过程中考虑采用正则化的优化方法。通过线性矢量自回归、非线性矢量自回归、非均匀嵌入时滞矢量自回归、Lorenz-96模型及DREAM3竞赛数据集的实验表明，所提网络鲁棒性较强、有效性较高，在网络重构性能上具有明显的优越性。关键词：网络重构；因果推断；循环神经网络；格兰杰因果；门控循环单元DOI：10.11907/rjdk.231360开 放 科 学（资 源 服 务）标 识 码（OSID）：中图分类号：TP183 文献标识码：A文章编号：1672-7800（2023）010-0049-09Network Reconstruction via Granger Causality Based on GRU NetworkYANG Guanxue，WANG Jiadong（School of Electrical and Information Engineering，Jiangsu University，Zhenjiang 212013，China）Abstract：Reconstruction method of Granger causality network based on GRU network is proposed to address the traditional Granger causality that relies on linear dynamics and cannot meet the needs of nonlinear application scenarios.This method divides the entire network reconstruction into neighbor node selection problems for each target node，constructs a Granger causality model based on GRU network for each target node，introduces a simple gating mechanism to control the update of information in the recurrent neural network，and applies a sparse penalty to the network input weight to extract the Granger causality between nodes.Then integrate each sub network to obtain the final complete causal network structure，and consider using regularization optimization methods during the GRU network modeling and training process.The experiments on linear vector autoregressive，nonlinear vector autoregressive，non-uniformly embedded time-delay vector autoregressive，Lorenz-96 model，and DREAM3 competition dataset show that the proposed network has strong robustness，high effectiveness，and obvious superiority in network reconstruction performance.Key Words：network reconstruction；causal inference；recurrent neural network；Granger causality；gated recurrent unit0 引言现实生活中，许多复杂系统均可在网络角度被抽象表达，其中网络节点代表系统变量，连边代表各变量间的相互作用关系。基于关联的属性和特征，网络可被划分为不同种类，例如根据边是否有权重或方向，网络可被分为有权网络和无权网络、有向网络和无向网络。典型的网络包含电力网络、脑网络、生物网络、交通网、人际网1-2等。然而，实际的网络结构往往是未知或难以直接观察。在当今大数据时代，复杂网络涵盖的信息量越来越多，如何基于隐藏在节点背后的数据挖掘节点间的作用关系，就显得至关重要，这也使得复杂网络重构成为当前研究的热点方向之一3-4。复杂网络重构不仅能使人们更好地了解系统的动力学行为和演化机制，也是后续网络结构研究和分析的基础。例如，针对脑神经网络研究大脑神经元间如何相互激活5；针对基因调控网络从基因表达水平的时间序列推断基因调控网络6等。收稿日期：2023-04-06基金项目：国家自然科学基金项目（61903161）作者简介：杨官学（1984-），男，博士，江苏大学电气信息工程学院讲师，研究方向为复杂网络重构与分析、复杂系统建模与智能控制、机器学习等；王家栋（1996-），男，江苏大学电气信息工程学院硕士研究生，研究方向为深度学习、神经网络、网络重构。2023 年软 件 导 刊当下，复杂网络重构算法包括相关系数7-8、互信息9-11、布尔网络12-13、贝叶斯网络14、格兰杰因果15、压缩感知16等。尤其在有向网络的推断方面，格兰杰因果（Granger Causality，GC）及其拓展形式得到了广泛应用。传统格兰杰因果是一种基于线性矢量自回归模型的判定方法，能判断两个时间序列变量间的因果关系，但当网络中存在两个以上变量时可能会导致虚假连边。为此，提出条件格兰杰因果来解决多个变量间的间接影响17。此外，针对样本量不足的问题，在考虑实际网络稀疏性的前提下，很多学者将稀疏特征引入格兰杰因果中，提出LASSO格兰杰因果18、组稀疏格兰杰因果19、基于贪婪算法的格兰杰因果20等方法，这些方法虽然结构形式简单、运算方便，但无法匹配非线性因果关系的处理情形。因此，很多学者将核函数引入传统格兰杰因果中提出核格兰杰因果方法21-22，但本质上还只是针对某种特定的非线性情形，适用范围存在一定限制。考虑到神经网络在非线性建模方面能非常擅长地处理输入和输出间复杂的非线性关系。在因果预测方面结合格兰杰因果模型、多层感知机（Multi-Layer Perceptron，MLP）、循环神经网络（Recurrent Neural Network，RNN）及长短期记忆元（Long Short-Term Memory，LSTM）已得到了应用。Chivukula等23使用RNN分析雅虎财经获取的真实股市数据，结果表明因果特征显著改善了现有的深度学习回归模型。Pathod 等24使用 RNN 和 LSTM 处理多元脑连接性检测问题提出了RNN-GC模型，能对非线性和变长时延信息传输进行建模，并在方向性脑连接性估计方面十分有效。Tank等25使用MLP和LSTM在时序数据上进行建模，并融合LASSO提取节点间的因果关系，两种方法均能自动探索最大滞后阶数，且在复杂非线性DREAM3数据上取得了较好的结果。然而，MLP、RNN存在收敛慢、容易过拟合、可解释性差、计算复杂度高等缺点。其中，RNN的循环结构使其可能无法很好地处理长期依赖关系，易出现梯度消失或梯度爆炸现象；LSTM在RNN上进行改进，不易出现梯度问题，但在处理噪声较大的数据时性能较差。相较于 LSTM 网络，GRU网络结构仅有更新门和重置门，更容易训练。因此，考虑到变量间影响关系的非线性和因果性，本文提出一种基于门控循环单元（Gated Recurrent Unit，GRU）网络的格兰杰因果网络重构方法（GRUGC）。首先围绕每个目标节点，构建基于GRU网络的格兰杰因果模型；然后对网络输入权重进行组稀疏惩罚约束；最后基于Adam的梯度下降网络训练法，获取节点之间的格兰杰因果关系。在仿真验证方面，首先基于模型生成的数据集进行相关仿真研究，例如线性矢量自回归、非线性矢量自回归、非均匀嵌入时滞矢量自回归、Lorenz-96模型。然后，采用经典的 DREAM3 竞赛数据集（Ecoli 数据集和 Yeast 数据集）分析模型性能。1 格兰杰因果模型在格兰杰因果分析中，传统分析方法通常采用线性矢量自回归模型（Vector-Autoregression，VAR），设模型的最大时滞阶数为P。Xt=p=1PA()pXt-p+et（1）式中：Xt为模型中所有变量在t时刻的样本矩阵。可表示为：Xt=x1，tx2，txN，t=x11，tx21，txM1，tx12，tx22，txM2，tx1N，tx2N，txMN，tRN M（2）式中：N为模型变量个数；M为样本数目；xi，tR1 M为第i个变量在t时刻的样本向量；xmi，t为第i个变量在t时刻的第m个样本值；i=1，2，N；m=1，2，M；p为模型阶数；A()pRN N为t-p时刻Xt-p对应的系数矩阵。可表示为：A()p=A(p)1，1A(p)1，2A(p)1，NA(p)2，1A(p)2，2A(p)2，NA(p)N，1A(p)N，2A(p)N，NRN N（3）式中：p=1，2，P；A()pi，j表示在t-p时刻第i个变量和第j个变量间的影响关系；Xt-pRN M为模型变量在t-p时刻的样本矩阵，形式如Xt；etRN M为服从标准正态分布的噪声。在VAR中，当且仅当对所有阶数p有A()pi，j=0，即可获得变量j不是影响变量i的格兰杰原因；反之，变量j是影响变量i的格兰杰原因，即存在一条从变量i指向变量j的有向边。在高维情况下考虑到稀疏性，格兰杰因果模型可被认为是一个带有组稀疏正则化的回归问题。minA(1)，A(2)，A(P)Xt-p=1PA(p)Xt-p22+i，jA(1)i，j，A(P)i，j2（4）式中：2为2正则化，目的是防止模型发生过拟合现象；为惩罚系数。2 神经网络格兰杰因果模型为了解决传统格兰杰因果模型无法有效处理非线性关系的问题，提出了一种基于神经网络的格兰杰因果模型。首先构建一个通用的非线性矢量自回归模型，假设该模型中变量的个数为N，最大时滞阶数为P，则模型t时刻的输出yt的通用表达式如式（5）所示。yt=f(x-t)+et（5）式中：f()为输入输出间的非线性映射函数关系；x-t为 50第 10 期杨官学，王家栋：基于GRU网络的格兰杰因果网络重构在t之 前 时 刻 模 型 各 输 入 时 滞 分 量 的 集 合，即x-t=xt-1，xt-2，xt-P，xt-p=x1，t-p，x2，t-p，xN，t-p，1 p P；et为服从标准正态分布的高斯白噪声。目前，通常使用神经网络对非线性函数f()进行预测，常见方法包括MLP、RNN、LSTM等。由于神经网络为黑盒模型，且模型中各输入共享隐藏层，难以直接进行因果推断的分析研究。因此，在式（5）中并未直接采用常规的多输入多输出映射来获取时序变量间的关系。为了进一步详细阐述模型的原理，将整个网络重构任务分解为每个目标节点的邻居节点选择问题。针对每个目标节点i分别使用单独的模型fi()，以清晰地提取与邻居节点间的格兰杰因果关系。节点i在t时刻的表达值xi，t由式（6）所示。xi，t=fi(x-t)+ei，t（6）式中：fi()采用的是GRU网络。同理，当且仅当所有阶数p(1 p P)在有关xi，t的预测时不依赖节点变量j的时滞分量，即在预测模型中加入xj，t-1，xj，t-2，xj，t-P后并不能提升对xi，t的预测精度，则认为节点j不是影响节点i的原因；反之，节点j是影响节点i的原因，即存在j i。2.1基于GRU的循环神经网络RNN属于一种具有短期记忆能力的神经网络，尤其适用于处理和预测时间序列数据，作为一种常用的深度学习环路网络结构模型，RNN由一个或多个循环层组成，每个循环层包含多个神经元，不仅能接收其他神经元信息，还能接收自身信息。理论上，RNN可逼近任意的复杂非线性动力系统。在RNN网络参数训练过程中，由于链式法则，随着错误信息的反向传播，当输入序列时间步长较长时，梯度值可能会趋近于0（梯度消失）或非常大（梯度爆炸）。这两种情况均会导致训练效果不佳。为了解决RNN的长程依赖问题，在本文提出神经网络格兰杰因果模型的框架中，采用了基于门控循环单元（Gated Recurrent Unit，GRU）的循环神经网络结构模型，如图1所示。GRU 内部结构主要由两个门构成，分别为重置门rt0，1D（reset gate）和更新门zt0，1D（update gate），通过调节这两个门的激活值来控制信息流动，解决梯度消失问题，以能更好地捕捉序列中的长期依赖关系。GRU单元的内部计算式如式（7）式（10）所示：rt=(Wrxt+Urht-1+br)（7）zt=(Wzxt+Uzht-1+bz)（8）ht=tanh(Whxt+Uh(rtht-1)+bh)（9）ht=(1-zt)ht+ztht-1（10）式中：xtRN 1为t时刻网络输入；htRD 1为t时刻隐含层的状态；W*RD N、U*RD D、b*RD 1为待学习的神经网络参数；*属于集合r，z，h中的元素；为Hadamard Product，表示矩阵对应位置元素的乘积。重置门rt和更新门zt状态的迭代更新来源于上一时刻的隐藏层ht-1和当前时刻的输入节点xt，待获得ht-1、xt后分别通过式（7）、式（8）计算重置门rt和更新门zt的值。式（9）首先使用rtht-1更新数据得到ht-1；然后与各自权重相乘后将Whxt与Uhht-1相加完成特征融合；最后使用tanh函数将特征值映射到-1，1，得到ht、ht中具有上一时刻的隐含层状态ht-1和当前输入状态xt的信息。式（10）为 GRU 最重要的一步，在这个阶段遗忘和记忆同时进行，既忘记ht-1中部分信息，又记住ht中节点输入的部分信息。GRU网络直接用一个门来控制输入和遗忘间的平衡关系，当zt越接近1表示记住的数据越多，反之遗忘的越多。针对时间序列输入xt，将xt在不同时刻输入到循环神经网络中得到相应的隐含层状态ht，循环神经网络的输出yt最终由ht的加权线性求和表示，如式（11）所示。yt=fi(x-t)+et=WToht+et（11）式中：WoRD 1为输出层权重；Wo为待学习的网络参数。2.2基于GRU网络的格兰杰因果在因果网络重构问题中，根据式（6）、式（11）针对每个目标节点i构建子任务优化模型，分别得出相应的邻居节点。具体表达形式如下：minWLosstotal+j=1NM：，j2（12）式中：W=Wr，Wz，Wh，Ur，Uz，Uh，Wo为待求解的参数集合；Losstotal=t=2T(xi，t-fi(x-t)2为总训练误差；T为时间序列的总长度。针对输入节点变量xt，将输入层至隐含层的权重矩阵Wr、Wz、Wh进 行 堆 叠 拼 接 以 便 于 后 续 优 化，由M=WTrWTzWThTR3D N表示总输入权重矩阵。为了捕捉驱动节点j对目标节点i的因果影响，当且仅当总输入权重矩阵M的第j列均为0，即M：，j=0得出驱动节点j对目标节点i不存在因果关系；反之驱动节点j是影响目标节点i的原因，即存在j i的连边。此外，合理加入正则项能提升神经网络模型的泛化能力，2正则化项的惩罚因子同 Fig.1Gated loop unit structure of GRU networks图1GRU网络的门控循环单元结构 512023 年软 件 导 刊时也是控制网络结构稀疏性的参数26。2.3基于Adam的梯度下降法当下，最流行的神经网络学习优化方法大都始于随机梯度下降法（Stochastic Gradient Descent，SGD）27，但SGD每次只用一个样本更新梯度，使得SGD并非每次迭代均向最优方向更新参数，容易造成准确度下降且无法线性收敛的情况。同时，由于只用一个样本更新梯度并不能代表全部样本的趋势，因此易陷入局部最小值。为此，本文采用基于以往梯度信息和动量的Adam28优化方法。该方法是RMSProp和动量法的结合，主要纠正两项偏差和平均梯度滑动的方法，具体计算过程如下：步骤1：初始化学习率lr、平滑常数1、2（分别用于平滑mt、vt），可学习参数0=0、m0=0、v0=0、t=0。步骤 2：当未停止训练时，更新训练次数t=t+1，计算梯度gt（所有的可学习参数都有各自梯度，因此gt指全部梯度的集合）。mt=1mt-1+(1-1)gtvt=2vt-1+(1-2)(gt)2m t=mt1-()1tvt=vt1-()2tt=t-1-m tvt+lr（13）本文神经网络模型的训练方法采用了以Adam为基础的优化方法。为了研究正则项的影响，训练采用了无正则项的AdamU和有正则项的Adam。3 仿真实验为了验证本文所提基于GRU网络的格兰杰因果网络重构算法的有效性，分别基于线性 VAR、非线性 VAR、Lorenz-96、非均匀嵌入时滞VAR模型及DREAM竞赛数据集进行仿真实验研究。网络重构性能的具体量化性能指标采用 ROC 曲线下的面积（Area Under Receiver-Operating-Characteristic Curve，AUROC）和PR曲线下的面积（Area Under Precision-Recall Curve，AUPR）。3.1线性VAR首先基于N=10的VAR网络模型，利用式（1）随机生成的稀疏转移矩阵生成仿真时间步长T=1 000的时间序列数据。噪声服从高斯分布N(0，2)，=0.1，基准因果网络如图 2所示。由此可见，若节点与节点间存在 GC关系，则对应区间的数值大小为1；若不存在GC关系，则对应区间的数值大小为0。例如，图2中（1，1）位置和（1，9）位置的数值大小均为1，分别表示存在一条由节点1指向节点1的GC边和存在一条由节点1指向节点9的GC边。具体参数设置如下：针对每一个目标节点i，创建自我依赖关系（自环），并在其他N-1个节点中随机选择一个驱动节点构建因果关系，即在j i的情况下设置A()pij=0.1，p=1，2，3，同时令其他A()pij=0。GRU网络模型的隐藏层单元数D设定为100，分别比较Adam、AdamU两种训练优化方法，最大滞后阶数P=5，正则系数=0.002，学习率lr=0.05，训练步长为20 000，AdamU无需设置正则系数。VAR模型的两种训练方法仿真结果如图3所示，图中区域数值大小表示经过GRUGC推理后存在GC边的概率值。与图 2的基准网络比较可见，考虑正则化的 Adam相较于考虑正则化的AdamU效果更好。为了量化每种训练方法的性能，计算图3不同方法的AUROC和AUPR，具体数值如表1所示。由此可知，Adam的 AUROC 和 AUPR 均达到 1，实现了完美的因果网络重构，而AdamU的AUROC、AUPR仅为0.225、0.125。3.2Lorenz-96设置网络节点个数N=10，F=10，添加服从高斯分布的噪声N(0，0.012)，获得序列长度T=1 000的多变量时间序列矩阵。Lorenz-96 模型的微分方程表达式（14）所示，可得N=10的Lorenz-96模型的基准网络如图4所示。dxidt=(xi+1-xi-2)xi-1-xi+F（14）式中：i=1，2，N；F为惩罚力度，值越大表示时间序列的非线性越强。设置GRU网络模型的隐藏层单元数D=100，比较Adam 和 AdamU 两种训练优化方法，最大滞后阶数P=10，正则 系 数=0.2，学 习 率lr=0.001，训 练 步 长 为 10 000。Lorenz-96模型的两种训练方法结果及相关性能指标如图5、表2所示。由此可见，经AdamU训练获取的网络结构较差，Adam获取的网络结构几乎全部预测正确；表 2中 AdamU方法的AUROC和AUPR分别为0.825、0.744，Adam的AUROC和AUPR均等于1，达到了完美重构效果。通过线性VAR模型和Lorenz-96模型的仿真发现，有无正则项对模型最终的训练结果影响较大，因此在仿真后 Fig.2Benchmark network of VAR model图2VAR模型基准网络 52第 10 期杨官学，王家栋：基于GRU网络的格兰杰因果网络重构续部分将仅基于Adam方法进行训练。此外，为了考察不同非线性程度F和隐藏层单元数D对模型的影响，基于Adam方法对不同F和D数值进行消融实验，比较结果如表 3、表 4所示。由此可知，在不同D的情况下随着F增加，AUROC、AUPR均会下降；在F=10 Fig.5Results of two training methods for Lorenz-96 model图5Lorenz-96模型的两种训练方法结果 Fig.4Benchmark network of Lorenz-96 model图4Lorenz-96模型的基准网络Table 4AUPR for different F and D表4不同F与D情况下的AUPRFD1020304050.9850.7980.7240.708100.9980.7930.7690.751250.9990.8140.8090.796500.9930.8610.8220.7961000.9910.8690.8480.802Table 3AUROC for different F and D表3不同F与D情况下的AUROCFD1020304050.9910.8890.8280.783100.9980.8960.8710.821250.9990.8970.8950.874500.9960.9120.8970.8811000.9940.9150.9080.879Table 2Performance comparison of two training methods for Lorenz-96 model表2Lorenz-96模型的两种训练方法性能比较MethodAdamAdamUAUROC1.0000.825AUPR1.0000.744 Fig.3Results of two training methods for VAR model图3VAR模型的两种训练方法结果Table 1Performance comparison of two training methods for VAR model表1VAR模型的两种训练方法性能比较MethodAdamAdamUAUROC1.0000.225AUPR1.0000.125 532023 年软 件 导 刊时 随 着D增 加 AUROC 和 AUPR 变 化 不 大；当F=20，30，40 时，随着D增加 AUROC、AUPR 均得到了不同程度的提升。总之，随着数据的非线性增强，GRU网络的拟合能力变弱。在非线性程度较低时，增加隐藏层单元数无法大幅度提升模型精度；在非线性程度较高时，增加隐藏层单元数能明显提升模型精度，尤其在D从5增加到10、从10增加到25时，AUROC和AUPR提升最明显，这也符合实际经验，在数据较复杂时模型精度往往会降低，可通过采用更复杂的模型提升表达能力。并且，在神经网络学习中增加网络深度和宽度是提高精度的常见方法29。3.3非线性VAR一种非线性 VAR 模型如式（15）所示，生成T=1 000的多变量时间序列矩阵，非线性VAR模型基准网络如图6所示。网络训练采用Adam优化方法，GRU网络模型的隐藏层单元数=100，最大滞后阶数P=10，正则系数=0.14，学习率lr=0.001，训练步长为5 600。训练完成后提取格兰杰因果矩阵如图7所示，然后绘制 ROC 曲线和 PR 曲线如图 8 所示。由图 8 进一步计算ROC 曲线和 PR 曲线的面积，即 AUROC、AUPR 分别为0.915和0.876。x1，t=0.5x1，t-1+1，tx2，t=0.6e-x22，t-1/2+2，tx3，t=0.7cos(x3，t-1)+3，tx4，t=0.8sin(x4，t-1)+4，tx5，t=0.9e-x25，t-1/2+5，tx6，t=sin(x1，t-1)+0.5x2，t-1-0.5x9，t-1+2+6，tx7，t=2cos(x2，t-1)-2cos(x3，t-1)+0.6e-x210，t-1/2+7，tx8，t=0.8cos(x3，t-1)+0.6x4，t-1+cos(x6，t-1)+1+8，tx9，t=sin(x4，t-1)+cos(x5，t-1)-0.8x7，t-1+9，tx10，t=sin(x1，t-1)-0.8x5，t-1+cos(x8，t-1)+10，t（15）式中：xi，t为第 i 个节点在 t 时刻的值；i=1，2，10；i，t N(0，0.012)。3.4非均匀嵌入时滞VAR根据式（16）研究一种非均匀嵌入时滞 VAR 模型，其与非线性VAR模型的不同之处在于节点间存在多阶滞后关系，生成T=1 000的多变量时间序列矩阵，非均匀嵌入时滞VAR模型基准网络如图9所示。网络训练采用Adam优化方法，GRU网络模型的隐藏层单元数D=100，最大滞 Fig.6Benchmark network of nonlinear VAR model图6非线性VAR模型的基准网络 Fig.7Granger causal matrix inferred by GRUGC图7GRUGC的格兰杰因果矩阵 Fig.8PR and ROC curve in the simulation of nonlinear VAR model图8非线性VAR模型仿真的PR、ROC曲线 54第 10 期杨官学，王家栋：基于GRU网络的格兰杰因果网络重构后阶数P=5，正则系数=0.14，学习率lr=0.001，训练步长为5 600。训练完成后提取格兰杰因果矩阵如图10所示，然后绘制ROC曲线和PR曲线如图11所示，经过计算AUROC、AUPR分别为0.904和0.921。仿真实验表明，GRUGC可处理非均匀嵌入时滞的复杂非线性数据，且在整体上性能较好。x1，t=0.893 x1，t-1-0.845x1，t-2+1，tx2，t=0.6x21，t-2+2，tx3，t=-0.3x1，t-3+3，tx4，t=-0.4x21，t-2+0.252 x4，t-1+0.225 x5，t-1+4，tx5，t=-0.222 x3，t-1+0.363 x5，t-1+5，t（14）式中：xi，t为第i个节点在t时刻的值；i=1，2，5；i，t N(0，0.012)。3.5DREAM3数据实验为了验证GRUGC在实际网络数据集上的性能，基于DREAM3挑战赛中的两个Ecoli数据集和3个Yeast数据集（https：/doi.org/10.7303/syn2853594）进行仿真研究。实验采取N=10的小网络模型，在5个数据集中每个数据集分别包含10个不同的时间序列。针对每个时间序列重复试验4次，每次采集21个时间点，总共为84个样本点。神经网络训练方法采用Adam优化方法，GRU网络模型的隐藏层单元数D=5，正则系数=0.18，学习率lr=0.001，训练步长为5 000。首先画出ROC曲线和PR曲线，如图12所示；然后计算AUPR、AUROC，并分别与DREAM3挑战赛的最终获奖榜单的第一名 bteam、第二名 Team291和第三名Team304进行比较；最后画出AUPR和AUROC的柱状图，如图13所示。由图 13 可见，GRUGC 在 Yeast2、Yeast3 数据集上的AUROC 和 AUPR 均超过前 3 名，而在 Yeast1 数据集上GRUGC的AUROC不如前3名，但AUPR超过了Team304。同时，在 Ecoli1、Ecoli2数据集上 GRUGC的 AUPR与 bteam获得的AUPR值更接近，同时GRUGC的AUROC也能保持不错的效果。表5为对5个数据集的AUROC、AUPR取平均值进行综合分析。由此可知，GRUGC的整体性能超过了第二名Team291，仅次于第一名 bteam，尤其是 AUPR 的平均值与bteam 值非常接近。通过 DREAM3 挑战赛的研究分析发现，GRUGC方法性能较好，具有一定的实际竞争力。Fig.9Benchmark network of non-uniformly embedded time-delay VAR model图9非均匀嵌入时滞VAR模型基准网络 Fig.10Granger causality matrix for non-uniformly embedded time-delay VAR model图10非均匀嵌入时滞VAR模型的格兰杰因果矩阵（a）PR curve（a）PR曲线（b）ROC curve（b）ROC曲线Fig.11PR，ROC curve in the simulation of non-uniformly embedded time-delay VAR model图11非均匀嵌入时滞VAR模型仿真的PR、ROC曲线 552023 年软 件 导 刊4 结语网络重构旨在基于测量得到的数据推断网络节点间的相互作用关系，是分析系统动力学行为、结构特性和影响机制的前提和基础。本文将GRU神经网络模型和格兰杰因果理论相结合，提出基于 GRU 网络的格兰杰因果网络重构方法（GRUGC）。该方法考虑了变量间影响关系的非线性和因果性，从建模和分析中发现正则项对最终结果影响较大，有正则项的优化方法Adam的性能相较于无正则项的 AdamU 效果更好，而且当输入数据为长时间序列时GRUGC不会发生梯度消失或梯度爆炸现象。首先，通过对线性 VAR、非线性 VAR、Lorenz-96和非均匀嵌入时滞VAR模型的仿真研究证实了所提方法的有效性，然后在不同网络参数下对Lorenz-96模型进行了消融实验，以进一步验证本文方法的性能。最后，基于DREAM3挑战赛的Ecoli和Yeast数据集，与最终榜单的前3名算法进行比较分析来验证GRUGC方法的优越性和实用性。在GRUGC方法中使用的正则项对结果影响较大，因此需要更深入地研究正则项的影响机制，并提供更优的正则化方法。在应用GRUGC进行网络重构时，还需考虑数据的质量以保证结果的准确性和可靠性。下一步，将深入拓展GRUGC的适用范围，探索图像、文本等不同数据类型的应用。此外，对于存在多种因果关系的网络，探索如何选择最优的因果关系，并提供相应的可解释方法也是未来研究的热点之一。参考文献：1 YAN Y，HUANG C，WANG Q，et al.Data mining of customer choice behavior in Internet of Things within relationship network J.International Journal of Information Management，2020，50：566-574.2 VAN D J A G.The network society M.London：Sage，2020.3 KORHONEN O，ZANIN M，PAPO D.Principles and open questions in （a）PR curve（a）PR曲线（b）ROC curve（b）ROC曲线Fig.12PR curve and ROC curve in the simulation of DREAM3图12DREAM3仿真的PR曲线和ROC曲线（a）PR curve（a）PR曲线（b）ROC curve（b）ROC曲线Fig.13Performance comparison among GRUGC and top three methods in DREAM3图13GRUGC与DREAM3前三名方法的性能比较Table 5Comparison analysis of mean AUROC and AUPR表5AUROC和AUPR的均值对比分析TeambteamTeam291Team304GRUGCMean AUROC0.850.770.720.78Mean AUPR0.690.580.350.68 56第 10 期杨官学，王家栋：基于GRU网络的格兰杰因果网络重构functional brain network reconstructionJ.Human Brain Mapping，2021，42（11）：3680-3711.4 SUMA V.Community based network reconstruction for an evolutionary algorithm frameworkJ.Journal of Artificial Intelligence，2021，3（1）：53-61.5 BRAUN U，HARNEIT A，PERGOLA G，et al.Brain network dynamics during working memory are modulated by dopamine and diminished in schizophrenia J.Nature Communications，2021，12（1）：3478.6 SINHA S，JONES B M，TRANIELLO I M，et al.Behavior-related gene regulatory networks：a new level of organization in the brain J.Proceedings of the National Academy of Sciences，2020，117（38）：23270-23279.7 LIU Y，MU Y，CHEN K，et al.Daily activity feature selection in smart homes based on pearson correlation coefficient J.Neural Processing Letters，2020，51：1771-1787.8 VERKO Z，VRANKI M，VLAHINI S，et al.Complex pearson correlation coefficient for EEG connectivity analysisJ.Sensors，2022，22（4）：1477.9 QI F P，WANG T，FU Z Q.Link prediction in complex networks based on mutual information J.Journal of University of Science and Technology of China，2020，50（1）：57-63.齐方鹏，王童，傅忠谦.基于互信息的复杂网络链路预测 J.中国科学技术大学学报，2020，50（1）：57-63.10 PRATAPA A，JALIHAL A P，LAW J N，et al.Benchmarking algorithms for gene regulatory network inference from single