GRU稳定性研究及在声波反散射中的应用.pdf

长春理工大学学报（自然科学版）Journal of Changchun University of Science and Technology（Natural Science Edition）Vol.46No.2Apr.2023第46卷第2期2023年4月王欣羽，等：GRU稳定性研究及在声波反散射中的应用收稿日期：2021-12-15基金项目：吉林省自然科学基金（JJKH20210797KJ）作者简介：王欣羽（1995-），女，硕士研究生，E-mail：通讯作者：孟品超（1978-），女，硕士，教授，E-mail：GRU 稳定性研究及在声波反散射中的应用王欣羽，孟品超，尹伟石（长春理工大学数学与统计学院，长春130022）摘要：针对门控循环单元网络（GRU）的理论研究问题，考虑将 GRU 与微分方程建立联系，从微分方程的稳定性理论推导神经网络的稳定性。首先，通过 GRU 网络结构得到网络的动力系统表达形式，用连续方程的前向 Euler 离散格式解释门控循环单元网络的传播过程。其次，基于 Krasovskii 方法框架证明离散格式的稳定性，说明单层无输入 GRU的稳定性只依赖于候选激活状态下的权重矩阵，并证明 GRU 的稳定性定理。最后，将 GRU 应用于求解声波障碍反散射问题，从数值实验角度说明该网络在求解不适定问题时仍能得到稳定的反演效果。关键词：动力系统；稳定性；门控循环单元网络；反散射问题中图分类号：O242.1文献标志码：A文章编号：1672-9870（2023）02-0136-08Stability of GRU and its Application inInverse Scattering Problem of Acoustic WavesWANG Xinyu，MENG Pinchao，YIN Weishi（School of Mathematics and Statistics，Changchun University of Science and Technology，Changchun 130022）Abstract：Aiming at the theoretical research problem of Gated Recurrent Unit Network（GRU），consider the connectionbetween GRU and differential equations，and derive the stability of neural networks from the stability theory of differentialequations.First，obtain the dynamic system expression form of the network through the GRU network structure，and usethe forward Euler discrete format of the continuous equation to explain the propagation process of the gated recurrent unitnetwork；Secondly，based on the Krasovskii method framework，the stability of the discrete format is proved，indicating thatthe stability of a single-layer GRU without input depends only on the weight matrix in the candidate activation state，andthe stability theorem of GRU is proved.Finally，GRU is applied to solve the backscattering problem of acoustic obstacles.From the perspective of numerical experiments，it shows that the network can still obtain stable inversion results whensolving ill-posed problems.Key words：dynamic system；stability；gated recurrent unit network；inverse scattering problem近年来深度神经网络已经成为人工智能的核心框架，神经网络的理论分析也成为学术研究的热点问题之一。Weinan1研究发现残差神经网络（ResNet）中的残差结构与连续（离散）动力系统存在某些一致性，把 ResNet 解释为一阶非线性常微分方程。随后，这种思想被应用到深度神经网络（DNN），更一般地，机器学习可以看作由函数的表示、损失函数和训练动力学构成的一个连续公式，这使得许多机器学习模型被证明可以转化为不同连续方程的特定离散化，如随机特征模型、双层神经网络模型和残差神经网络模型等2。神经网络能够用微分方程解释，就能够利用微分方程解的稳定性来分析神经网络的稳定性。在常微分方程理论启发下，Haber E 和 Ruthotto L3通过使 Jacobi 矩阵特征值实部足够小，来构造能够保持稳定性的网络框架。除此之外，也可以利用方程的数值方法设计新的网络结构，以此提高网络的稳定性和泛化能力4-6。门控循环单元网络（GRU）是一种循环神经网络（RNN），在解决各类实际问题中表现出较好的能力，尤其在学习长序列时，能够解决梯度爆炸和梯度消失的问题7-8。通过研究 RNN 引起的动力系统行为，发现在没有输入数据的情况下，GRU 表现出混沌动力学9-10。但在各类实际应用中，GRU 在训练和测试中都保持了稳定性，本文给出并证明了 GRU 稳定性的定理。1GRU 及其动力学表示单层 GRU 结构如图 1 所示，每个节点的运算结 构 代 表 一 个 门 控 单 元 的 运 算 过 程，节 点t()t=1,2,T的输入xt与节点t-1的输出ht-1合并后，经过门控单元的运算，得到节点t的状态ht，将其传入下一个节点t+1。这里节点t的输入xt和输出ht分别表示为：xt=()x1t,x2t,xntT，ht=()h1t,h2t,hmtT。门控单元主要包括更新门和重置门。更新门zt+1是 通 过 节 点t+1的 输 入 数 据：xt+1n()t=0,1,T-1与节点t的隐含层状态ht m，利用激活函数作用生成：zt+1=()Wzh ht+Wzx xt+1（1）更新门用于控制前一节点的状态信息被带入到当前状态中的程度，其值越大说明前一个节点保留下的信息越多。图 1GRU 结构图重置门rt+1用来控制忽略前一节点的状态信息的程度，其值越小说明忽略的信息越多。rt+1=()Wrh ht+Wrx xt+1（2）在将节点t的信息传递到节点t+1时，还需要利用重置门信息对前一节点状态ht进行忽略，再与输入xt+1作用得到候选激活状态ht+1，表示为：ht+1=tanh()Whh()rt+1ht+Whh xt+1（3）其中，代表矩阵乘积；代表 Hadamard 积；权重矩阵Wzx、Wrx、Whh m m；Wzx、Wrx、Whx m m。从而，GRU 节点t+1的输出ht+1可表示为：ht+1=()1-zt+1ht+zt+1ht+1=ht+zt+1()ht+1-ht（4）其中，ht+1的第i项可写为：hit+1=hit+zit+1()hit+1-hit（5）每个节点t+1的状态ht+1只与上一节点的状态ht和当前节点的输入值xt+1有关。为了用离散动力系统逼近 GRU，下面讨论GRU 的动力学表示。将式（4）看作连续微分方程dhdt=G()h的向前 Euler 离散形式，即：ht+1=ht+G()ht,xt+1,()t=0,1,T-1（6）其中，映射关系G()ht,xt+1满足：G()ht,xt+1=zt()tanh()Whh()rt+1ht+Whx xt+1-ht（7）因此，单层 GRU 在给定一个初值h0时，都能得到一个近似解ht，使得该方程在每个节点的解都是连续方程在节点的近似解，当计算到方程王欣羽，等：GRU稳定性研究及在声波反散射中的应用第2期137长春理工大学学报（自然科学版）2023年在节点T的解时，就相当于 GRU 完成了前向传播过程。特别地，无输入的单层 GRU 也可看作连续微分方程dhdt=G()h的一种向前 Euler离散形式：ht+1=ht+g()ht,()t=0,1,T-1（8）映射关系满足：()ht=()Wz ht()tanh()Wh()Wc htht-ht（9）由此得到无输入 GRU 的动力系统表达式为：ht+1=ht+()Wz ht(tanh(Wh(Wc ht)ht)-ht)（10）可见系统中()ht不显含变量t。因此，可以得出以下结论：定理 1：单层无输入的 GRU 系统是一种自治非线性动力系统。因此，可以用动力学系统的理论来判断单层无输入 GRU 的稳定性。2GRU 的稳定性一般地，通过微分方程的平衡解或零解随时间变化的程度，来判断方程的解的稳定性。这里首先给出 Lyapunov 意义下微分方程解的稳定性的定义和 Krasovskii 方法。定义 1：设f()t,x满足解的存在唯一性定理的条件，且微分方程初值问题dxdt=f()t,x,x()t0=x0,x n的解x()t=x()t,t0,x0在()-,+存在，f(t,x)还满足f()t,0=0，即x()t=0是方程的解，称x()t=0为方程的零解。定理 1给出 GRU 系统是一种非线性系统，这种非线性系统的稳定性可以通过 Lyapunov 稳定性判定方法中 Krasovskii 方法来判断。引理 1：（Krasovskii 方法）对于非线性系统：dxdt=f()x,f()0=0（11）若系统满足如下条件：（1）平衡解为x=0。（2）f(x)对状态变量x是连续可微的，即存在矩阵J()x=f()xxT，使J()x为负定矩阵，其中J()x=J()x+JT()x，那么系统（11）渐近稳定。由此给出n维单层无输入 GRU 的局部稳定性条件。定理 2：若n阶权重矩阵Wh的所有n个特征值i()Wh()i=1,2,n都小于 2，则单层无输入的GRU 在原点处是局部渐近稳定的。证明：由公式（10）单层无输入的 GRU 网络可以表示为：ht+1=ht+()Wz ht()tanh()Wh ct+1-htct+1=()Wc htht,()t=0,1,T（12）式中，T是 GRU 单元个数；ct为中间变量。其对应的连续方程形式为：dhdt=f()h=()Wz h()tanh()Wh c-hh()0=h0（13）其中，h=()h1,h2,hnT。该微分方程的解h在()-,+存在，满足存在唯一性定理，且f()h满足f(0)=0，故h=0为方程的零解，进一步得到h=c=0。由引理 1，要判断系统的稳定性，只需计算f()h的 Jacobi 矩阵，并判断在h=0处 Jacobi 矩阵J()h的特征值。令f()h=()f1()h,f2()h,fn()hT，c=()c1,c2,cnT其中：fi()h=()Wiz h tanh()j=1nWijh cj-hi（14）ci=()Wic h hi,()i=0,1,n（15）记权重矩阵Wz、Wh、Wc表示为：Wh=W11hW1nhWn1hWnnh=W1hWnh138Wz=W1zWnz，Wc=W1cWnc那么 Jacobi 矩阵为：J()h=jijn n=f1()hh1f1()hhnfn()hh1fn()hhn先求出中间变量ci对hj()j=1,2,n的偏导数dij：当i=j时：dii=cihi=()Wic h()1-()Wic hWiic hi+()Wic h当i j时：dij=cihj=()Wic h()1-()Wic hWijc hj整理后可得：|dijh=c=0=12,i=j0,i j（16）然 后，计 算 式（14）和 式（15）中fi()h()i=1,2,n对hj()j=1,2,n的偏导数jij，可得：当i=j时：jii=f1(h,c)hi=()Wizh()1-()Wiz hWiiz tanh()k=1nWikh ck-hi+()Wizh ()1-tanh2()k=1nWikh ck()k=1nWikh dik-1当i j时：jij=f1(h,c)hj=()Wizh()1-()Wiz hWijz tanh()k=1nWikh ck-hi+()Wizh ()1-tanh2()k=1nWikh ck()k=1nWh dik把式（16）所求的偏导数dij结果带入到jij中，可以得到：|jijh=c=0=14Wiih-12,i=j14Wijh,i j（17）将式（17）中得到的矩阵分量整理，从而得到该自治系统的 Jacobi 矩阵：J(h)=14W11h-1214W12h14W1nh14W21h14W22h-1214W2nh14Wn1h14Wn2h14Wnnh-12=14W11hW12hW1nhW21hW22hW2nhWn1hWn2hWnnh-12100010001=14Wh-12E那么有J()h=14WTh-12E，令：J()h=J()h+JT()h可以得到：J()h=14Wh+14WTh-E由于(Wh)=(WTh)。根据已知条件，n阶权重矩阵Wh的n个特征值都满足：(Wh)2,i=1,2,n则上述矩阵J()h的特征值：()J()h=14()Wh+14()WTh-()E=12()Wh-()E 0因为矩阵J()h的所有特征值都小于 0，所以矩阵J()h为负定矩阵。由引理 1 可以得到 GRU模型在原点处是局部渐近稳定的。单层无输入 GRU 的 Jacobi 矩阵表达式中仅含有权重矩阵Wh和单位矩阵E，这说明系统的稳定性只依赖于候选激活状态的权重矩阵Wh。因此，可以通过在训练中选择满足该条件的权值矩阵Wh，来保证其前向传播的稳定性。任 意 选 择 三 种 初 始 状 态：()0.5,-0.75，王欣羽，等：GRU稳定性研究及在声波反散射中的应用第2期139长春理工大学学报（自然科学版）2023年()-0.9,0.5，()-0.19,-1.5，取总体迭代次数T=50，步长=0.1。利用二维无输入的单层 GRU 来预测隐藏状态的轨迹，考虑以下两种候选激活状态的权重矩阵Wh，他们分别对应图 2（a）和图 2（c）：W+=-411-1，W-=14-37权重矩阵W+的两个特征值分别为1()W+=-5,2()W+=-3，权重矩阵的所有特征值都小于2，且隐藏状态分别从各自初始点（用星号表示）向原点移动，此时网络在原点处满足局部渐近稳 定。而 权 重 矩 阵W-的 特 征 值1()W-=4+1.7i,2()W-=4-1.7i，实部都是大于 2 的正数，每个初始点都向不同的终点移动，从图 2（d）也可看出每个初始点的坐标最终都稳定在不同的坐标点下。若权重矩阵对应的特征值不满足定理 2 的稳定条件，那么在多次迭代后其输出值不趋于零点，且输出值不可预测。（a）GRU 在权重W+时的轨迹图（b）每点的各个状态变化趋势（c）GRU 在权重W-时的轨迹图（d）每点的各个状态变化趋势图 2GRU 动力学可视化和变化趋势图若动力系统在零解处渐近稳定，那么随迭代次数的增加，每次迭代得到的结果都会逐步趋向零解，直至达到完全平稳。从图 2（b）的仿真结果可以看出，尽管无输入的 GRU 在不同初始值下到稳定的速度不同，但其最终都在零点处达到稳定。而对于不满足稳定条件的 GRU，虽然每个初始点在迭代多次后最终都趋于稳定，但每个初始点的稳定点都不相同，无法预测最终的运行轨迹。因此，可以说在满足定理 2 的条件下，无输入的 GRU 其结果具有可预测的动态特性。3GRU在波场障碍物反演中的应用对于波动方程的散射问题，正向物理过程属于适定问题，但在求解反问题过程中，方程的解关于已知数据不稳定，这就导致了波场障碍物反演是一种典型的不适定问题。考虑在 Dirichlet条件下，利用 GRU 反演单入射波和多角度入射140波下的障碍物形状11-12。网络的运行效果通过对花生形状边界的反演误差来进行评估。障碍物边界反演过程以远场数据作为 GRU 输入，GRU 最终节点的隐藏状态hT发送到全连接层进行形状参数提取，将所得参数带入到经过傅里叶展开的曲线方程中绘制预测曲线。这里 Adam 作为优化器，将远场数据依次按节点顺序呈现到 GRU 中，换句话说，每个节点的输入是远场数据中实部和虚部构成的二维向量，输出是曲线参数方程的傅里叶系数，时间步长在单入射情况下为T=n，在多角度入射时T=n2。3.1单入射情况研究二维不可穿透障碍物的边界曲线f()x，其中入射波数k=1.5。在散射场0,2中均匀设置n个观测点，且 GRU 的门控单元个数与观测点个数n相同，利用 GRU 得到反演结果f()x，误差计算函数为Loss=12|f()x-f()x2，表 1 给出了网络的训练误差和测试误差。表 1单入射下不同观测点个数对反演效果的影响观测点个数515253035时间/s359.60815.091 485.211 795.582 006.81训练误差3.01E-022.36E-029.10E-031.58E-021.58E-02测试误差2.87E-022.17E-021.00E-021.59E-021.64E-02由表 1 可见，观测点个数的增加意味着包含的障碍物远场信息增多，在神经网络的训练和预测中，网络的运行所消耗的时间也会增加，相应的反演结果与真实曲线的误差逐渐减小，这说明网络在整个学习过程中保持了稳定反演效果和泛化能力。图 3 给出了在单入射下的反演效果图。从图 3 可见，在单入射情况下，随着观测点的增加，获得了更多的远场信息，较好地反演出障碍物的形状曲线，尤其是在图像拐点处也能很好地贴合真实曲线形状。图 3观测点个数为n=5,15,25,30,35时反演效果图3.2多角度入射情况相比于单入射情况，多角度入射得到的远场数据能够包含更多的障碍物边界信息，从理论上能够得到更好的反演效果。在多角度入射的情况下，设置观测点个数和入射点个数相同。取入射点的个数分别为n=3,5,7，研究在这种情况下网络对障碍物形状边界的反演效果。表 2观测点个数对反演效果的影响观测点个数357时间/s523.711 463.912 789.84训练误差2.57E-022.40E-022.04E-02测试误差3.14E-022.30E-022.18E-02从表 2 中的测试误差可以看出，利用越多的有效信息反演出障碍物的效果越好。这与理论分析结果相同。当入射点个数和观测点个数均为 7 时，每个障碍物形状由7 7个远场数据表示，而单入射 15 个观测点的情况仅包含 15 个远场数据，此时多入射反演产生的误差与单入射情况下效果基本相同，因此，在数据集远场数据有限的情况下，通过构造单入射多个观测点的数据能够通过较少的远场数据得到相似的训练效果。反演结果如图 4 所示。在观测点数n=3时，图 4 所示的反演结果，在外凸部分相对于观测点个数为 5 和 7 时误差较大，图 4 反演的花生形状在曲线拐点处的凹陷较浅，曲线夹角大，在不同观测点个数时都能较好地反演出原有形状。而当观测点个数增加到王欣羽，等：GRU稳定性研究及在声波反散射中的应用第2期141长春理工大学学报（自然科学版）2023年7 时，反演结果都能够几乎与原曲线重合，从表 3上的误差结果看，这三种观测点个数的选取都能使预测误差低于 0.05，在实际反演形状曲线时能够得到接近真实值的边界曲线。图 4观测点个数为n=3,5,7时反演效果图3.3含噪声的多角度入射实际计算得到的远场数据是存在误差的，为了检测远场数据中误差对网络反演效果的影响，在远场数据集中添加了一些随机噪声。当入射点和观测点个数都为n=7时，反演出的障碍物形状与原形状误差最小，在原有参数下，对数据集添加高斯白噪声N(0,per2)，分别考虑噪声per=5，20，50 的情况。训练时间和误差如表3 所示。表 3不同噪声程度下的训练效果噪声52050时间/s5 598.286 202.516 320.72训练误差1.87E-022.11E-022.52E-02测试误差1.61E-022.11E-022.71E-02将带有不同噪声的远场数据的反演结果显示在表 3 中，可见添加不同程度的噪声对整体的反演效果影响不大，噪声越小其误差也就越小，当原始数据集中噪声占比达到 50%时，依然能够描绘出障碍物的边界形状，表明了在该条件下的网络结构具有稳定性。如图 5 所示，当远场数据包含低水平的噪声时，该模型可以准确地反转形状参数并重建障碍物的形状。可以看出，该网络对噪声具有很强的鲁棒性。图 5噪声 per=5，20，50 时反演效果图从 3.1 和 3.2 的实验可以看出，在数据中不存在噪声时，GRU 都能够根据现有的远场数据准确地反演出障碍物的形状曲线。由 3.3 节的实验证明，当远场数据集含有不同程度的噪声时，网络的反演误差也能达到与不含误差同等的实验效果。因此，对于这种不适定的反散射问题，不论远场数据集是否存在误差，都能够得到较好的反演结果，且在网络的反演过程中都保持了稳定的运行。4结论将 GRU 与常微分方程联系起来，从常微分方程的稳定性理论入手分析 GRU 的稳定性。同时，提出了一种通过循环神经网络反演障碍物形状的方法，由于声波反散射问题非线性不适定性，而神经网络能够很好地拟合非线性系统，因而选择 GRU 来重构障碍物形状。数值实验表明，该方法适用于具有多个入射和多个观测方向的全孔径条件，在能够处理单一入射方向和多观测情况。实验中该网络在反演障碍物形状时误差均维持在10-2，可见 GRU 在处理这类不适定问题时保持了较好的可训练性和稳定性。参考文献1 WEINAN E.A proposal on machine learning via dynamical systems J.Communications in Mathematics&Stats，2017，5（1）：1-11.2WEINAN E，MA C，LEI W.Machine learning from a142continuous viewpoint，J.Science China Mathematics，2020，63（11）：2233-2266.3HABER E，RUTHOTTO L.Stable architectures fordeep neural networksJ.Inverse Problems，2017，34（1）：014004-1-22.4LU Y P，ZHONG A X，LI Q Z，et al.Beyond finitelayer neural networks：Bridging deep architectures andnumerical differential equationsC.Proceedings of the35th International Conference on Machine Learning，2018.5CHEN T Q，RUBANOVA Y，BETTENCOURT J，et al.Neural ordinary differential equationsC.Annual Conferenceon Neural Information Processing Systems，2018.6DUPONT E，DOUCET A，TEH Y W.Augmented neuralODEsC.Annual Conference on Neural InformationProcessing Systems，2019.7HOCHREITER S.Untersuchungen zu dynamischen neuronalen NetzenD.Diploma：Technische UniversittMnchen，1991.8SCHMIDHUBER J.Sepp hochreiter s fundamental deeplearning problemD.IDSIA：Scuola Universitaria dellaSvizzera Italiana，1991.9THOMAS L，JAMES V B.A recurrent neural networkwithout chaosC.5th Intern-ational Conference onLearning Representations，2017.10夏丽莉.动力学系统的离散化分析和积分理论D.北京：北京工业大学，2017.11张福威，李军，孟品超，等.多目标进化算法综述J.长春理工大学学报（自然科学版），2012，35（3）：102-105.12 刘仁杰，孟品超，尹伟石.利用神经网络重构多个障碍物位置J.长春理工大学学报（自然科学版），2021，44（5）：122-128.王欣羽，等：GRU稳定性研究及在声波反散射中的应用第2期143期刊基本参数：CN22-1364/TH*1978*b*A4*143*zh*p*￥20.00*1000*18*2023-04目次半导体环形激光器输出混沌光的时延特征和带宽的研究于萍，冯玉玲，范健，庞爽，姚治海（1）石墨烯三缺陷光子晶体滤波特性分析凌凯，姜丽，姚治海，于梓麒（10）大辐照面高均匀度反射式太阳模拟系统设计赵东旭，刘石，张宇，杨松洲，张燃（18）离子束溅射Lan-WDM滤光膜膜厚均匀性的研究齐双阳，刘冬梅，朱忠尧，张于帅，韩克旭（25）光学瞄具硬涂层阻尼减振的动力学仿真分析孙熙函，石利霞，王劲松，王奕博，孟志（32）基于FDR-Net的红外-可见光图像像素级配准方法研究丁钰，黄丹飞，钟艾琦，陈思阳（39）拉曼光谱检测糖皮质激素的方法研究范宇华，付芸，李浩然，万楚琦（46）基于近红外图像的自动报靶方法研究王浩，王劲松，高奔，唐卓，杨业涛（55）基于ST的EMD算法在FPGA上的设计与实现康世勋，孔德杰，冯进良，马晨阳（63）基于PSD的风力发电机主轴监测系统研究解朝阳，王凌云，王春艳，郑茹，顾航硕（71）基于离散余弦生成散斑的鬼成像研究赵思源，王晓茜，李畅，姚治海，高超（79）圆柱体工件外径非接触测量及误差分析贡乐凯，闫钰锋，王武，张振超（87）改进的Sobel算子图像清晰度评价算法张永超，李英，唐智勇，谢康旗（96）基于Hough-Harris的消音壁顶点检测李国旺，李英，马韵琪，夏晨旭（106）CAN总线报文接收准确率的优化设计吴同晔，刘石，冯进良，黄伟（114）基于模糊卡尔曼滤波的姿态估计黄伟，田明，冯进良，王菲（120）负载均衡的2D Mesh单节点故障容错路由算法韩承浩，陈乃金，胡宇杨，李抗（128）GRU稳定性研究及在声波反散射中的应用王欣羽，孟品超，尹伟石（136）长春理工大学学报自然科学版第46卷第2期