求解时间分数阶相场微分方程的自适应分数阶物理信息网络.pdf

Advances in Applied Mathematics 应用数学进展应用数学进展,2024,13(4),1575-1584 Published Online April 2024 in Hans.https:/www.hanspub.org/journal/aam https:/doi.org/10.12677/aam.2024.134148 文章引用文章引用:杨子晴,牛瑞萍,贾宏恩,李胜利.求解时间分数阶相场微分方程的自适应分数阶物理信息网络J.应用数学进展,2024,13(4):1575-1584.DOI:10.12677/aam.2024.134148 求解时间分数阶相场微分方程的求解时间分数阶相场微分方程的 自适应分数阶物理信息自适应分数阶物理信息 网络网络 杨子晴杨子晴1，牛瑞萍，牛瑞萍1，贾宏恩，贾宏恩1*，李胜利，李胜利2 1太原理工大学数学学院，山西 太原 2太原师范学院数学与统计学院，山西 晋中 收稿日期：2024年3月25日；录用日期：2024年4月22日；发布日期：2024年4月29日 摘摘 要要 本文提出具有自适应权重的分数阶物理信息神经网络本文提出具有自适应权重的分数阶物理信息神经网络(adaptive-fPINN-PQI)求解时间分数阶偏微分方程。求解时间分数阶偏微分方程。首先，利用首先，利用Hadamard有限部分积分意义上的分段二次插值有限部分积分意义上的分段二次插值(PQI)对时间分数阶导数进行离散。其次，为对时间分数阶导数进行离散。其次，为降低自动微分引入的误差，本文采用中心差分法代替自动微分求导，计算空间各阶偏导数，提高了预测降低自动微分引入的误差，本文采用中心差分法代替自动微分求导，计算空间各阶偏导数，提高了预测解精度。此外，本文构建的自适应权重残差网络，基于残差网络架构有效防止梯度消失。并通过建立自解精度。此外，本文构建的自适应权重残差网络，基于残差网络架构有效防止梯度消失。并通过建立自适应权重来自动调整不同损失项的权重，显著平衡其梯度，进一步提升预测解精度。最后，将适应权重来自动调整不同损失项的权重，显著平衡其梯度，进一步提升预测解精度。最后，将adaptive-fPINN-PQI用于求解时间分数阶相场偏微分方程，证明了该网络用于求解时间分数阶相场偏微分方程，证明了该网络的高精度和高效率。的高精度和高效率。关键词关键词 自适应权重，分段二次插值，中心差分，物理信息神经网络，时间分数阶偏微分方程自适应权重，分段二次插值，中心差分，物理信息神经网络，时间分数阶偏微分方程 Adaptive Fractional Physical Information Neural Network for Solving Time Fractional Phase Field Partial Differential Equations Ziqing Yang1,Ruiping Niu1,Hongen Jia1*,Shengli Li2 1School of Mathematics,Taiyuan University of Technology,Taiyuan Shanxi 2School of Mathematics and Statistics,Taiyuan Normal University,Jinzhong Shanxi *通讯作者。杨子晴 等 DOI:10.12677/aam.2024.134148 1576 应用数学进展 Received:Mar.25th,2024;accepted:Apr.22nd,2024;published:Apr.29th,2024 Abstract In this paper,an accurate fractional physical information neural network with an adaptive learn-ing rate(adaptive-fPINN-PQI)is proposed for solving time fractional partial differential equations.Firstly,the time-fractional derivative in the Caputo sense is discretized by piecewise quadratic in-terpolation(PQI)in the sense of the Hadamard finite-part integral.Next,the central difference method is used instead of automatic differentiation to reduce the error of automatic differentia-tion.Besides,the present adaptive-fPINN-PQI is based on the ResNet architecture to effectively overcome the issue of gradient vanishing.The adaptive learning rate is constructed to automat-ically adjust the weights of different loss terms,significantly balancing their gradients and im-proving the accuracy of the predicted solutions.Finally,time fractional phase field equations have been solved using the proposed adaptive-fPINN-PQI to demonstrate its high precision and effi-ciency.Keywords Adaptive Learning Rate,Piecewise Quadratic Interpolation,Central Difference,Physical Information Neural Network,Time Fractional Partial Differential Equations Copyright 2024 by author(s)and Hans Publishers Inc.This work is licensed under the Creative Commons Attribution International License(CC BY 4.0).http:/creativecommons.org/licenses/by/4.0/1.引言引言 分数阶微积分的非局域性和记忆性使其更能描述复杂的数学物理问题，因此许多学者对该问题进行了大量的研究。目前，已经发展出一系列有效的求解分数阶微分方程的数值方法，如有限差分法1、有限元法2、谱方法3、无网格法(MFM)4等。其中，T.A.M.和 B.I.5提出了一种一阶有限差分(L1)的时间离散方案。Deng 6研究了分数阶 Fokker-Planck 方程的有限元方法。Li 等7提出了一种无网格数值逼近一维问题的方法“有限积分法(FIM)”。Li等8证明了FIM在求解多维问题时具有较高的稳定性、效率和精度。深度学习作为一种求解整数阶偏微分方程的数值技术已广泛应用。许多基于数据驱动的深度神经网络被提出求解偏微分方程9。Wang 等10将残差神经网络与数据驱动方法相结合，有效地解决了高维问题。Yohai 等11提出了一种数据驱动的离散化方案，利用神经网络估计空间导数，并对空间导数进行端到端优化。然而，数据驱动的网络无法仅通过物理约束来解决这个问题，因为它们需要大量的标记数据。针对数据驱动的局限性，研究人员提出物理信息神经网络12。PINNs(物理信息神经网络)将偏微分方程作为惩罚项加入到损失函数中，使网络能够学习物理方程中隐藏的信息。目前，求解经典偏微分方程的物理信息神经网络技术得到了很大的发展，并在实际应用中显示出良好的效果13 14 15。然而，对于整数阶偏微分方程，利用网络的自动微分可以很容易地推导出空间和时间的任意阶导数，而分数阶导数无法通过自动微分获得，因此构建稳定高效的分数阶偏微分方程神经网络已成为深度学习领域的研究热点。fPINN 16使用 L1 方案离散时间分数阶导数，利用 GL 方法离散空间拉普拉斯分数阶算子。Rostami Open AccessOpen Access杨子晴 等 DOI:10.12677/aam.2024.134148 1577 应用数学进展 17将级数展开作为替代解，实现了高阶线性分数阶偏微分方程(FPDEs)的更精确解析。Wang 等18将分数阶物理信息与神经网络的非线性函数相结合，提高了时间分数阶相场模型的建模和求解效果。经典的一阶有限差分(L1)格式具有良好的稳定性和数值精度。但由于其收敛阶较低，可能需要更多的网格节点才能获得与高阶差分格式相同的数值精度。Li 等19提出的 Hadamard 有限部分积分意义上的分段正交插值(PQI)具有三阶收敛性，可以提高预测解的精度，提高模型的效率。因此，本文在时间离散化中采用 PQI 格式，快速减小控制方程的残差损失，得到更精确的解。为了平衡损失函数中不同损失项的梯度，在损失函数中提出自适应权重，防止网络陷入局部最优解，大大提高了网络的可训练性、收敛性和精度。在此基础上，采用中心差分法代替网络中的自动微分来计算空间各阶偏导数以进一步提高系统精度。2.数学模型数学模型 2.1.问题描述问题描述 本文考虑时间分数阶偏微分方程的如下形式：()()()()()()()012,0,0,0,CtD utLutfttTugutgtT=(1)其中，()0,CtD ut是(),ut对时间 t 的卡普托意义分数阶导数，是导数的阶数，L 表示微分算子，是问题域，是的边界。这里 g1和 g2是两个已知的连续函数。2.2.时间分数阶导数的离散格式时间分数阶导数的离散格式 分数阶导数在卡普托意义上定义为()()()()001d,01,0,1tctD f ttxftxt=(2)其中 表示伽马函数，是时间分数阶导数的阶数，()0,1。区间0,T均匀划分为 01222120 TssNttttttT+=，其中 s 和 NT表示位置整数。在分段求积分形式中，首先使用黎曼-刘维尔分数阶导数表示式(2)为()()()()11d.tD f ttxf tx=(3)基于分段二次插值多项式，有：()()222,2220,sstskss kkD fttftR=+(4)式中()()323220max,sst=其中 (13)其中()(),iruLL和()buL分别表示残差损失项、边界损失项和初始损失项相对于参数 的梯 度均值。通过大量的数值实验，作者发现当()()maxiiruuLL=和()()maxbbruuLL=时，更有利于网络 的损失收敛。此外，考虑到 ResNet 20(图 2)可以有效解决 fPINN 中使用的传统全连接神经网络(DNN)的梯度消失问题，因此，在本文中，从第二层隐藏层开始采用 ResNet。Figure 2.The architecture of ResNet block 图图 2.残差块结构 用公式(8)(10)离散式(1)，结合边界条件残差和初始条件残差构成物理信息网络的损失函数。并将本文提出的自适应权重和现有的 ResNet 块应用到网络结构中，得到的自适应 fPINN 网络结构如图 3 所示。Figure 3.The adaptive-fPINN architecture 图图 3.自适应 fPINN 网络结构 杨子晴 等 DOI:10.12677/aam.2024.134148 1581 应用数学进展 4.数值实验与结果数值实验与结果 4.1.对比网络对比网络 在本节中，将本文提出的网络应用到求解 1D 时间分数阶相场偏微分方程和 2D 时间分数阶相场偏微分方程。为了更好地说明网络的精度和性能，将与 fPINN 20结果进行对比。在网络参数方面，本文提出的网络(adaptive-fPINN)与对比网络采用完全相同的参数设置，具体为：使用 Adam 算法对损失函数进行优化，Xavier 用于初始化，神经网络的学习率为 1 10-3，隐藏层数设置为 5，神经元数和迭代次数分别固定为 200 和 6 104，激活函数使用 tanh。4.2.1D 时间分数阶相场方程时间分数阶相场方程 本文对具有 Dirichlet 边界条件的 1D 时间分数阶相场偏微分方程进行了研究，方程定义为：()()()()()()21230,0,0,.,ttTugutD utuuuftgtT+=(14)其中表示为拉普拉斯算子，0,1d=，1,2d=并且是的边界，固定1,1T=。考虑满足该方程的一个精确解考虑满足该方程的一个精确解()()()2,1sin 2u x ttx=+，根据式，根据式(14)，可得：，可得：()()()()()()()()()()3222223,sin 241sin 21sin 21sin 23fx ttxtxtxtx=+(15)分别利用 fPINN 和 adaptive-fPINN 求解该问题，结果见表 1。通过比较表中的数据，可明显观察到本文所提出的 adaptive-fPINN 的误差比 fPINN 的误差小 12 个数量级，说明其可显著地提高网络求解精度。此外，图 4 绘制了这两种模型在迭代过程中，预测解的相对误差。从该箱体图中可以看出，adaptive-fPINN 模型在整个迭代过程中具有更短的箱长，表明所提出的网络更稳定。而且 adaptive-fPINN的误差始终小于 fPINN 的误差，总体说明 adaptive-fPINN 的解更精确、更稳定。Table 1.Comparison of the relative errors of the prediction solutions using different networks for the 1D time fractional AC equation when t=1 表表 1.t=1 时一维时间分数相场方程网络预测解的相对误差比较 fPINN adaptive-fPINN 0.2 5.95 103 1.65 104 0.5 3.94 103 8.85 105 0.8 3.85 103 7.14 105 4.3.2D 时间分数阶相场方程时间分数阶相场方程 在这里考虑具有精确解为()()()()2,1sin 2sin 2u x ttxy=+的 2D 时间分数阶相场偏微分方程，根据式(14)，可得源项为：()()()()()()()()()()()()()()2223223,sin 2sin 281sin 2sin 231sin 2sin 21sin 2sin 2fx y ttxytxytxytxy=+(16)杨子晴 等 DOI:10.12677/aam.2024.134148 1582 应用数学进展 Figure 4.The relative errors of the solutions against the number of iterations by various models at 0.8=图图 4.0.8=时，网络迭代过程中不同模型解的相对误差 神经网络 fPINN 和 adaptive-fPINN 求解该问题的预测解相对误差如表 2 所示。结果表明，adaptive-fPINN-PQI 模型解的精度比 fPINN 平均高一个数量级。Table 2.Comparison of the relative errors of the prediction solutions using different networks for the 2D time fractional AC equation when t=1 表表 2.t=1 时二维时间分数相场方程网络预测解的相对误差比较 fPINN adaptive-fPINN 0.2 1.04 103 3.22 104 0.5 8.84 104 3.31 104 0.8 1.25 103 3.21 104 图 5 绘制了 fPINN 和 adaptive-fPINN 解及其误差分布。从图中可以看出，本文提出的网络预测性能要优于对比网络，在整个预测区域内预测精度降低大约 1 个数量级，由此可见所提出的自适应 fPINN 模型在求解时间分数阶方程方面表现优异。(a)fPINN (b)adaptive-fPINN Figure 5.The distribution of predicted solutions and errors of fPINN and adaptive-fPINN 图图 5.fPINN 和 adaptive-fPINN 网络的预测解分布和绝对误差分布 杨子晴 等 DOI:10.12677/aam.2024.134148 1583 应用数学进展 5.结论结论 本文构造了一个求解时间分数阶偏微分方程的自适应 fPINN 网络。该结构的自适应权重通过有效平衡不同损失项的梯度，使所有损失项都能快速下降。所提出的神经网络采用了分段二次插值的高阶格式，使得网络损失可以快速下降，提高了训练速度和效率。在此基础上利用中心差分法代替物理信息网络中的自动微分技术，一定程度上降低了近似误差。最后通过求解两个时间分数阶相场偏微分方程实验有效验证了所提出模型的精度、收敛性和稳定性。在今后的工作中，将进一步研究不同定义下的分数阶导数，特别是解决 Hadamard 型分数阶问题，开发一个更广泛适用的机器学习模型解决分数阶问题。基金项目基金项目 山西省青年科学研究基金项目(No.20210302124159)；国家自然科学基金项目(No.12102283)。参考文献参考文献 1 Vargas,A.M.(2022)Finite Difference Method for Solving Fractional Differential Equations at Irregular Meshes.Ma-thematics and Computers in Simulation,193,204-216.https:/doi.org/10.1016/j.matcom.2021.10.010 2 Nedaiasl,K.and Dehbozorgi,R.(2021)Galerkin Finite Element Method for Nonlinear Fractional Differential Equa-tions.Numerical Algorithms,88,113-141.https:/doi.org/10.1007/s11075-020-01032-2 3 Wang,C.,Wang,Z.and Wang,L.(2018)A Spectral Collocation Method for Nonlinear Fractional Boundary Value Problems with a Caputo Derivative.Journal of Scientific Computing,76,166-188.https:/doi.org/10.1007/s10915-017-0616-3 4 Li,M.and Wen,P.H.(2014)Finite Block Method for Transient Heat Conduction Analysis in Functionally Graded Media.International Journal for Numerical Methods in Engineering,99,372-390.https:/doi.org/10.1002/nme.4693 5 Langlands,T.A.M.and Henry,B.I.(2005)The Accuracy and Stability of an Implicit Solution Method for the Fraction-al Diffusion Equation.Journal of Computational Physics,205,719-736.https:/doi.org/10.1016/j.jcp.2004.11.025 6 Deng,W.(2008)Finite Element Method for the Space and Time Fractional Fokker-Planck Equation.Siam Journal on Numerical Analysis,47,204-226.https:/doi.org/10.1137/080714130 7 Li,M.,Hon,Y.C.,Korakianitis,T.,et al.(2013)Finite Integration Method for Nonlocal Elastic Bar Under Static and Dynamic Loads.Engineering Analysis with Boundary Elements,37,842-849.https:/doi.org/10.1016/j.enganabound.2013.01.018 8 Li,M.,Chen,C.S.,Hon,Y.C.,et al.(2015)Finite Integration Method for Solving Multi-Dimensional Partial Differen-tial Equations.Applied Mathematical Modelling,39,4979-4994.https:/doi.org/10.1016/j.apm.2015.03.049 9 Brunton,S.,Noack,B.and Koumoutsakos,P.(2020)Machine Learning for Fluid Mechanics.Annual Review of Fluid Mechanics,52,477-508.https:/doi.org/10.1146/annurev-fluid-010719-060214 10 Wang,Z.,et al.(2021)Numerical Solution for High-Dimensional Partial Differential Equations Based on Deep Learning with Residual Learning and Data-Driven Learning.International Journal of Machine Learning and Cyber-netics,12,1839-1851.https:/doi.org/10.1007/s13042-021-01277-w 11 Bar-Sinai,Y.,Hoyer,S.,Hickey,J.and Brenner,M.P.(2019)Learning Data-Driven Discretizations for Partial Diffe-rential Equations.Proceedings of the National Academy of Sciences of the United States of America,116,15344-15349.https:/doi.org/10.1073/pnas.1814058116 12 Raissi,M.,Perdikaris,P.and Karniadakis,G.(2019)Physics-Informed Neural Networks:A Deep Learning Frame-work for Solving Forward and Inverse Problems Involving Nonlinear Partial Differential Equations.Journal of Com-putational Physics,378,686-707.https:/doi.org/10.1016/j.jcp.2018.10.045 13 孙靖威.基于深度学习求解偏微分方程的研究D:硕士学位论文.天津:天津师范大学,2023.14 曾壬源.基于深度神经网络的偏微分方程求解D:硕士学位论文.合肥:中国科学技术大学,2022.15 Hou,J.,Li,Y.and Ying,S.(2023)Enhancing PINNs for Solving PDEs via Adaptive Collocation Point Movement and Adaptive Loss Weighting.Nonlinear Dynamics,111,15233-15261.https:/doi.org/10.1007/s11071-023-08654-w 16 Pang,G.,Lu,L.and Karniadakis,G.(2019)FPINNs:Fractional Physics Informed Neural Networks.SIAM Journal on Scientific Computing,41,2603-2626.https:/doi.org/10.1137/18M1229845 17 Rostami,F.and Jafarian,A.(2018)A New Artificial Neural Network Structure for Solving High-Order Linear Frac-杨子晴 等 DOI:10.12677/aam.2024.134148 1584 应用数学进展 tional Differential Equations.International Journal of Computer Mathematics,95,528-539.https:/doi.org/10.1080/00207160.2017.1291932 18 Wang,S.P.,Zhang,H.and Jiang,X.(2022)Fractional Physics-Informed Neural Networks for Time-Fractional Phase Field Models.Nonlinear Dynamics,110,2715-2739.https:/doi.org/10.1007/s11071-022-07746-3 19 Li,Z.,Yan,Y.and Ford,N.J.(2017)Error Estimates of a High Order Numerical Method for Solving Linear Fractional Differential Equations.Applied Numerical Mathematics,114,201-220.https:/doi.org/10.1016/j.apnum.2016.04.010 20 Miao,Z.and Chen,Y.(2023)VC-PINN:Variable Coefficient Physics-Informed Neural Network for Forward and In-verse Problems of PDEs with Variable Coefficient.Physica D:Nonlinear Phenomena,456,Article ID:133945.https:/doi.org/10.1016/j.physd.2023.133945