基于神经网络的震级和震中距预测研究.pdf

第41卷第8 期2023年8 月文章编号：10 0 9-7 7 6 7(2 0 2 3)0 8-0 0 6 8-0 6Vol.41,No,8Journal of Municipal TechnologyAug.2023D0I:10.19922/j.1009-7767.2023.08.068基于神经网络的震级和震中距预测研究葛康1,王琛,胡振中1,郭宇韬1*(1.清华大学深圳国际研究生院，广东深圳518 0 55；2.清华大学土木工程系，北京10 0 0 8 4)摘要：为实现震级和震中距的快速预测，应用卷积神经网络、全连接神经网络、GELU激活函数、丢弃法、多任务学习等机器学习技术，建立了1个高效的震级和震中距预测模型，选取斯坦福地震数据集STEAD对其进行训练、验证和测试，结果显示预测值和实际值呈现较好的正相关性，震级和震中距的决定系数分别为0.9 38 和0.8 8 1，相关结论为地震预警系统的发展提供了新的思路和方法。关键词：震级；震中距；预测；神经网络；机器学习中图分类号：P315.9Prediction of Magnitude and Epicentral Distance Based on Neural Network(1.Shenzhen International Graduate School,Tsinghua Uniwersity,Shenzhen 518055,China;2.Department of Civil Engineering,Tsinghua University,Beijing 100084,China)Abstract:In order to predict rapidly the magnitude and epicentral distance,various machine learning techniques in-cluding convolutional neural network,fully connected neural network,GELU activation function,dropout and mul-ti-task learning were applied to establish an efficient model for predicting the magnitude and epicentral distance.The model was trained,validated,and tested by the Stanford Earthquake Dataset(STEAD).The predicted valuesdemonstrated a better positive correlation with the actual ones,with determination coefficients of 0.938 and 0.881for magnitude and epicentral distance respectively.These results provides new ideas and methods for the develop-ment of earthquake warning systems.Key words:magnitude;epicentral distance;prediction;neural network;machine learning文献标志码：AGe Kang,Wang Chen,Hu Zhenzhong,Guo Yutaol*地震作为一种严重的自然灾害，会对建筑物造成破坏同时威胁人民的生命财产安全。由于我国地处亚欧板块、太平洋板块、印度洋板块交界处，地震频发，因此地震预警对于市政工程具有重要意义，地震早期预警(EEW)系统的建设对于减小地震灾害的影响至关重要1。震级和震中距的快速预测是EEW系统中最重要的模块。震级是对地震强度的度量,用于衡量地震释放能量的大小，最广泛应用的震级是里收稿日期：2 0 2 3-0 3-14作者简介：葛康，男，在读硕士研究生，主要研究方向为机器学习在时间序列分析中的应用。通讯作者：郭宇韬，男，助理教授，博士，主要从事钢-混凝土组合结构研究工作。引文格式：葛康，王琛，胡振中，等.基于神经网络的震级和震中距预测研究JI.市政技术，2 0 2 3，41（8）：6 8-7 3.（GEK，W A NG C,H U ZZ，e t a l.Prediction of magnitude and epicentral distance based on neural network J.Journal of municipal technology,2023,41(8):68-73.)氏震级，由地震台站记录中的最大振幅定义2。震中距为10 0 km处地震台站记录得到的水平方向最大振幅(1m)对应的地震震级被定义为里氏震级0 级，震级的估算方法有基于P波(纵波)幅值的Pa法3和基于频谱特征的t。法4。震中距表示震中（震源到地面的投影)到地震台站的地球球面距离，其可以通过P波（纵波）到时和S波（横波）到时之差以及地震波速度模型近似估计，也可以通过经验公式如基第8 期于P波外包络线方法5来计算。然而上述算法的精度和鲁棒性都较低。随着大量高质量地震数据集的收集与标注，机器学习技术在地震学科也取得了不少研究进展，其在捕捉大量数据的非线性特征上表现极好，远超传统的经验性回归分析。因此，笔者提出基于卷积神经网络的震级和震中距预测模型，通过3s地震波实现快速而准确的预测，以实现更快速、准确的地震预警与分析，从荷载端出发为响应端提供信息，可作为智能分析、智能运维、数字李生等模块的组成部分。1模型设计1.1全连接神经网络全连接神经网络又称为人工神经网络（ANN)，通过将大量神经元以层状结构相连形成直观的网络。神经元是全连接神经网络最基础的单元，其模型结构见图1。针对输人数据XT=（x 1,x 2,x 3,x n）,神经元会生成1组权重与输人数据相乘并加权求和的数据Z=Wix1+Wx2+Wx3+W,m，权重是通过随机初始化生成的,并在反向传播的过程中不断更新,以达到接近任一非线性函数的目的6。将加权求和数据输入神经网络并通过激活函数实现对输入的抑制，只有当输入增强到一定程度，神经元才有输出。激活函数是模拟生物神经元在只有接受到神经递质的情况下才会发生电脉冲信号的工作方式。大量的神经元堆叠可以构成神经网络层，多个神经网络层堆叠并将每层中的所有神经元与相邻层中的所有神经元相连，可实现全连接神经网络。输人1、权重1权重2输人2权重3输人3一图1神经元模型结构示意图Fig.1 Schematic diagram of neuron model1.2卷积神经网络卷积神经网络（CNN)最初被设计用于图像分类7、目标检测等计算机视觉任务，卷积神经网络的核心思想是利用卷积运算来提取输人数据的特征。在卷积层中，网络通过将输入数据与1组可学习的卷积核（滤波器）进行卷积运算（卷积核在输入数据上滑动，依次计算哈达玛积后求和得到对应位置输葛康等：基于神经网络的震级和震中距预测研究激活输出函数69出）,得到1组新的特征图。特征图可以捕捉到输人数据中不同尺度、不同通道的特征，从而对输人数据进行更加有效的表示。1D卷积神经网络常用于时间序列分析，其计算模式见图2。时间序列输人乘积卷积核相加卷积输出图2 1D卷积神经网络计算模式图Fig.2 Schematic diagram of the computation process of the 1Dconvolutional neural network卷积神经网络相较于全连接神经网络计算成本更低,对细节特征的提取效果更好,同时可以压缩输入特征图的尺寸，减少神经网络参数数量。此外，笔者采用的地震波有3个方向的分量，而卷积神经网络在提取多通道特征上的表现非常优异。1.3激活函数激活函数的作用是为神经网络引人非线性因素，从而使得神经网络可以更好地拟合非线性数据。常用的激活函数有线性整流函数(ReLU）、S型生长函数等。笔者采用高斯误差线性单元(GELU)函数8)（见图3）,其具有非线性特征以及更柔和的斜率和更平滑的曲线，可以更好地避免梯度消失问题。此外，CELU函数在输入为负数时仍然有非零输出，能够更好地处理不同类型的输入，从而保持比较稳定的网络梯度流。543210Fig.3 Schematic diagram of the GELU function由于所预测震级和震中距均为非负值,因此在网络的最后添加ReLU作为激活函数。ReLU函数将上4一2图3CELU函数示意图02470负值统一抑制为0，而对非负值不进行变换，具体见式(1):ReLU(x)=0(x0)1.4丢弃法丢弃法(Dropout)是一种常用的神经网络正则化技术9,其通过在训练过程中以一定的概率将神经元的输出设置为0，从而减少神经元之间的依赖性，防止过拟合的发生。当神经网络模型过拟合时，其在训练数据上表现良好，但在新数据上表现不佳。这些被丢弃的神经元在每个训练样本中都是随机选择的,并且每次迭代都不同,其目的是让网络在每个训练样本中只使用部分神经元，从而使得网络的鲁棒性和泛化性更强。Dropout层仅在模型训练时打开，而在验证和测试过程中都会被冻结。由于全连接神经网络的参数较多,Dropout层往往添加在全连接神经网络后，以减少过拟合。丢弃法原理见图4。图4丢弃法原理示意图Fig.4 Schematic diagram of the principle of Dropout1.5多任务学习笔者将神经网络设计成多任务学习模型，网络由1个共享的卷积神经网络从输人中提取特征，2 个全连接神经网络分别提取出震级和震中距信息，输出2个预测值。现有研究表明，多任务学习的效果比单任务学习更好10。损失函数采用均方误差，由于震级和震中距的数据分布差异较大，总损失函数由两部分Journal of Municipal Technology(x0)(1)Dropout第41卷损失的加权和构成。根据Kendall 等1提出的理论,多任务学习模型损失函数的优化过程等价于最大化神经网络参数的高斯似然，该理论经过推导后计算公式为：1201式中：L；为理论值和真实值之间的均方误差；;为反向传播过程中可学习的参数，可作为分母衡量输出中的噪声水平，越大，噪声越大，相应权重越小；logQ;作为正则化项，可防止;无限增大。在实际编程中,采用s替代logQi,以实现更好的数值稳定性并防止式(2)中分母为0。1.6模型架构神经网络模型输入数据首先经过一系列共享的卷积层，提取出同时包含震级和震中距的抽象特征，然后将特征向量通过2 个分支的全连接神经网络分别提取出震级和震中距信息。卷积神经网络将输入波形的通道数从3依次提升到16 32，再压缩通道数到16、8，卷积核的大小依次为5、3、3、3，卷积步长依次为3、2、2、1,每次卷积后采用补零（padding）操作，输出特征图的形状依次为（16,10 0）、（32,50）、（16,2 5）、（8,2 5），每次卷积操作后都通过GELU作为激活函数。将特征图展开得到一个形状为(2 0 0)的特征向量，分别输入2 个全连接层中，首先采用丢弃率为0.1的Dropout层，即神经元中有10%的概率输出为0；然后通过全连接神经网络将特征向量从(200)变换到（40 0）,并采用GELU函数激活；最后经过丢弃率为0.1的Dropout层，通过全连接神经网络并经过ReLU函数激活后输出数值,即震级或震中距。损失函数同时接受神经网络返回的震级和震中距的预测值，按式(2)计算总损失，并对网络完成梯度回传和权重更新。神经网络模型架构见图5。L2+log020i+202(2)inodoua输人（0 0）1TE891)(00）odo.ia(10）（1）震级nodoua(T0)图5神经网络模型架构图Fig.5 Diagram of the architecture of the neural network model（0 0 2）（0 0)anodo.ia(1o)(1）震中距第8 期2模型试验2.1数据集笔者采用斯坦福地震数据集（STEAD），其为全面且高质量的全球数据库，包括10 0 万组3通道本地地震（地震台站在震中距为350 km的半径内）波形记录，科研人员对每组地震记录标注了震级、震中距、震源深度、P波和S波到达时间等基本信息12。选取数据标准如下：1)选取发生在美国加州地区的地震(经度为32 36,纬度为-116-12 0);2)考虑到数据集中包含里氏震级、面波震级、矩震级等多种震级类型，不同震级类型换算方式不同，因此仅选取数量最多的里氏震级；3)选取所有近场(震中距小于10 0 km）浅源（深度小于7 0 km)地震；4)选取地震记录信噪比（SNR）大于2 0 的地震；5)选取至60050040030020010000Fig.6 Schematic diagram of the distribution of magnitude and epicentral distance in the dataset2.2训练参数和震中距损失函数收敛情况见图7。笔者采用Adam优化器进行参数优化，动量参数从图7 可以看出，震级和震中距的损失函数都为i=0.900和2=0.999,权重衰减系数为入=510 。能得到良好的收敛，没有出现过拟合情况。初始学习率设置为110-3,并在验证损失连续10 个3预测结果分析轮次未下降时，自适应地乘以一个V0.1的缩放因子，直到学习率达到最小值510-7。总训练轮次设置为200，如果验证损失连续30 个轮次未降低，则终止训练过程。在训练过程中打开Dropout层，计算误差和梯度并反向传播更新权重；在验证和测试过程中保持Dropout层和模型权重冻结。每轮次保存验证损失最小模型，并在测试中使用该模型。该训练是在1块2 4GB的RTX3090GPU和2 块英特尔金牌52 18 RCPU上实现的，共经历了149 轮次。模型采用Pytorch框架，该框架因具有简洁、高效、便于调试和灵活性好等优点被广泛应用。震级葛康等：基于神经网络的震级和震中距预测研究的地震记录较多。300250200数15010050012震级a)震级71少被10 0 个地震台站记录到的地震。所有地震记录都没有经过带通滤波，以保留一定噪声，从而增强模型的鲁棒性。每个波形具有3个通道，持续时间为1min,采样率为10 0 Hz。截取的地震波形从P波到达1s前开始,并在P波到达2 s后结束。最终数据集包括14346 0 个3通道波形，震级范围为0 4.6,震中距范围为0 10 0.0 km,深度范围为0 2 8.6 6 km。数据集被随机打乱并分为训练集（7 5%）验证集（15%）和测试集（10%）。数据集中震级和震中距分布情况见图6。从图6 可以看出，震级分布呈两端少、中间多的趋势，0.5级以下和3.5级以上的地震记录较少，而2.53.0 级的地震记录较多；震中距分布相对均匀，5km以下的地震记录较少，10 2 0 km和6 0 7 0 km34图6 数据集中震级和震中距分布情况示意图0基于神经网络震级和震中距预测值和真实值的误差统计学结果见表1，震级和震中距预测结果回归情况见图8，震级和震中距预测误差分布情况见图9。从图8 可以看出，震级和震中距的预测值和真实值呈良好的正相关性,近似分布在虚线y=x附近，表明预测值没有严重偏离真实值。对于大地震事件（震级和震中距较大），预测误差更为明显，尤其是震级大于3.5和震中距大于9 0 km时出现了明显的低估现象，这是由于数据集分布并不均匀，数据集2040震中距/kmb)震中距608010072Tab.1 Statistical results of prediction errors of themagnitude and epicentral distance项目平均误差平均绝对误差标准差决定系数Journal of Municipal Technology100一训练损失10-02一验证损失10-0.410-0.610-0.810-1.010-1.210-14020 4060 80100120140轮次a）震级图7 震级和震中距损失函数收敛情况示意图Fig.7 Schematic diagram of convergence of the loss function of the magnitude and epicentral distance表1震级和震中距预测误差统计学结果震级震中距-0.003-0.1070.1678.0380.22711.2890.9380.881第41卷一训练损失103.0验证损失102.8#1026102.4102.2102.0020406080100120140轮次b)震中距中大地震事件较为稀疏。从图9可以看出，震级预测误差服从均值为0、标准差为0.2 3的高斯分布，震中距预测误差服从均值为-0.11km、标准差为11.2 9km的高斯分布。由此可见，震级预测结果只在真实值附近小范围波动，预测效果非常好。综上所述,P波到达前后的地震波记录中蕴含432一00Fig.8 Schematic diagram of regression of prediction results of the magnitude and epicentral distance了较为丰富的能量信息，虽然P波到达后仅仅过去了2 s，但神经网络仍然可以从中提取充分的震级信息，实现较为准确的震级预测。然而P波到达前后的震中距信息并不丰富，震中距的预测需要同时利用P波和S波，根据P波和S波到达时间之差实现预测，因此神经网络在预测震中距方面的表现不如震级。相较于将计算得到的各个地震参数作为神经网络的输人13,笔者提出的基于原始波形输入的方法更能保留波形中的丰富信息，并且可以使用更复杂的机器学习技术。基于神经网络预测震级和震中距是R2=0.9381真实震级a）震级10088080604020O82R2=0.8810-2034图8 震级和震中距预测结果回归情况示意图0一种比较简单的技术,对于更长的输人序列、更复杂的任务，需要用到更前沿的机器学习技术，比如拥有更大卷积视野的扩张卷积14，常用于时间序列建模的循环神经网络（如门控循环单元和长短期记忆网络等）15,基于注意力机制的Transformer16等技术。4结语笔者提出了一种基于神经网络并结合GELU激活函数、丢弃法、多任务学习等预测震级和震中距的技术，根据P波到达前1s和到达后2 s的地震波2040真实震中距/kmb)震中距6080100第8 期2.500平均误差=-0.0 0平均绝对误差=0.172.000标准差=0.2 3150010005000-1.5-1.00.500.51.01.5误差a）震级图9震级和震中距预测误差分布情况示意图Fig.9 Schematic diagram of the distribution of prediction errors of the magnitude and epicentral distance记录，建立了预测震级和震中距的模型。采用STEAD数据集里的美国加州地区的近场、浅源地震，划分训练集、验证集、测试集，经过训练后模型在测试集上实现了较为理想的预测结果，震级和震中距的决定系数分别为0.938 和0.8 8 1,预测误差近似服从高斯分布。同时，研究结果表明神经网络能够从P波到达后短暂时间内提取丰富的震级信息，但不足以充分提取震中距信息；基于震级和震中距智能预警技术以及更深层次的网络和更前沿的机器学习技术，实现震源深度预测、震源机制分类、震源定位、震相识别等任务还有待进一步研究。参考文献【1周彦文，刘希强，胡旭辉，等.早期地震预警方法研究现状及展望J.国际地震动态，2 0 0 8（5）：2 8-34.（ZHOUYW,LIUXQ,HU X H,et al.Current situation and prospects of the researchon the earthquake early warning systems J.Recent developmentsin world seismology,2008(5):28-34.)2 GUTENBERG B,RICHTER CF.Magnitude and energy of earth-quakesJ.Annals of geophysics,1956,9(1):1-15.3 WU Y M,ZHAO L.Magnitude estimation using the first threeseconds P-wave amplitude in earthquake early warningJ.Geo-physical research letters,2006,33(16):16312.1-16312.4.4 KANAMORI H.Real-time seismology and earthquake damagemitigation J.Annual review of earth and planetary sciences,2005,33(1):195-214.5 ODAKA T,ASHIYA K,TSUKADA S,et al.A new method ofquickly estimating epicentral distance and magnitude from a sin-gle seismic record J.Bulletin of the seismological society ofamerica,2003,93(1):526-532.6 RUMELHART D E,HINTON G E,WILLIAMSi R J.Learningrepresentations by back-propagating errorsJJ.Nature,1986,323(6088):533-536.7 KRIZHEVSKY A,SUTSKEVERI,HINTON GE.Imagenet clas-sification with deep convolutional neural networks J.Commu-葛康等：基于神经网络的震级和震中距预测研究-60-40-200204060误差/kmb)震中距nications of the ACM,2017,60(6):84-90.8HENDRYCKS D,GIMPEL K.Gaussian error linear units(GELUs)J.Eprint arXiv:1606.08415,2016:1-2.9HINTON G E,SRIVASTAVA N,KRIZHEVSKY A,et al.Improv-ing neural networks by preventing co-adaptation of feature detec-torsJ.arXiv preprint arXiv:1207.0580,2012:1-3.10ZHANG Y,YANG Q.An overview of multi-task learning J.National science review,2018,5(1):30-43.11KENDALL A,GAL Y,CIPOLLA R.Multi-task learning usinguncertainty to weigh losses for scene geometry and semanticsC/Proceedings of the IEEE conference on computer visionand pattern recognition,Salt Lake City,UT,USA:IEEE,2018:MET7482-7491.12MOUSAVI S M,SHENG Y,ZHU W,et al.Stanford earthquakedataset(STEAD):a global data set of seismic signals for AIJ.IEEE access,2019,7:179464-179476.13 杨黎薇，林国良，邱志刚，等.基于人工神经元网络和多特征参数的预警震级估算J.地震研究，2 0 18,41（2）：30 2-310.（YANGL W,LIN G L,QIU Z G,et al.Study on magnitude estimation ofearthquake early warning based on various characteristic parame-ters and artificial neural networksJ.Journal of seismological re-search,2018,41(2):302-310.)14 KAVIANPOUR P,KAVIANPOUR M,RAMEZANIA.Deep multi-scale dilated convolution neural network with attention mecha-nism:a novel method for earthquake magnitude classificationCJ/2022 8th Iranian Conference on Signal Processing and In-telligent Systems(ICSPIS).IEEE,2022:1-6.15GONZALES J,YU W,TELESCA L.Earthquake magnitude pre-diction using recurrent neural networks JJ.Multidisciplinary digi-tal publishing institute proceedings,2019,24(1):22.16MOUSAVI S M,ELLSWORTH W L,ZHU W,et al.Earthquaketransformer-an attentive deep-learning model for simultaneousearthquake detection and phase picking J.Nature communica-tions,2020,11(1):3952.其他作者：王琛，男，博士，主要从事土木工程智能计算研究工作。胡振中，男，副教授，博士，主要从事土木工程数字李生技术研究工作。73平均误差=-0.112.500平均绝对误差=8.0 4标准差=11.2 92.000数150010005000