重力异常AlexNet深度神经网络反演_刘彩云.pdf

第 37 卷第 1 期2023 年 2 月现代地质GEOSCIENCEVol.37No.1Feb.，2023DOI:10.19657/j.geoscience.1000 8527.2022.079重力异常 AlexNet 深度神经网络反演刘彩云1，李梦迪1，熊杰2，王蓉2(1.长江大学信息与数学学院，湖北 荆州434023;2.长江大学电子信息学院，湖北 荆州434023)收稿日期:2021-10-30;改回日期:2022-08-30。基金项目:国家自然科学基金项目(62273060，61673006)。作者简介:刘彩云，女，博士，副教授，硕士生导师，1975 年出生，地球探测与信息技术专业，主要从事重磁数据处理与解释、人工智能、小波分析方面的研究。Email:liucaiyun01 。通信简介:熊杰，男，博士，教授，硕士生导师，1975 年出生，地球探测与信息技术专业，主要从事地球物理反演理论、人工智能等方面的研究。Email:xiongjie 。摘要:针对传统反演方法存在的初始模型依赖、计算时间较长等问题，提出了一种新的基于 AlexNet 深度神经网络的重力异常反演方法。该方法首先借鉴经典的深度神经网络 AlexNet 设计了一种用于重力异常反演的 Alex 反演网络(AlexInv-Net)，接着设计大量密度异常体模型并通过正演计算得到带标签的数据集，然后用该数据集训练 AlexInvNet 网络，最后将重力异常数据输入训练好的 AlexInvNet 网络直接得到反演结果。理论模型反演结果表明，该方法相较于全连接网络深度学习反演方法，能够更好地反演出异常体的位置和密度，具有较好的泛化能力和抗噪声能力。实测数据反演结果表明，该方法能有效解决重力异常反演问题。关键词:重力异常;反演;深度神经网络;Alex 反演网络中图分类号:P631文献标志码:A文章编号:1000 8527(2023)01 0164 09Inversion of Gravity Anomaly Based on AlexNet Deep Neural NetworkLIU Caiyun1，LI Mengdi1，XIONG Jie2，WANG ong2(1.School of Information and Math，Yangtze University，Jingzhou，Hubei434023，China;2.School of Electronic Information，Yangtze University，Jingzhou，Hubei434023，China)Abstract:In order to solve the problems of traditional inversion methods，such as dependence of initial modeland long time for calculation，this paper proposes a noval gravity anomaly inversion method based on AlexNetdeep neural network This method designs an Alex inversion network(AlexInvNet)for gravity anomaly inver-sion inspired by classical deep neural network AlexNet firstly;constructs labeled datasets by forward modelingusing a large number of synthetic density models secondly;uses the dataset train the AlexInvNet thirdly;andfinally inputs the gravity anomaly data to the trained AlexInvNet to obtain the inversion result directly The in-version experimental results of synthetic models show that this method can invert the position and density ofanomaly body accurately，with good generalization and anti-noise ability，better than the full connected networkdeep learning inversion method The field data inversion result demonstrates that this method can solve gravityanomaly inversion problem effectivelyKey words:gravity anomaly;inversion;deep neural network;AlexInvNet0引言重力勘探是了解地下密度分布的重要手段，在矿产、石油以及环境勘探等领域有着广泛应用1。物性反演是常见的重力异常反演方法，该方法将地下空间剖分成特定尺寸的网格单元，通常采用线性迭代方法求解每个网格单元的物性参数2。由于线性迭代反演容易陷入局部极小值，全局寻优的反演方法受到广泛关注，蒙特卡罗(MC)3、模拟退火(SA)4、遗传算法(GA)5、人工神经网络(ANN)6、粒子群优化(PSO)7、差分进化8、蚁群优(ACO)9 等非线性方法，已被广泛应用于地球物理反演。然而，上述全局寻优方法只是注重数据拟合误差最小化而未能结合正则化方法，不能确保得到具有地质含义的反演结果。多目标粒子群优化算法10 可有效兼顾全局寻优和模型约束正则化反演问题，但存在计算时间过长的缺点。深度学习是人工智能领域近年来的研究热点，在计算机视觉和自然语言处理等领域得到了广泛的应用11。近年来，深度学习被引入到地球物理反演领域12，主要应用集中在地震反演13 22 和电磁反演23 31 领域，在重磁反演领域32 35 相对较少。全连接网络具有很强的表达能力，在重力异常反演方面取得了较好的应用，但如何设计更深、更复杂的网络结构值得进一步研究36。因此，本文提出一种基于 AlexNet37 深度神经网络的重力异常反演方法，以期获得更好的反演效果。1方法原理1.1正演将地下空间剖分为相同大小的二维棱柱体，设 P 点是地表观测点，如图 1 所示。图 1地下网格剖分及棱柱体重力异常计算示意图Fig.1Schematic diagram of underground grid divisionand gravity anomaly calculation of prism body地表 P 点重力异常按如下公式计算:d=Km(1)其中，m是各棱柱体密度组成的向量，K 是核矩阵，Kij表示地下第 j 个网格对地表第 i 个观测点的贡献，由下式计算:K=GAlnA2+D2A2+C2 BlnB2+D2B2+C22(CarctanAC arctan)BC+2(DarctanAD arctanB)D(2)其中，G 是重力常数，A=x xm，B=x xM，C=z zt，D=z zb。1.2反演反演是找到一个密度模型 m，使其对应的重力异常 Km 和观测值 d 拟合得最好;另外，为了克服多解性，引入模型约束项 m(m)，因此，反演目标函数定义如下:(m)=d Km2+m(m)(3)其中，是正则化因子。1.3AlexNet 深度神经网络AlexNet 是 Krizevsky 等37提出的一种经典的卷积神经网络(CNN)结构，该网络由 5 个全连接层、2 个池化层、3 个全连接层组成相对于传统的 CNN，AlexNet 具有以下优点:(1)采用 eLU非线性单元函数，避免了梯度消失等情况;(2)采用局部响应归一化，加快了网络的收敛性，提高了网络的泛化性能;(3)采用重叠池化的方式，使得相邻池化单元之间出现重叠，从而避免过拟合;(4)采用 Dropout，在前两个全连接层上使用 Dropout，以提高网络的泛化能力。2AlexInvNet 重力反演方法2.1反演流程受 AlexNet 启发，针对重力异常反演特性，本文提出了 AlexInvNet 深度神经网络重力异常反演方法，其主要流程如图 2 所示，共分为 3 个步骤:(1)通过大量正演得到数据集;(2)从 数 据 集 中 抽 取 数 据 训 练 AlexInvNet网络;(3)训练完毕后，将重力异常数据输入 Alex-InvNet 网络，输出反演结果。2.2AlexInvNet 网络结构本文提出的 AlexInvNet 网络由7 层构成，结构如图 3 所示，其中第层为卷积+池化层，第层为卷积层，第层为全连接层，具体网络结构参数如表 1 所示。2.3提高泛化能力训练 AlexInvNet 网络时，采用的数据集是成561第 1 期刘彩云等:重力异常 AlexNet 深度神经网络反演图 2AlexInvNet 重力异常反演流程图Fig.2Flow chart of gravity anomaly inversion using AlexInvNet图 3AlexInvNet 网络结构图Fig.3AlexInvNet network structure diagram表 1AlexInvNet 网络结构参数Table 1Parameters of AlexInvNet network structure类型卷积/池化核大小通道数 步长输入输出第层卷积1 11964池化1 3None21 10145 96第层卷积1 52561池化1 3None245 9620 256第层卷积1 3384120 25618 384第层卷积1 3384118 38416 384第层卷积1 32561池化1 3None216 3846 256第层全连接None1024None 6 2561 1024第层全连接None800None 1 10241 800对的数据(重力异常及其对应的密度模型)，训练结束后，AlexInvNet 能很好地学到重力异常到密度模型间的映射关系，如果输入学习过的重力异常，一般会准确地输出其对应的密度模型。然而，如果输入未学习过的重力异常，则未必会输出正确的密度模型。这种对于未学习过数据的推理能力被称为泛化能力。本方法采用两个措施提高泛化能力:(1)Dropout。Dropout 是随机的丢弃一部分神经元，将其权重设为0。通过 Dropout 机制，可以弱化网络对于已知数据的学习能力，抑制过拟合，从而提高泛化能力。本方法在第层全连接层中采用 Dropout。(2)神经网络权重衰减。神经网络权重衰减是指在正确反映重力异常到密度模型映射关系的前提下，神经网络权重参数尽可能小，从而限制整个网络的学习能力，提高泛化能力。本文在目标函数中加入神经网络权重衰减项。661现代地质2023 年2.4神经网络训练目标函数训练神经网络时，目标函数包括数据拟合项、模型恢复项和神经网络权重衰减约束项，如公式(4)所示:(m)=ad(m)+bm(m)+cw(4)其中，d(m)=d Km2是数据拟合项，d是已知的重力异常(训练集的数据)，m 是神经网络的输出(预测的密度模型)，K 是核矩阵，d(m)反 映 数 据 拟 合 的 好 坏;m(m)=m mtag2是模型恢复项，mtag是真实密度模型(训练集的标签)，m(m)反映预测密度模型恢复的好坏程度;w=2nni=1w2i是神经网络权重衰减约束项，是权重衰减系数，n 是神经元个数;a，b，c 是权重系数，反映三者间的相对重要程度。3合成数据反演实验3.1数据集和参数设置本文设计观测系统如下:地表 101 个观测点，观测点间距 10 m，地下空间按 20 40 剖分为 800个单元格，每个单元格 25 m 25 m。设计了7 种规则形状单一模型，通过在地下剖分空间移动这7 种单一模型，并为每个模型分别设置两种密度值(200 kg/m3、300 kg/m3)得到 5541 个密度模型，通过正演得到对应的重力异常数据，组成5541 组训练数据集。这7 种单一模型分别是 3 3(75 m 75 m)、4 4(100 m 100 m)、5 5(125m 125 m)、3 6(75 m 150 m)、6 3(150 m 75m)、4 8(100 m 200 m)、8 4(200 m 100 m)。训练 AlexInvNet 网络时相关参数如表 2 所示。表 2AlexInvNet 网络相关参数Table 2elated parameters for AlexInvNet network分类参数值数据集训练集4432测试集1109网络参数学习率1 103激活函数eLU优化器Adam10.01训练过程Epochs40000Batch size10003.2验证集反演结果分析使用表 2 中的参数训练 AlexInvNet，训练完成后从验证集中选取几组重力异常数据进行反演实图 4部分验证集反演结果Fig.4Inversion results of typical validate dataset761第 1 期刘彩云等:重力异常 AlexNet 深度神经网络反演验，其中 3 个模型的反演结果如图 4(a)(c)所示，将其与全连接深度神经网络反演结果(图 4(d)(f)36 进行对比。从图 4 可以看出，相比全连接深度神经网络，AlexInvNet 的反演结果位置和形状更加准确。3.3泛化结果分析本文设计 6 种复杂的模型，其对应的重力异常数据不参与网络训练，检验 AlexInvNet 网络的泛化能力，反演结果如图 5(a)(f)所示。从图5(a)(f)可以看出，虽然模型的重力异常数据 AlexInvNet 没有学习过，但仍然可以非常准确地反演出异常体的位置和密度值。图 5(g)(i)是全连接深度网络的反演结果36，对比图 5(d)(f)和图 5(g)(i)可以看出，本方法的反演结果优于文献 36的结果。值得指出的是，图5(c)和(e)中，虽然模型恢复得较好，但数据拟合误差较大，这是因为基于深度学习的反演方法不仅考虑数据拟合的好坏，而且兼顾模型恢复(反演结果)的好坏(参见公式(3)所示的反演目标函数)，有时候会牺牲数据拟合的精度，优先保障模型准确恢复(在后面的图 6(a)、图 7(d)和(e)中能看到类似的现象)。图 5复杂模型泛化能力测试结果Fig.5Inversion results of generation tests of complex models861现代地质2023 年图 6不同密度参数得到的重力异常反演结果Fig.6Inversion results of gravity anomaly with different density parameters图 7叠加 5%和 10%高斯白噪声重力异常反演结果Fig.7Inversion results of gravity anomaly added 5%and 10%Gaussian white noises961第 1 期刘彩云等:重力异常 AlexNet 深度神经网络反演图 8圣尼古拉斯硫化物铜锌矿区剩余重力数据1 Fig.8Gravity anomaly of San Nicolas massive sulfide copper-zinc deposit1 为了进一步测试本方法的泛化能力，设计未学习过的异常体密度值(100、500、1000 km/m3)进行反演实验，并与文献 36对比，反演结果如图 6所示。从图 6 可以看出，对于未学习过密度值的重力数据，AlexInvNet 能更加准确地反演出异常体的位置、形状和密度值。3.4抗噪声能力分析为分析本方法的抗噪声能力，本文采用上节中设计的 3 种复杂模型(图 7 中白框模型)，对应的重力异常数据分别叠加 5%和 10%的高斯白噪声，反演结果分别如图 7 所示。从图 7 可以看出，反演结果受噪声影响较小。虽然对于密度值的估计有一定偏差，但能基本准确地反演出异常体的位置、形状，说明本方法具有较好的抗噪声能力。4实测资料处理为了验证本方法的实用性，本文选用墨西哥萨卡特卡斯州圣尼古拉斯硫化物铜锌矿区重力数据，来进行重力异常反演实验。已知该区域的地下地质体以铁、镁、长英质的火山岩为主，与围岩密度(2.8 g/cm3)相比，块状硫化物表现为高密度(4.3g/cm3)1，该区域剩余重力异常如图 8 所示。对图 8 中测线 a(N=600 m)处的重力异常数据，采用本文 AlexInvNet 网络进行反演实验。测线 a 重力异常采样点数为 25，采用插值将采样点图 9圣尼古拉斯硫化物铜锌矿区重力数据(N=600 m)处的反演结果Fig.9Inversion results of the gravity anomaly of San Nicolasmassive sulfide copper-zinc deposit(N=600 m)加密到 101，输入到训练好的网络进行实测资料反演，结果如图 9 所示。其中图 9(a)是本文反演结果，异常体位置和形状如白色线框所示;图 9(b)是李泽林等1 采用约束 Lp 范数的反演结果，实际071现代地质2023 年模型的位置和形状如黑色线框所示。从图 9(a)的反演结果可以看出，重力异常数据总体上拟合较好，反演出来的密度模型的位置和深度也几乎与真实模型相似，与图 9(b)反演结果相比异常体形态更加收敛。实验结果表明本文AlexInvNet 重力异常反演的方法，可有效用于实测重力资料反演。5结论本文提出了基于 AlexNet 深度神经网络的重力异常反演方法，该方法首先设计了用于重力异常反演的 Alex 反演网络(AlexInvNet)，接着设计大量密度异常体模型并通过正演计算得到带标签的数据集，然后用该数据集训练 AlexInvNet 网络，最后将重力异常数据输入训练好的 AlexInvNet 网络直接得到反演结果。实验结果表明，该方法能够更好地反演出异常体的位置和密度，具有较好泛化能力和抗噪声能力，能有效解决重力异常反演问题。深度神经网络在重力反演方面已经得到了初步的应用，下一步将围绕如何设计更优的网络结构解决三维重力反演问题和联合反演问题等方面开展工作。参考文献:1 李泽林，姚长利，郑元满 基于 Lp 范数稀疏优化算法的重力三维反演 J 地球物理学报，2019，62(10):3699 3709 2HU Z L，LIU S，HU X Y，et al Inversion of magnetic data usingdeep neural networks J Physics of the Earth and Planetary In-teriors，2021，311:106653 3WEI C，LI X F，ZHEN X D The group search based parallel al-gorithm for the serial Monte Carlo inversion method J AppliedGeophysics，2010，7(2):127 134 4于鹏，王家林，吴健生二度半长方体组合模型的重力模拟退火反演 J 地球物理学报，2007，50(3):882 889 5万玲，林婷婷，林君，等基于自适应遗传算法的 MS-TEM 联合反演方法研究 J 地球物理学报，2013，56(11):3728 3740 6 朱凯光，林君，韩悦慧，等 基于神经网络的时间域直升机电磁数据电导率深度成像 J 地球物理学报，2010，53(3):743 750 7熊杰，刘彩云，邹长春基于粒子群优化算法的感应测井反演 J 物探与化探，2013，37(6):1141 1145 8熊杰，孟小红，刘彩云，等基于差分进化的大地电磁反演 J 物探与化探，2012，36(3):448 451 9刘双，刘天佑，冯杰，等蚁群算法在磁测资料反演解释中的应用 J 物探与化探，2013，37(1):150 154 10 XIONG J，ZHANG T Multiobjective particle swarm inversion al-gorithm for two-dimensional magnetic data J Applied Geo-physics，2015，12(2):127 136 11 张荣，李伟平，莫同深度学习研究综述 J信息与控制，2018，47(4):385 397，410 12 王昊，严加永，付光明，等深度学习在地球物理中的应用现状与前景 J 地球物理学进展，2020，35(2):642 655 13 LI S C，LIU B，EN Y X，et al Deep-learning inversion of seis-mic data J IEEE Transactions on Geoscience and emoteSensing，2020，58(3):2135 2149 14 WU B，MENG D，WANG L，et al Seismic impedance inversionusing fully convolutional residual network and transfer learningJ IEEE Geoscience and emote Sensing Letters，2020，17(12):2140 2144 15 杨庭威，曹丹平，杜南樵，等基于深度学习的接收函数横波速度预测 J地球物理学报，2022，65(1):214 226 16 伊小蝶，吴帮玉，孟德林，等数据增广和主动学习在波阻抗反演中的应用 J石油地球物理勘探，2021，56(4):707 715 17 王德涛，陈国雄基于时间卷积网络的地震波阻抗反演J 地球科学，2022，47(4):1492 1506 18 奚先，黄江清基于卷积神经网络的地震偏移剖面中散射体的定位和成像 J 地球物理学报，2020，63(2):684 714 19 WANG W Q，WANG Q，LU W K Physics-constrained seismicimpedance inversion based on deep learning J IEEE Geosci-ence and emote Sensing Letters，2022，19:7503305 20 WU B Y，MENG D L，ZHAO H X Semi-supervised learning forseismic impedance inversion using generative adversarial networksJ emote Sensing，2021，13(5):909 21 HUANG J Y，NOWACK L Machine learning using U-net con-volutional neural networks for the imaging of sparse seismic dataJ Pure and Applied Geophysics，2020，177(6):2685 2700 22 ALFAAJ M，ALEGIB GSemisupervised sequence model-ing for elastic impedance inversion J Interpretation，2019，7(3):SE237 SE249 23 王鹤，刘威，席振铢基于深度置信网络的大地电磁非线性反演 J 中南大学学报，2019，26(9):2482 2494 24 WU S H，HUANG Q H，ZHAO L Convolutional neural networkinversion of airborne transient electromagnetic data J Geo-physical Prospecting，2021，69(8):1761 1772 25 LIU Z G，CHEN H，EN Z Y，et al Deep learning audiomagne-totellurics inversion using residual-based deep convolution neuralnetwork JJournal of Applied Geophysics，2021，188:104309 26 MOQHADAS D One-dimensional deep learning inversion of elec-tromagnetic induction data using convolutional neural networkJ Geophysical Journal International，2020，222(1):247 171第 1 期刘彩云等:重力异常 AlexNet 深度神经网络反演259 27 NOH K，YOON D，BYUN BImaging subsurface resistivitystructure from airborne electromagnetic induction data using deepneural network J Exploration Geophysics，2019，51(2):214 220 28 WANG H，LIU Y H，YIN C C，et al Stochastic inversion ofmagnetotelluric data using deep reinforcement learning J Geo-physics，2021，87(1):E49 E61 29 GUO，YAO H M，LI M K，et al Joint inversion of audio-mag-netotelluric and seismic travel time data with deep learning con-straint J IEEE Transactions on Geoscience and emote Sens-ing，2021，59(9):7982 7995 30 LIU W，XI Z Z，WANG H，et al Two dimensional deep learninginversion of magnetotelluric sounding data J Journal of Geo-physics and Engineering，2021，18(5):627 641 31 PUZYEV V，SWIDINSKY A Inversion of 1D frequency-andtime-domain electromagnetic data with convolutional neural net-works J Computer and Geosciences，2021，149:104681 32 张志厚，廖晓龙，曹云勇，等基于深度学习的重力异常与重力梯度异常联合反演 J地球物理学报，2021，64(4):1435 1452 33 ZHANG L Z，ZHANG G B，LIU Y，et al Deep learning for 3-Dinversion of gravity data J IEEE Transactions on Geoscienceand emote Sensing，2022，60:5905919 34 YANG Q G，HU X Y，LIU S，et al 3-D gravity inversion basedon deep convolution neural networks J IEEE Geoscience andemote Sensing Letters，2021，19:3001305 35 薛瑞洁，熊杰，张月，等基于卷积神经网络的磁异常反演 J 现代地质，2023，37(1):194 209 36 王蓉，熊杰，刘倩，等基于深度神经网络的重力异常反演 J 物探与化探，2022，46(2):451 458 37 KIZHEVSKY A，SUTSKEVE I，HINTON G EImagenetclassification with deep convolutional neural networks M/Advances in Neural Information Processing Systems 25NIPS，2012:1097 1105271现代地质2023 年