物探数据在线处理平台算法集成技术研究.pdf

第 69 卷增刊 1Vol.69Supp.12023 年6 月Jun.,2023地质论评GEOLOGICALREVIEW349物探数据在线处理平台算法集成技术研究一陈旭彤1)，张盛2)，张明华3)，陈召曦1)1)中国地质大学（北京），北京，100083；2)中国地质调查局自然资源综合调查指挥中心，北京，100055；3)中国地质调查局发展研究中心，100037注：本文为“图文数一体化地学知识图谱构建与应用”基金资助项目（编号 42050105）的成果。收稿日期：2023-04-10；改回日期：2023-04-30；责任编辑：刘志强。DOI：10.16509/j.georeview.2023.s1.156作者简介：陈旭彤，女，1999 年生，硕士，资源与环境专业；Email：。关键词：关键词：云计算；WPS；接口标准；算法集成地球物理软件是学习和研究地球物理的必要工具。现有的地球物理软件解决了常规数据处理和可视化需求，但在多源地质大数据综合应用方面依然存在问题。而“云化”可以更好地实现团队远程协作，优化软件计算性能，提高数据处理效率，是解决现有问题的方法之一，RGIS.online 是 RGIS 的云化产物，实现了“云+端”数据处理模式，同时为用户提供云端和本地服务，但算法集成和更新维护方面较为复杂，为此，本研究参照 OGC WPS 标准和现有 WPS 及 RPC 相关实现框架，结合地质调查数据处理工具特点，制定了面向地质调查数据处理算法集成的统一通用接口模型标准，实现了云上数据处理算法的简单高效统一集成，将为在线数据处理用户的业务工作提供丰富的数据处理功能服务。1云平台处理系统1.1地质调查数据处理软件二十大报告提出建设数字中国，加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群。这其中数据是新要素，渗透到行业内各个业务环节的专业软件承载着专业数据能力和服务能力。地球物理软件是地球物理探测过程中数据质量控制、数据处理、数据成图、地质解译等不可或缺的工具，也是提高工作效率、增强市场竞争力的有力保证。随着信息技术的发展，地质调查数据处理软件经历了多次升级。在地质调查软件开发初期，主要是利用计算机辅助专业数据计算，有效提高了地质调查相关工作的效率。之后形成了集成化的综合性软件产品，如 Geosoft Oasis、RGIS、Geoprobe 等，并成为了行业应用主流。RGIS 软件是 2006 年中国地质调查局发展研究中心研发的基于 MapInfo 二次开发技术和 Windows平台的一套地面重、磁、电数据处理及反演系统，它利用 VB、VC 语言和混合语言编程技术与 OLE集成技术，集成物探专业数据库和数据处理程序模块。该系统兼容多种数据格式和数据库，能够实现基于 GIS 的空间数据集和图形管理，数据投影转换和预处理，重、磁、电数据处理及转换，重、磁异常二、三维正反演解释，图件制作和输出等（何虎军等，2008）。在国内地矿、石油、煤炭等行业得到广泛的推广应用，收到业内人士的广泛好评。地质调查专业数据处理软件是科研及业务人员在生产实践中总结出来的最重要的智力成果之一。随着当前地质调查数据治理水平重要性的提升，专业软件算法治理的重要性也同步提升。研发基于云平台的地质调查数据处理系统，是地质调查行业面向数字化转型的重要方面（张志伟，2020）。1.2云化软件现有问题随着云计算、大数据、物联网等信息技术的到来，地球物理数据处理面临着多源异构海量数据处理需求，地球物理数据逐步走向了云端在线化应用。为解决云端地球物理数据处理分析需求，基于RGIS 原有研发基础，研发团队于 2016 年启动了软件云化研究并基本形成完整可行的云计算平台技术解决方案（包括数据可视化、算法集成、数据存储、并发请求等）。并于 2019 年开始了第一版云端地球物理数据处理软件架构设计与研发。云端物探数据处理软件是一个部署在云计算平台的数据处地质论评 2023 年 69 卷 增刊 1350理系统，采用微服务体系结构，基于 Java、Html、JavaScript 语言编写，实现了多源数据管理、算法模块管理、用户管理、日志管理、综合分析应用等功能模块。2020 年，在完善系统数据处理功能之上；集成地质云网盘、地质云用户等资源，逐步融入地调在线在线应用技术体系。长期以来地球物理科研工作和生产脱节，科研院所研究成果止步于论文发表，缺乏有效途径使其进入生产环节；生产单位人员自身很难跟踪到前沿技术，也缺乏有效途径获取最新方法技术，生产工作中遇到的问题也没有足够的能力去应对。方法技术和数据交流通道不畅阻碍了我国地球物理行业发展。因此地球物理平台作为云平台，需要能够进一步满足集成的功能，以允许用户在平台上使用需要的或第三方开发的功能，从而使平台具有良好的维护性和扩展性，增强平台的生命力。从云平台的发展趋势看，统一的服务集成功能是地球物理数据处理平台发展的必然需求。2算法集成接口2.1接口定义参考为简化云端数据处理算法集成开发过程，作者参 照 OGC WPS 标 准 和 现 有 WPS 实 现 框 架（52North，pywps，ZOO-project 等），结合地质调查数据处理工具特点，在前期地调在线系统、物探数据处理模块、化探数据处理模块、频率谐振云平台数据处理等系统的开发与应用实践上，充分研究地质调查数据处理算法类型、处理对象、参数特点、用户习惯、处理时限等特征，制定了适合于地质调查数据处理算法集成的统一通用数据处理接口模型，为后续云端数据处理算法治理和便捷集成提供支撑。2.2接口参数标准数据处理算法集成模块基于高效成熟的云平台环境，实现云上数据处理算法的统一集成，为地调在线用户的业务工作提供丰富的数据处理功能服务。系统基于面向服务的体系架构思想（SOA），引入最新的微服务架构体系，将各部分功能以服务的方式进行结合，通过统一标准的接口和契约规则联系起来，实现松耦合，方便地调在线平台功能的动态扩展和热插件配置；在部署上可以方便快速的进行本地和云端的服务部署。结合地球物理数据处理特点，算法接口主要定义包含两个方面：请求参数及返回参数，请求参数依照 OGC WPS 的接口标准，统一为 REQUEST=GetCapbilities/DescribeProcess/Excute 三个形式，接口返回的基本信息表示例如下（表 1，表 2）。表 1GetCapbilities 请求返回参数参数名含义Version算法服务版本号Identification算法服务标识符Provider服务提供者Processoffering具体算法标识号、算法名称、算法介绍、算法版本表 2DescribeProcess 输入参数定义参数名含义Name参数名称Text显示文字Type参数类型Default参数默认值*min可选项，int 或 float 时最小值*max可选项，int 或 float 时最大值*step可选项，int 或 float 时步长*precision可选项，int 或 float 时数值精度*ftype可选项，参数为 file 时文件类型*enumlistEnum 时的必填项3集成模块开发云端数据处理系统采用了微服务架构，后端主要基于 Spring Cloud 框架，前端主要使用 Vue、jQuery、ajax 等技术，数据存储主要使用 IndexedDB将本地数据存入浏览器本地目录，实现基于 OGCWPS 计算服务设定标准下的算法服务集成，通过定义符合地球物理数据的接口标准，实现算法的读取、展示及使用（Milkov,2018）。算法集成主要涉及到应用层模块定义、服务层算法模板以及数据层存储，应用层模块定义主要涉及基于现有代码的使用和重构，当前架构基于云平台。数据层主要分为第三方数据、平台数据及本地数据，第三方数据存储主要依赖于第三方服务端的数据库设置，浏览器端使用存储方式为 IndexedDB数据库存储，以特定的json格式存储在浏览器本地目录，应用层调用及展示需要从浏览器本地读取。平台服务端采用开源的成熟关系型数据库 Postgresql 数据库存储用户信息、算法信息、成果共享数据，采用地质论评 2023 年 69 卷 增刊 1351文件系统存储数据处理算法程序（图 1）。服务层在应用中主要通过第三方服务器开发，按照规定的标准化接口，使用多种语言包括python、kotlin、java 等均可，应用层通过 ajax 访问接口可以获取算法服务的整体信息，该信息用于体现算法服务的提供者及版权所在；可提供针对于某个点击动作对应算法的参数需求，以 json 格式返回；可提供针对某个算法的计算请求，由第三方服务端计算并返回，第三方服务端采用反射机制动态加载及卸载处理过程，其他服务信息通过配置文件或其对应数据库获取。应用层主要基于 Vue 架构，对现有的云计算平台进行优化，由一对一的前端框架优化为一对多的框 架，服 务 端 的 访 问 通 过 URL 拼 参 实 现（Wong-Loya,2012），拼参标准遵循本课题设计的标准接口规范，由此针对第三方算法服务中的各个算法提供特定的参数窗口并发送执行请求。针对由第三方算法服务返回的计算结果，存入浏览器端本地目录，并提供可视化及其他二次算法请求，该功能涉及云计算平台的算法程序使用。通过代码填充了上中下构造的 container 并填充默认 url 示例，通过 axios 访问对应 url 的算法服务信息。后端模拟了接口标准下的接口示范，主要通过动态加载和卸载处理过程，拼接数据处理模块名，处理后动态卸载（图 2）。4总结为简化地球物理云端数据处理算法集成开发工作，本文在参考 OGC WPS 计算接口标准集成上，结合地球物理数据处理方法特点，设计了一套算法集成接口规范，定义了算法服务统一接口的参数和模板，便于用户进行自定义的算法集成，扩展了云平台的边界。数据处理算法集成充分利用现有云端数据处理平台服务治理组件实现数据处理算法服务的注册、服务发现。通过制定统一的页面渲染参数模板实现数据处理参数的动态解析，实现数据处理功能 UI 界面的无代码化集成应用，简化了数据处理算法集成开发工作。为后续多平台数据处理算法规模化集成应用提供技术支撑。参考文献/References何虎军,杨兴科,杨本生,晁会霞,李艳阳,刘联群.2008.基于 CAD 和“3S”的数字化地质填图.地质论评,54(3):427432.张志伟.2020.国内外岩芯数字化信息发布平台建设进展.地质论评，66(2):493498.Milkov A V.2018.Secondary microbial gas.In:Wilkes,H.(Ed.),Hydrocarbons,Oils and Lipids:Diversity,Origin,Chemistry and Fate.Handbook of Hydrocarbon and Lipid Microbiology.Springer,Cham.,110.Wong-Loya J A,Andaverde J,Santoyo E.2012.A new practical method forthe determination of static formation temperatures in geothermal andpetroleumwellsusinganumericalmethodbasedonrationalpolynomial functions.J.Geophys.Eng.,9:711728.CHEN Xutong,ZHANG Sheng ZHANG Minghua,CHENZhaoxi：Research on algorithm integration technology ofgeophysical data online processing platformKeywords:cloud computing;WPS;interface standards;algorithm integration图 1 算法集成架构地质论评 2023 年 69 卷 增刊 1352图 2 数据处理算法集成应用界面