基于分布式架构的时空大数据管理系统设计与实现.pdf

基于分布式架构的时空大数据管理系统设计与实现王黎升（中科星图股份有限公司，北京 101300）摘 要：随着对地观测、物联网、互联网及大数据技术的快速发展，如何高效地汇聚、管理、浏览、查询时空大数据成为地理信息行业亟待解决的难题之一。针对合肥市新增及历史存档的海量时空数据缺乏有效处理、质检与管理方法的问题，本文研究设计并实现了基于分布式架构的时空大数据管理系统，实现时空大数据的动态获取；进而对满足要求的数据进行编辑与处理，统一数据的格式与坐标系；并在数据入库前进行前置校验；通过各类工具实现数据的浏览与管理。实验结果显示，该系统能够显著提高时空大数据处理能力，系统的响应速度和稳定性均得到了较大的提升，适用于海量、多源、异构的复杂数据管理领域。关键词：分布式架构；时空大数据；数据管理系统；系统设计中图分类号：P208；TP311.13 文献标志码：A 文章编号：2097-1001（2023）04-0060-070 引言时空大数据1的概念伴随大数据的概念而产生，不同的学者、机构对时空大数据的定义存在不同的结论。在李德仁院士的描述中，大数据中大量与时空位置有关的数据就是时空大数据；对时空大数据而言，王家耀院士的观点是大数据与时空数据的融合；百度研究院认为，时空大数据是相对于时间和空间具有关联的数据。从有关学者、专家的结论看，具备时间和空间两类特征的大数据便可视作时空大数据1。随着智慧城市建设的不断发展，时空大数据、云计算、物联网等信息技术的应用也更加深入，相应的数据类型、数据量和复杂程度均不断变化。如何高效地加载处理高并发、大内存的时空大数据，提升系统的响应速度、稳定性和数据处理效率，是当前时空大数据管理研究的难点和重点。针对上述问题，研究人员提出了众多存储管理技术与产品，美国环境系统研究所公司（Environmental Systems Research Institute，Inc.，ESRI）发 布 的ArcGIS Server 最具代表性，主要用于企业级地理信 息 系 统（geographic information system，GIS）应用和服务，可实现高性能、集中管理、支持多用户的空间数据管理、编辑和空间分析等功能2。随着技术的开源及 Hadoop 架构的产生，强大的数据吞吐能力和高性能的分布式数据库为巨量空间数据的存储、管理带来新的解决方法3。国内分布式大数据管理系统方面的研究也在不断发展，中国地质大学王晓蕊等人在 2014 年研究了基于非结构化查询语言（not only structured query language，NoSQL）的高分辨率遥感影像存储模型，主要研究内容包括遥感影像数据元数据库、遥感影像金字塔及影像数据库等。研究结果表明，非关系型收稿日期：2022-11-21；修回日期：2023-03-25作者简介：王黎升（1978），男，高级工程师，主要从事 GIS 开发和应用工作。E-mail：第 4 期2023 年 8 月自然资源信息化Natural Resources Informatization No.4Aug.,2023 61王黎升：基于分布式架构的时空大数据管理系统设计与实现第 4 期数据库与传统数据库在遥感影像数据的读写和提取方面存在显著差异，可存储和管理海量的遥感影像数据4。基于联邦式共享平台集成测量的中国科学院数据云，实现 58 家单位数据资源的整合，整合与共享的数据资源达到 52 PB5。本文基于分布式架构设计并实现了一种时空大数据管理系统，用于时空大数据的动态获取和管理。该系统主要由数据动态获取、数据转换与处理、数据质检与入库、数据浏览与管理、系统配置管理及时空数据挖掘组成，满足多源异构大数据的分布存储、协同计算和综合管理6。1 系统整体设计针对时空大数据的海量、多源、异构特征，结合实际数据类型和应用需求，系统框架设计如图 1 所示，包括时空大数据层、GIS 服务引擎层、数据管理层、数据服务层 4 个层次。图 1 时空大数据管理系统架构（1）时空大数据层。数据库为 GEOVIS iBest DB，数据包括基础时空数据、公共专题数据、动态感知数据、现状数据、规划数据、管理数据六大类。基础时空数据主要包括矢量数据、影像数据、高程模型数据、地理实体数据、地名地址数据、三维模型、新型测绘产品数据及其元数据。公共专题数据主要包括人口数据、经济数据、社会数据、民生兴趣点数据、地理国情普查与监测数据及其元数据。动态感知数据主要包括物联网实时感知数据和互联网在线抓取数据。现状数据主要包括地质环境、土地利用、矿产资源等数据。规划数据主要包括规划红线、土地规划、矿产规划、地质灾害规划等数据。管理数据主要包括地政数据、矿政管理、测绘地理信息管理、综合管理、专题管理、辅助管理等数据。（2）GIS 服务引擎层。该层基于服务器集群技术提高计算速度，保障系统稳定性，GIS 服务引擎采用了国内主流的 GEOVIS iCenter 和 SuperMap?GEOVIS iBest DBGEOVIS iCenter?2?Supermap iServer?1?GeoServer?2?WMS WMTS WFS?RESTRESTRESTRESTREST?GIS?62自然资源信息化2023 年 8 月iServer 两 类 产 品 与 开 源 市 场 的 GeoServer。GEOVIS iCenter 的分布式切片、瓦片紧凑型存储以及三维模型格式转换功能更加强大。SuperMap iServer 的矢量数据符号化功能更加强大，主要承载电子地图类服务。GeoServer 在矢量切片技术方面更有优势，承载地理实体的各类矢量数据。（3）数据管理层。该层主要提供全流程的数据整理与数据管理处理工具，包括基于 GDAL 的坐标转换、数据拼接、数据裁剪等遵循地理实体空间身份编码规则的赋码工具，各类三维模型数据（OBJ、OSGB、FBX 等）向 OGC 3DTiles 格式转换的模型转换工具，自定义扩展的空间数据属性完整性、值域、空间拓扑关系的质检工具。（4）数据服务层。该层旨在提供各类标准服务接口，包括网络地图服务（web map service，WMS）、网络地图瓦片服务（web map tile service，WMTS）、网 络 要 素 服 务（web feature service，WFS）、三维模型服务（3DTiles）等满足开放式地理信息系统协会（Open GIS Consortium，OGC）标准的地图服务。在元数据管理、数据下载、数据更新方面采用目前主流的表述性状态转移应用程 序 接 口（representational state transfer application programming interface，RestFul API），在空间分析方面采用 PostGIS 空间数据库提供的相交、包含、擦除、交集取反等各类空间分析 API。2 系统详细设计2.1 数据动态获取系统建立动态数据汇聚引擎，实现资源定义、网页解析、任务管理和运行监测功能。在线抓取各类城市运行的时空数据，实现数据动态接收和信息补充，动态累积时空大数据库，支撑数据校验和信息更新。动态数据汇聚引擎主要对分散在各部门的数据进行汇聚，形成时空大数据的来源。汇聚的形式包括定期拷贝、数据交换、网络接入等，汇聚后的原始数据包括数据库、GIS 图层、文档、表格、多媒体等。2.2 数据转换与处理数据转换与处理主要包括数据转换和数据处理两个主要模块。其中，数据转换主要对满足数据质量检测要求的数据进行转换，实现多源异构数据的转换处理，包括格式转换、坐标转换、数据拼接、数据裁剪。数据处理主要针对二维数据、三维数据、地理实体等多源数据，为数据统一入库管理提供基本的数据处理工具，包括通用数据处理工具、地理实体处理工具（实体数据标准管理、实体融合提取、实体编码等）、三维数据处理工具（三维模型处理、不规则三角网地形处理、倾斜摄影处理、点云数据处理等）。将统一格式后的数据进行坐标转换，统一所有数据的坐标系统，便于数据提取、交换、分析。支持数据的不同坐标系转换或相同坐标系下的投影转换。格式转换将天地图切片数据格式、百度地图切片数据格式或其他平台的地图切片数据格式转换为用户地理信息软件支持的地图服务切片格式，并发布地图服务。坐标转换主要实现不同坐标系的动态转换功能，支持投影转换实现同一椭球体的坐标转换和不同椭球体的坐标转换。不同椭球体的坐标转换采用 7 参数法实现精确转换，系统提供转换参数配置功能，同时支持批量投影转换。利用已有的坐标转换软件及转换参数将空间数据坐标统一转换为 2000 国家大地坐标系（China Geodetic Coordinate System 2000，CGCS2000）。数据拼接在数据整合过程中，对标准图幅、不同行政区、不同任务区数据的同名图层进行批量拼接，待拼接数据的属性结构须保持相同。数据裁剪可实现图层的任意裁剪，并支持按图幅、行政区或其他任意范围对图层进行批量裁切，同时也支持矢量和栅格数据的裁切。63王黎升：基于分布式架构的时空大数据管理系统设计与实现第 4 期2.3 数据质检与入库数据质检对入库数据进行前置校验，对几何错误、拓扑错误、一致性、完整性和图层、字段、值域进行检查，保障数据满足时空大数据入库 要求。数据质检通过数据质检软件结合人工交互方式对数学基础（坐标参考、比例尺等）的正确性、元数据的规范性、数据类型的齐全性、数据内容（数据要素、数据库结构、数据内容等）的完整性、数据逻辑的一致性、空间数据分层的规范性、文件数据目录的正确性、数据格式的规范性、同层数据几何拓扑关系的正确性、层间数据几何拓扑关系的正确性等进行检查。数据入库主要通过建立数据库完成基础时空数据、公共专题数据、物联网实时感知数据、互联网在线抓取数据及文档数据资源的入库。时空大数据数据库设定时空大数据入库的具体标准，并遵循 OGC 规范的地理空间信息服务。数据库具体包括基础底图数据库、智能感知数据库、公共专题数据库和公共规划数据库，如图 2所示。其中，空间数据和非空间数据分开存储，通过相关特征进行关联和体现，实现数据之间的动态互访。非空间数据通过关系型数据库存储，数据之间通过规则表和关系表实现相互关联、约束和互访。2.4 数据浏览与管理数据浏览与管理主要浏览查看时空大数据数据库的数据资源，通过地图浏览工具、距离和面积量测工具和数据目录浏览、要素对比浏览、底图与格网叠加浏览等多种方式直观地查看数据，其框架如图 3 所示。该模块实现地图浏览工具，包括放大、缩小、前视图、后视图、固定放大、固定缩小、平移、全图、刷新等功能，在地图显示窗口实现交互 展示。图 2 数据库框架设计图 3 数据浏览与管理框架数据管理提供统一的目录管理、数据管理、元数据管理、地图管理、共享管理等工具。地图浏览工具主要实现二、三维地图的浏览功能，属于地图操作的基本功能，并根据用户使用习惯提供放大、缩小、前视图、后视图、固定放大、固定缩小、平移、全图、刷新等功能，此外，还可在地图显示窗口实现交互展示。量测工具作为数据浏览过程中使用频率较高的基础工具，主要通过在地图窗口绘制线段或多边形，实现多节点线段之间距离和不规则多边形面积的量测功能。数据目录浏览对大数据管理系统已入库数据进行统一的目录展示，实现目录的增加、删除、修改、查询等管理并建立索引。要素对比浏览通过分屏显示、上下卷帘、左右卷帘等方式，查看指定图层、区域某时?64自然资源信息化2023 年 8 月间段的数据变化情况，实现时空数据联动对比展示。同时，可实现增加、删除、修改要素的标注功能，并支持查看要素属性。底图与格网叠加浏览主要实现多种类型底图叠加浏览，包括矢量、地形和影像等电子地图，可选择切换及浏览不同底图。2.5 系统配置管理系统配置管理主要实现基本配置工具，涉及系统数据字典配置、显示底图配置、坐标转换方法配置，实现时空大数据存储目录、数据库、数据资源模型相关管理，时空大数据管理系统操作日志管理，时空大数据库操作日志管理，其框架如图 4 所示。图 4 系统配置管理框架2.6 时空大数据挖掘时空大数据挖掘主要针对二维数据、三维数据、地理实体等多源数据，通过开发相关工具，实现数据清洗融合及深层次的指标分析、模型分析等功能7，从而挖掘数据的深层次应用价值。时空大数据挖掘主要包括数据清洗融合、指标管理、模型管理及任务日志等功能。3 实验结果与分析本次实验以控制变量法设计对比实验，对比对象是较代表性的 ArcGIS Server，通过相同的软硬件配置搭建以 ArcGIS Server 10.2 版本为核心的数据管理系统。实验主要从系统响应速度8、系统稳定性和影像切片功能 3 个方面进行测试。3.1 运行环境系统硬件运行环境包括由 5 台应用服务器搭建的分布式集群，应用服务器承载的分布式存储和计算架构如图 5 所示。?分布式集群包括 2 台安装 GEOVIS iCenter 的服务器、1 台安装 Supermap iServer 的服务器和 2台安装 GeoServer 的服务器，服务器参数如表 1 所示。安装 GEOVIS iCenter 的服务器主要负责处理数字高程模型（digital elevation model，DEM）、数字表面模型（digital surface model，DSM）、数字正射影像图（digital orthophoto map，DOM）、Geodata Analyse 1Geodata Analyse 2?GEOVIS iCenter 1GEOVIS iCenter 2?OGC?GeoServer 1GeoServer 2GeoData 1GeoData 2?Supermap iServer 1SupermapiServer 2?图 5 服务器集群架构倾斜摄影、激光点云、矢量白模等数据。安装Supermap iServer 的服务器，主要负责处理数字线化图、地理国情普查专题数据、暗色系电子地图、政务版电子地图。安装 GeoServer 的服务器，主要负责处理行政区划地理单元、建筑物实体、交通实体、水系实体等数据。系统运行软件环境如表 2所示。65王黎升：基于分布式架构的时空大数据管理系统设计与实现第 4 期表 1 服务器参数表名称数量配置参数应用服务器2处理器内存硬盘16 核处理器、主频 2.4 GHz 128 GB4 块，每块容量为 1.2 TB应用服务器2处理器内存硬盘16 核处理器、主频 2.9 GHz 64 GB3 块，每块容量为 1.2 TB应用服务器1处理器内存硬盘16 核处理器、主频 2.4 GHz 64 GB2 块，每块容量为 1.2 TB按幅切片，自动切片发布、服务分发，其影像切片处理效率优于以ArcGIS Server为核心的管理系统效率。4 结束语本文基于分布式架构设计并实现了一种时空大数据管理系统，实现多源异构时空大数据的动态获取；对数据格式、坐标进行转换处理，实现所有数据坐标系的统一；并对数据质量进行前置校验，保障数据的完整性和一致性，最终实现时空大数据的分布式存储、协同计算和综合管理功能9。系统在响应速度、稳定性和影像切片方面的效率明显优于以 ArcGIS Server 为核心的管理系统效率，对于时空大数据的存储、管理、共享等具有积极的推动作用。未来工作将研究提升数据格式与坐标转换的准确率及非结构化时空大数据的管理效率。参考文献1李成名，刘晓丽.智慧城市时空大数据平台理论与方法 M.北京：科学出版社，2019.2吴功和，丛明日.基于 ArcGISServer 的分布式 GIS 应用 J.测绘科学技术学报，2006，23（1）：52-55.3GHEMAWATS,GOBIOFFH,LEUNGST.TheGooglefilesystemEB/OL.2023-02-16.https:/ NoSQL 的高分高光谱遥感影像存储模型设计与实现 J.地球科学，2015，40（8）：1420-1426.5黎建辉，周园春，胡良霖，等.中国科学院科学数据云建设与服务 J.大数据，2016，2（6）：1-13.6俞春娜，郑杰，王哲奇.基于分布式架构的海量多源遥感数据管理系统 J.测绘与空间地理信息，2022，表 2 系统运行软件环境软件种类软件名称软件版本操作系统银河麒麟V10应用软件JavaPostgreSQLPostGISGDALGeoToolsGeoServerGEOVIS iCenterSupermap iServerTomcatNginx1.8 版本及以上9.4.0 版本及以上9.4 版本及以上2.2.3 版本2.2.3 版本及以上20.1 版本及以上6.1.0 版本及以上10i 版本8.5 版本及以上1.23.1 版本3.2 实验结果（1）系统响应速度方面。在高并发、大内存影像浏览与下载、影像质检、入库、发布等情况下，基于分布式架构的时空大数据管理系统在响应速度方面明显优于以 ArcGIS Server 为核心的管理系统，其数据读取能力更强。系统响应速度具体表现如下：单张 1 GB 的影像数据入库时间小于 51 s；在线查询数据响应时间小于 50 ms；浏览瓦片数据时，系统可通过分布式缓存架构和负载均衡与服务器集群增加的计算能力提升系统响应速度。（2）系统稳定性方面。基于分布式架构实现的时空大数据管理系统稳定性明显优于以ArcGIS Server为核心的管理系统稳定性。在分布式架构下，单个应用服务器发生故障时，系统会自适应协调其他应用服务器，避免系统崩溃，保证系统服务不会中断；故障节点自我修复后可以正常加入集群，实现正常运行。（3）影像切片方面。基于分布式架构和GEOVIS iCenter的影像切片可以实现自动预处理，自动按需、66自然资源信息化2023 年 8 月45（4）：160-163.7吴胤旭.面向数据分析的分布式数据管理系统 D.深圳：中国科学院大学（中国科学院深圳先进技术研究院），2019.8袁海飞.基于分布式实时计算架构的生产设备数据分析平台 J.电子技术与软件工程，2020（4）：217-219.9陈海燕.一种分布式大数据管理系统的设计与实现J.计算机科学，2014，41（增刊 2）：393-395.Design and implementation of spatio-temporal big data management system based on distributed architectureWANGLisheng(GEOVISTechnologyCo.,Ltd.,Beijing101300,China)Abstract:WiththerapiddevelopmentofEarthObservingSystem,theInternetofThings,theInternetandBigDatatechnology,howtoefficientlygather,manage,browseandqueryspatio-temporalbigdatahasbecomeoneoftheproblemsthatneedtobesolvedinthegeographicinformationindustry.Aimingattheproblemoflackingeffectiveprocessing,qualityinspectionandmanagementmethodsforthemassivespatio-temporaldatanewlyaddedandarchivedinHefei,aspatio-temporalbigdatamanagementsystembasedondistributedarchitectureisdesignedandimplemented,whichcanrealizethedynamicacquisitionofspatio-temporalbigdata;theneditandprocessthedatathatmeettherequirements,andunifythedataformatandcoordinatesystem;andpre-checkthedatabeforeitisputintostorage;finally,varioustoolsareusedtobrowseandmanagedata.Thesystemfullymeetstherequirementsofspatio-temporalbigdatadistributedstorage,collaborativecomputingandefficientmanagement.Theexperimentalresultsshowthatthesystemcansignificantlyimprovetheprocessingcapacityofspatio-temporalbigdata,andtheresponsespeedandstabilityofthesystemhavebeengreatlyimproved,whichissuitableformassive,multi-source,heterogeneouscomplexdatamanagement.Keywords:distributedarchitecture;spatio-temporalbigdata;datamanagementsystem;systemdesignDesign and implementation of one network and two leaders information system in HenanZHANGWei1,LUYanke2,FANGYuan2(1.HenanProvincialGovernmentBigDataCenter,Zhengzhou450016,Henan,China;2.HenanNaturalResourcesComprehensiveSecuriteCenter,Zhengzhou450016,Henan,China)Abstract:Inordertobetterprotectnaturalresourcesandstrengthenresourcesupervision,thispaperhasdesignedtheoverallarchitectureofonenetworkandtwoleadersinformationsystem.Takingtheinformatizationoflawenforcementbusinessasthemainline,thedailypatrolsupervisionandillegalclueinvestigationandhandlingprocessaredesigned.Basedonremotesensingimagedata,basicgeographicdata,variousplanningandcontroldataandmanagementdata,usingArcGISdevelopmentplatform,Javaprogrammingtechnology,bigdatatechnologyandfacingtheneedsoflawenforcementbusiness,themainfunctionalmodelofthesystemisdesignedtorealizetheanalysis,integratedquery,managementandvisualizationofillegalclues,soastoprovidereferencesandideasforthenationalonenetworkandtwoleadersinformationconstruction.Keywords:naturalresources;onenetworkandtwoleaders;lawenforcementandsupervision;ArcGIS;systemdesign上接第 77 页