基于Hadoop的河北行业...服务大数据云平台设计与应用_张中杰.pdf

SOFTWARE软 件2023第 44 卷 第 1 期2023 年Vol.44,No.1基金项目：河北省重点研发计划项目资助（导线覆冰和风偏气象灾害精准预警技术研究：22375405D）作者简介：张中杰（1968）,男,河北辛集人,本科,高级工程师,从事气象服务与应用气象技术研究工作。通讯作者：曲晓黎（1982）,女,吉林蛟河人,本科,正高级工程师,从事气象服务与应用气象技术研究工作。基于 Hadoop 的河北行业气象服务大数据云平台设计与应用张中杰 1,2 李飞3 曲晓黎2,3 周朔3（1.河北省气象科学研究所，河北石家庄 050021；2.河北省气象与生态环境重点实验室，河北石家庄 050021；3.河北省气象服务中心，河北石家庄 050021）摘要：随着大数据产业的蓬勃发展和全社会对气象服务需求的日益增长,气象大数据与各行各业数据平台的融合应用越来越广泛。而传统气象数据的存储和运算方式,难以同时高效支撑多个行业、高时空分辨率的气象数据生产和传输要求。因此该方案基于 Hadoop 技术建设河北省行业气象服务大数据平台,通过分布式存储、分布式计算,快速接收原始气象数据、通过插值等方法对气象数据进行时空降尺度、通过行业专项预报指标和模型快速计算相关气象服务产品,最终生成支撑能源电力、交通运输等多领域气象监测预报服务产品,得到了很好的应用。为河北省构建气象大数据产业发展生态环境、提升气象信息产业化发展以及保障地方经济社会发展提供了有力支撑。关键词：Hadoop；大数据；气象服务；平台；设计中图分类号：TP311.1 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.01.006本文著录格式：张中杰,李飞,曲晓黎,等.基于Hadoop的河北行业气象服务大数据云平台设计与应用J.软件,2023,44(01):024-028Design and Application of Hebei Meteorological Industry Service Big Data Cloud Platform Based on HadoopZHANG Zhongjie1,2,LI Fei3,QU Xiaoli2,3,ZHOU Shuo3(1.Meteorological Institute of Hebei Province,Shijiazhuang Hebei 050021;2.Key Laboratory of Weather and Meteorological and Ecological Environment of Hebei Province,Shijiazhuang Hebei 050021;3.Hebei Province Meteorological Service Centre,Shijiazhuang Hebei 050021)【Abstract】：With the vigorous development of big data industry and the growing demand of the whole society for meteorological services,the integration and application of meteorological big data and data platforms of all walks of life are more and more extensive.However,the traditional storage and operation methods of meteorological data are difficult to efficiently support the production and transmission requirements of meteorological data with high spatial and temporal resolution in multiple industries at the same time.Therefore,the scheme is based on Hadoop technology to build a big data platform for industry meteorological services in Hebei Province.Through distributed storage and distributed computing,the scheme can quickly receive original meteorological data,conduct time-space downscaling of meteorological data through interpolation and other methods,quickly calculate relevant meteorological service products through industry specific forecast indicators and models,and finally generate meteorological monitoring and forecasting service products supporting energy,electricity,transportation and other fields,it has been applied well.It provides strong support for Hebei Province to build the ecological environment for the development of meteorological big data industry,promote the industrialization of meteorological information,and ensure the local economic and social development.【Key words】：Hadoop;big data;meteorological services;platform;design基金项目论文25张中杰李飞曲晓黎等：基于 Hadoop 的河北行业气象服务大数据云平台设计与应用0 引言随着各行各业和社会公众对气象服务需求的日益旺盛和气象信息化的快速发展,气象数据呈几何级数增长1。传统的气象数据挖掘大部分为单机模式,建立气象大数据云平台是气象信息网络智能化发展的趋势2,能够更加充分利用气象数据并深入挖掘其价值3。Hadoop 是一种分布式系统架构4,5,其核心组件有 3 个：（1）HDFS（Hadoop Distributed File System：分布式文件系统）,它是一个高可靠、高吞吐量的分布式文件系统6,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色,用于存储文件,通过目录树来定位文件。HDFS 适合一次写入,多次读出的使用场景。（2）MapReduce（分布式计算框架）,它是一个分布式的离线并行计算框架,用于海量数据运算分析7。MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个 Hadoop 集群上。MapReduce 将计算过程分为两个阶段 Map 和 Reduce,Map 阶段并行处理输入数据,Reduce 阶段对 Map 结果进行汇总。（3）Yarn,这是作业调度与集群资源管理的框架,采取经典的主从式（Master-Slave）分布式结构8。Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 MapReduce 等运算程序则相当于运行在操作系统之上的应用程序。Hadoop 具有开源、可靠稳定、可扩展、低成本等优势9,已广泛应用于城市轨道交通、电力、农业等多种行业的数据存储与计算领域10-13。在气象大数据云平台建设方面,山东、海南、广西均介绍了当地的存储技术和实现过程1,14,15。河北省Hadoop 行业气象服务大数据云平台（简称云平台）的特点在于集成多种行业气象服务指标算法,快速生成行业用户关注范围内格点化的气象实况和预报预警服务产品,同时支撑气象业务系统和行业部门应用系统,同时支撑京津冀交通气象中心以及省内电网、电厂、铁路、公路等多部门快速共享气象信息,在气象灾害防御和气象资源趋利避害方面发挥重要作用。1 云平台系统架构河北省 Hadoop 行业气象服务大数据云平台系统架构示意图如图 1 所示,利用 Ambari 用于整体的配置,进行管理和监控 Apache Hadoop 的集群。Ambari 还提供了一个直观、易用的 Hadoop 管理 Web UI 界面。Yarn 作为资源调度平台,负责为 MapReduce 等运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,用于管理和调度各种细粒度的任务,包括格点实况的订正和交通气象风险指数等行业专项预报产品的计算任务等。Hbase 是一个 NoSQL 数据库,运行于 HDFS（包括一个 NameNode 和多个 DataNode 等）文件系统上,用于存储来自于前端的各种实况、预报数据以及运算得出的各种预报数据。Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题。MongoDB 是基于分布式文件存储的数据库,主要用于存储地理信息数据和进行空间地理位置的计算等。Nginx API 用于将各种客观化服务产品通过接口的形式对外提供发布。2 云平台数据流程河北省 Hadoop 行业气象服务大数据云平台的数据来自河北省气象局“天擎”大数据云平台资源池,读Ambari-serverSecondaryNameNodeNginxAPIMapreduce2 ClientYarnClientFTPRepoFlumeHDFSClientHbaseClientThriftServerHMasterHRegionServerZookeeperNodeManagerDataNodeAmbari-agent01020304050607080910MongodbZookeeperClientJobHistoryServerMetricsCollectorNameNodeResourceManager图 1 河北省 Hadoop 行业气象服务大数据云平台系统架构示意图Fig.1 Schematic diagram of big data cloud platform system of Hebei Hadoop industry meteorological service26软 件第 44 卷 第 1 期SOFTWARE取气象实况、预报等多源数据后,进行解析和判识,最终支撑气象服务业务人员在业务平台上使用,同时按照行业用户需求以对应形式传输至用户端,流程如图 2 所示。云平台从资源池实时读取京津冀及周边 3000 余个地面气象观测站逐 1h、部分逐 5min 的观测数据、雷达探测数据等,读取国家级业务单位下发的以及本省智能网格实况和预报数据（空间分辨率 1 3km）,以及空气质量等行业实况和预报数据。（1）将原始数据通过 Flume 存储到 Hbase 数据库中；（2）进行数据解析、判识及处理：首先是通过预先设定的指标进行数据质量分析、标识和监控报警；其次是结合自主研发的指标、算法,对实况和预报数据进行时空降尺度、数据订正、反演至用户关注范围（如高速公路、铁路沿线）处理；（3）结合本地模型算法,利用实况和预报数据,计算站点及格点化的行业专项范围产品,例如用电负荷指数、高速公路雾灾风险预报等；（4）将处理后的数据传输至上层气象服务业务平台经订正后向行业气象服务客户端网站和 App 进行发布,完成整个数据处理流程。3 云平台应用实例以河北省电力气象服务系统为例,气象部门基于Hadoop 行业气象服务大数据云平台实时生产加工气象服务产品,利用部署在国网河北省电力公司的“河北省多源融合可视化电力气象服务平台”实时接收气象服务产品,为国网河北省电力公司提供气象监测和预报预警气象保障。两个平台之间利用通信专线进行数据传输,电网侧平台部署于生产管理区即安全区,包括双机互备的 2 台物理服务器和 1 台云虚拟服务器。文件服务器上部署了 SFTP 用于接收气象数据产品,云虚拟服务器上部署了 Web 网站程序和文件解析入库程序。网络部署图如图 3 所示。河北省电力气象服务系统总体设计拟采用经典云平台的设计思路,采用面向服务的 SOA 架构。平台共分为智慧应用层（SAAS）、服务支撑层(ASP)、技术支撑层(PASS)、数据资源层(DASS)和基础设施层(IASS)图 2 河北省 Hadoop 行业气象服务大数据云平台数据流程示意图 Fig.2 Data flow diagram of big data cloud platform of meteorological service in Hebei Hadoop industry 地面气象观测站资料 雷达探测资料 格点化实况 智能网格预报、城镇报 INCA 短临预报 数值模式产品 搜集行业资料：空气质量、电力负荷、交通管制 质量分析与质量标识 达到实况监测指标 行业气象服务业务平台 行业气象服务客户端系统、行业气象服务 App 要素反演 时空降尺度 融合行业气象服务产品指标、模型、算法YARN 分布式计算 电力负荷指数、无人机巡检指数、高速公路雾灾风险、路面结冰风险等行业气象服务产品：检验 订正发布 天擎气象数据资源池 图 2 河北省 Hadoop 行业气象服务大数据云平台数据流程示意图Fig.2 Data flow diagram of big data cloud platform of meteorological service in Hebei Hadoop industry27张中杰李飞曲晓黎等：基于 Hadoop 的河北行业气象服务大数据云平台设计与应用等五个层次,系统总体架构如图 4 所示。（1）应用层由精准防灾子系统、智慧调控子系统、统计查询子系统、配置管理子系统组成。应用层访问方式包括 App 和 Web 客户端两部分组成。系统同时提供对接资源中台和第三方应用的公共气象 API 服务接口,API 服务接口遵守电力部门业务中台开发规范,使用微服务开发框架进行功能开发,具备纳入资源中台的能力。（2）服务层包括空间信息服务支撑分系统、气象信息服务支撑分系统、电力气象服务支撑分系统和辅助决策服务分系统 4 类服务支撑系统,其中空间信息服务支撑分系统提供地理信息相关服务能力；气象信息服务支撑分系统提供气象信息（包括实况、预警、预报、专项产品、专题产品、格点数据、卫星雷达产品、火点监测数据等）相关的服务能力；电力气象服务支撑分系统一方面提供基于精准的气象信息和电力设施位置信息以及设施的承灾能力进行融合分析能力,并具备气象灾害感知能力；另一方面提供基于未来预报预警信息和电力负荷预测模型融合进行负荷预测的能力；辅助决策服务分系统提供气象灾害的辅助决策、辅助处置能力。（3）技术支撑层包括支撑系统运行的基础信息技术河北省气象局通信专线电力公司区域网络电力气象服务平台文件服务器2文件服务器1Web应用云服务器云数据库用户1用户2网络安全设备图 3 河北省气象局与国网河北省电力公司之间网络部署示意图Fig.3 Schematic diagram of network deployment between Hebei Meteorological Bureau and State Grid Hebei Electric Power Company省公司市公司县公司各级移动端用户SAAS精准防灾子系统智慧调控子系统统计查询子系统配置管理子系统空间信息服务支撑分系统气象信息融合支撑分系统电力气象服务支撑分系统辅助决策服务分系统ASPPAASGIS文件服务信息安全机器学习MQDockerDAAS元数据及数据自录管理数据规划数据汇聚数据管理数据更新数据共享空间信息数据库气象信息数据库电网信息数据库缓存数据库实况预报预警服务产品 灾害信息其他历史灾情库 模型算法微气象信息其他redisredisredisIAAS云计算中心服务器及相关附属设施应用层服务层技术支撑层数据层基础设施层标准规范与管理制度体系电力业务空间信息气象行业空间信息基础地理信息运行维护体系服务运维服务分析认证鉴权流量控制资源计量资源监控安全防护体系数据安全应用安全主机安全云平台安全网络安全物理安全图 4 河北省电力气象服务系统总体架构图Fig.4 Overall architecture of Hebei electric weather service system28软 件第 44 卷 第 1 期SOFTWARE支撑功能,包括 GIS 地理信息服务、文件存储服务、信息安全、机器学习、MQ 消息中间件、Docker 容器等。（4）数据层采用标准的数据接口,聚合各种气象数据（包括实况、预警、预报、专项产品、专题产品、格点数据、卫星雷达产品、火点监测信息等）、基础电力设置设备信息(包括地理信息、设施承灾能力信息等)、融合模型信息、历史灾害资料等信息,是整个项目的数据资源池。（5）基础设施层指基础设施中心,依托国网河北省电力公司的云计算基础设施平台的服务器资源、网络资源以及数据库资源等基础的软硬件资源,主要由硬件集群、网络集群、数据库、系统软件以及操作系统(OS)等构成,为各项数据的存储管理承载和应用程序服务的运行提供基础的软硬件资源。4 结语基于 Hadoop 技术开发的河北省行业气象服务大数据云平台,实现了气象数据和服务产品的安全存储、精确运算、快速分发,同时支撑多个行业气象服务保障业务,大大提升了气象数据产品的时效性,降低了预报服务人员制作产品的效率,在灾害性天气影响期间,能够让行业用户第一时间获取相关气象监测预报预警信息,快速采取防御措施,为气象防灾减灾奠定了坚实基础。河北省电力气象服务系统已经成熟运行 3 年有余,为电力部门防御气象灾害、充分利用气象资源提供了有力支撑和保障。参考文献1 王双双,杜建华,王立俊晖,等.基于气象大数据云平台的海南气象数据共享平台设计与实现J.计算机测量与控制,2022,30(10):222-226.2 王立俊,杜建华,刘骥超,等.基于决策树挖掘算法的气象大数据云平台设计J.计算机测量与控制,2022,30(11):140-145.3 苏敏.大数据时代气象数据分析应用方向探析J.黑龙江环境通报,2022,35(1):144-145.4 The Apache Software Foundation HadoopEB/OL.(2015-07-08)2015-08-16.http:/hadoop.apache.org/.5 王铭,田茂,赵鑫,等.基于Hadoop平台的数据迁移方法研究实现J.计算机测量与控制,2018,26(4):225-230.6 BORTHAKUR D.The Hadoop Distributed File System:Architecture and DesignJ.Hadoop Project Website,2007,11(11):1-10.7 LEE K H,LEE Y J.Parallel Data Processing with Map Reduce:A SurveyJ.Acm Sigmod Record,2012,40(4):11-20.8 张博.Hadoop2.0系统中的资源分配与动态监控实践J.电子技术与软件工程,2021(5):201-205.9 张黎平,段淑萍,俞占仓.基于Hadoop的大数据处理平台设计与实现J.网络信息工程,2022(20):74-76.10 朱东升,徐石明,李天阳,等.基于Hadoop平台的地铁NCC数据中心方案研究J.计算机测量与控制,2017,25(12):224-227.11 朱嘉斌.基于Hadoop+MPP架构的城市轨道交通大数据中心建设方案J.城市轨道交通研究,2022(5):54-57.12 周晓,朱晗雨.基于Hadoop的高压输电线路合闸故障诊断方法J.数字制造科学,2022,20(2):104-110.13 宋昌,罗光华.基于Hadoop架构的大数据平台在水稻病虫害监测中的应用J.电脑知识与技术,2022,18(27):59-60.14 陈剑飞,史彩霞,王振国.基于行业气象服务的基础数据支撑平台研发与应用J.气象研究与应用,2022,43(2):117-121.15 周笑天,冯勇,陈益玲,等.基于Hadoop的气象数据分布式存储技术J.信息技术,2022(1):68-74.