地面自动气象站数据流式处理设计与实现.pdf

肖卫青,薛蕾,刘振,等.地面自动气象站数据流式处理设计与实现.应用气象学报,2 0 2 4,3 5(3):3 7 3-3 8 4.D O I:1 0.1 1 8 9 8/1 0 0 1-7 3 1 3.2 0 2 4 0 3 1 0地面自动气象站数据流式处理设计与实现肖卫青 薛 蕾*刘 振 罗 兵 王 颖 张来恩郭 萍 霍 庆 韩书丽 何文春(国家气象信息中心,北京 1 0 0 0 8 1)摘 要针对观测密度和频次日益增加的海量地面自动气象站数据,在气象大数据云平台(天擎)中设计了基于S t o r m的实时流式处理,利用大规模并行处理的优势提高地面自动气象站数据的处理时效。在流式处理中,设计处理拓扑直接解码标准格式的数据消息;消息确认采用手工确认的方式,将数据解码组件锚定数据接入组件,实现每条数据的可靠处理;数据解码时进行字节校验和时间检查等,过滤异常数据;应用批量加定时的发送策略,解决海量监控信息发送气象综合业务实时监控系统(天镜)的问题;集群部署时保留部分剩余资源,有效应对单节点异常。应用效果表明:国家气象站小时数据的服务时效由全国综合气象信息共享系统(C I M I S S)的1 7 5 s提高至天擎的7 8 s,约61 04个区域气象站小时数据的服务时效由C I M I S S的5 m i n提高至天警的2 m i n,实况分析系统将数据源切换至天擎后,相同时间检索可获取的站点数量较C I M I S S增加1倍。2 0 2 1年1 2月基于S t o r m的流式处理与天擎一同在国省业务化运行,实现了长期稳定运行,为M I C A P S 4、SWAN 2.0、实况分析系统等用户提供高效稳定的地面自动气象站数据。关键词:气象大数据云平台;地面自动气象站;S t o r m;R a b b i t MQ;流式处理;B U F R引 言气象观测是气象业务和科研工作的基础,地面气象观测是气象观测的重要组成部分,是对地球表面一定范围内气象要素及其变化过程进行系统、连续观测和测定,为天气预报、气候分析、科学研究和气象服务提供重要依据1。随着现代科学技术的进步,我国地面自动气象站迅速推广,其数量由2 0 1 5年的约31 04个增长至2 0 2 1年的约61 04个,同时地面自动气象站的观测频次也不断提高。国家气象站的观测频次由原来的5 m i n一次提高至1 m i n一次,区域气象站观测频次由原来的1 0 m i n一次提高至5 m i n一次,部分区域气象站达到1 m i n一次。气象站数量和观测频次的增加使观测数据快速增长,对数据传输系统和处理系统的压力越来越大;同时,天气预报分析2-3、强对流预报4-5、实况产品制作、地质灾害预警6等气象业务对地面自动气象站数据时效性和稳定性的要求不断提高。为提高数据的传输时效,国家气象站和区域气象站先后采用R a b b i t MQ消息中间件7进行消息传输8-9,数据传输时效大幅提升1 0。观测数据到达后,需要对其进行实时处理,以结构化要素的形式存储到数据库中,才能为用户提供服务。在采用R a b b i t MQ消息传输的同时,地面自动气象站数据格式由原来的文本格式改为标准化的B U F R(b i n a r y u n i v e r s a l f o r m f o r t h e r e p r e s e n t a t i o n o f m e t e o r o l o g i c a l d a t a)格式编码1 1-1 2,可减少空间占用,但增加了数据处理的复杂度1 3-1 4。国家气象站采用消息传输后,对于2 4 4 2站的国家气象站小时2 0 2 3-1 1-2 9收到,2 0 2 4-0 2-2 9收到再改稿。资助项目:中国气象局气象雷达数据共享平台数据实时传输系统建设项目(Z Q C-J 1 9 1 8 7),中国气象局气象信息化系统工程感知网数据交换平台分系统 数据解码软件项目(Z Q C-H 2 2 3 2 0),中国气象局创新发展专项(C X F Z 2 0 2 1 Z 0 0 7)*通信作者,邮箱:x u e l e i c m a.g o v.c n 第3 5卷 第3期 2 0 2 4年5月 应 用 气 象 学 报J OUR NA L O F A P P L I E D ME T E O R O L OG I C A L S C I E N C E V o l.3 5,N o.3 M a y 2 0 2 4数据和国家气象站分钟数据,由于全国综合气象信息共享 系统(C h i n a I n t e g r a t e d M e t e o r o l o g i c a l I n-f o r m a t i o n S h a r i n g S y s t e m,C I M I S S)原有的简约流程处理方式1 5-1 6各进程间缺乏有效调度,无法发挥多节点处理优势,导致处理速度不理想;同时当单节点出现异常时,其处理任务无法自动迁移,存在稳定性不足的问题。区域气象站采用消息传输后,国家级天擎每日要处理的区域气象站消息数量超过3.51 07,C I M I S S原有处理流程无法处理如此海量的区域气象站消息。如何快速处理采用R a b b i t MQ消息传输的地面自动气象站数据,提升数据处理的时效性和稳定性,成为气象大数据云平台(天擎)亟待解决的重要问题。本文分析地面自动气象站数据的现状和数据处理面临的问题,给出基于S t o r m的流式处理解决方案,介绍S t o r m中数据处理拓扑、数据接入组件、解码入库组件、监控信息发送组件等模块的设计,结合可配置的模块化设计、内存计算、数据库连接池、异常处理、业务部署等方面的设计,该方案可有效提高地面自动气象站数据的服务时效,增强数据处理的稳定性,该方案已在国家级天擎和省级天擎实现业务化运行。1 地面自动气象站数据现状地面自动气象站数据格式标准化以后的编报数据分为国家气象站小时数据、国家气象站分钟数据、区域气象站小时数据和区域气象站分钟数据4种。由于大范围内多个地面自动气象站的同时观测才能反映某一时刻大气的整体状况,因此全部地面自动气象站每日均在同一时刻进行观测,也近乎在同一时刻进行传输,导致地面自动气象站数据在相同时刻集中到达,极大增加了数据处理的压力。图1为2 0 2 3年3月1日0 0:5 00 2:1 0(世界时,下同)国家级天擎逐分钟收到的地面自动气象站数据的消息数量。图1 2 0 2 3年3月1日0 0:5 00 2:1 0地面自动气象站数据的逐分钟消息数量F i g.1 M e s s a g e n u m b e r o f o b s e r v a t i o n s p e r m i n u t e f r o m g r o u n d a u t o m a t i c w e a t h e r s t a t i o n s f r o m 0 0 5 0 UT C t o 0 2 1 0 UT C o n 1 M a r 2 0 2 3 由图1可见,观测数据每隔5 m i n出现1个峰值,这是因为区域气象站观测频次为5 m i n;每个整点出现1个较大峰值,这是因为地面自动气象站的小时数据和分钟数据在整点同时到达,导致此时数据量是其他时刻的2倍。国家级天擎每日收到的地面自动气象站数据总量超过3.51 07条,平均每分钟2.51 04条,整点的数据总量超过每分钟11 05条,是平均水平的4倍,这极大增加了数据处理难度。2 S t o r m流式处理设计在大数据批处理领域,H a d o o p的映射/归约计算模式在气象数据处理领域得到广泛应用1 7-1 8。但是H a d o o p的实时性处理不足,肖卫青等1 9指出H a d o o p在处理大量小文件组成的气象数据时效率较低,需要将数据进行整合并在后续进行多次处理时才能发挥H a d o o p的优势。由于实时地面自动气象站数据属于大量小文件类型数据,而且实时处理入库后一般不需要重复处理,因此H a d o o p不适合用于地面自动气象站数据的实时处理。为应对海量数据实时处理,推特公司设计了分布式的、可靠的实时计算系统S t o r m,并在2 0 1 1年开源2 0。相对于H a d o o p的批处理,S t o r m实时性更强,适用于处理无限的数据流2 1,广泛应用于各行各业的实时数据处理2 2-2 4。地面自动气象站定时观测产生新数据,即为473 应 用 气 象 学 报 第3 5卷 无限数据流,其数据处理具备高时效、低时延的流式处理特点,因此非常适合采用S t o r m进行流式处理。2.1 S t o r m简介S t o r m集群采用主从式结构,由1个主节点和多个从节点构成。主节点负责管理、协调、监控集群的运行,记录所有从节点状态,并分配任务;从节点等待主节点分配任务,根据需要启动/关闭具体的工作进程;集群中的状态信息通过分布式应用程序协调服务进行同步。S t o r m计算框架由拓扑、元组、流、喷口、螺栓和任务等组成。元组是S t o r m的核心数据结构,包含1个或多个键值对的列表;无限的元组组成的序列形成流。喷口负责连接外部数据源,将数据转化为元组并发射至后端的螺栓,为S t o r m流的来源。螺栓负责对元组实施运算,计算后可以输出1个或者多个数据流。由流、喷口、螺栓组成S t o r m的分布式计算结构拓扑,拓扑会一直运行,可避免任务频繁启停导致的资源消耗。2.2 处理拓扑设计应用S t o r m进行实时数据处理的关键是将处理任务分解成适合高并发处理的子任务,并通过喷口和螺栓等组件构成拓扑实时调度运行。地面自动气象站数据的处理步骤包括数据消息获取、属性信息提取、B U F R字节校验、B U F R报文解码、时间检查、特征值转换、S Q L生成、数据入库、监控信息生成、监控信息发送等环节。为了减少数据在计算节点间的转发,缩短处理延迟,提高系统的处理效率。本文将每个站次的地面自动气象站数据处理设计为1个完整的处理任务,并将数据处理分解为数据接入、解码入库和监控信息发送3个组件。数据接入组件、解码入库组件和监控信息发送组件构成整体的处理拓扑,数据接入组件连接R a b-b i t MQ消息队列,获取B U F R数据消息,提取属性信息,将相应数据转化为元组后发射至解码入库组件。解码入库组件收到元组后,从中提取B U F R报文,通过字节校验后进行解码,提取编报要素值,经过时间检查、特征值转换、S Q L生成,调用数据库连接池实现观测数据入库;根据数据入库的结果生成数据信息(d a t a i n f o r m a t i o n,D I),转换成元组发送至监控信息发送组件。监控信息发送组件收到D I后,按照发送策略将D I发送至气象综合业务实时监控系统(天镜),用于数据全流程监视告警的计算2 5和天擎加工流水线的数据源感知调度2 6。2.3 数据接入组件数据接入组件是地面自动气象站数据流式处理中的数据源,负责从R a b b i t MQ队列获取B U F R数据消息,其获取的每条消息都包含1个地面自动气象站的1个观测 时次数据。数据接 入组件获取R a b b i t MQ消息采用手动确认模式,只有在数据接入组件显式回复确认后,R a b b i t MQ才会从队列中删除该消息,这可以保证后续的解码入库组件完成每条消息的全部处理逻辑。当某个数据接入组件由于各种原因异常退出时,未确认的消息会重新分配给其他数据接入组件,这可以保证S t o r m处理拓扑重启时不丢失数据。数据接入组件与解码入库组件间采用随机分组模式,所有的处理任务均可随机分配给各解码入库组件,实现数据解码的高并发处理。2.4 数据解码入库组件数据解码入库组件负责对B U F R报文进行解码,实现地面自动气象站数据的处理入库,是S t o r m流式处理中最复杂的组件。解码入库组件收到数据接入组件发射的元组后,从中提取相应的编报数据,进行字节校验、要素解码、时间检查、特征值转换、S Q L生成、数据入库等操作,实现地面自动气象站数据的解码入库处理:字节校验。在对B U F R报文解码前,先按照字节校验的流程检查报文数据,未通过字节校验的数据将不再进行后续解码,但根据特定的规则将该报文记入原始报告表,用于后续的问题排查。要素解码。通过字节校验后,解码入库组件调用相应的解码算法进行要素解码,获取编报的观测时间、站号、经纬度、海拔高度、温度、气压、风向、风速、湿度、降水量等要素值。根据B U F R编码规范,当要素描述符规定的比特位全部为1时,表示该要素缺测,由于各个要素定义的比特位长度不一,因此B U F R编报中各个要素的缺测值不同。为方便用户使用,在解码时需要对缺测值进行统一转换,将比特位全部为1的要素值 统一 转 为 缺 测 特 征 值9 9 9 9 9 9。时间检查。业务实践中会有超出规定时间范围的历史数据和超前数据上传至国家级天擎。大量历史数据会引发入库冲突,降低入库速度,影响实时数据入库。超前数据会导致用户使用困惑,影响观测数据质量。为保证实时数据入库速度和提升数据质量,在数据要素解码后,检查观测时间,超过规定时间范围的数据不进行后续的入库处理,同时以错573 第3期 肖卫青等:地面自动气象站数据流式处理设计与实现 误信息(e r r o r i n f o r m a t i o n,E I)告警的形式通知天镜。时间检查的范围设计为从配置文件读取,可以根据业务要求进行快速调整。特征值转换。对于部分要素值,需要根据相应规范进行转换,将对应的特征值入库。例如当风速不超过0.2 ms-1,需将风向全部转换为静风特征值9 9 9 0 1 7;当降水量编报值为-1时,需将其转换为微量降水特征值9 9 9 9 9 0。S Q L生成。全部要素解码并经过时间检查和特征值转换后,生成入库的要素值,根据数据类型按照表1生成相应的入库语句。生成S Q L语句时,除经过转换的要素值外,还需要添加管理字段,但这些信息不在报文中编报,例如行政区划字段。因为每个地面自动气象站的每条观测数据需要访问该信息,面对每分钟超过11 05次的访问,普通数据库的查询效率会严重影响数据处理的效率。内存数据库将数据库的全部或大部分数据放在内存中,使用哈希索引以及T树索引组织数据以提高数据查询效率2 7。但内存数据库仍然存在节点间网络通信等开销,处理数据库连接异常使解码入库组件的逻辑更加复杂,进而降低整个系统的稳定性。将数据直接加载到程序内存,基于内存进行操作2 8,能够实现更高的查询效率和更可靠的稳定性。因此设计解码入库组件预先将所有地面自动气象站信息加载到内存,使用哈希映射进行索引存储,关键字为站号和气象站类型的组合,值为该站信息。在数据处理时使用站号和气象站类型的组合进行查询,实现地面自动气象站信息快速查询。表1 地面自动气象站数据入库数据表说明T a b l e 1 D e s c r i p t i o n o f d a t a i n s e r t t a b l e s f o r g r o u n d a u t o m a t i c w e a t h e r s t a t i o n d a t a数据名称天擎入库表名国家气象站小时数据中国地面小时原始报告表中国地面小时表全球地面小时表中国地面日值表中国地面日照表重要天气表国家气象站分钟数据中国地面分钟原始报告表中国地面分钟降水表地面分钟全要素表区域气象站小时数据中国地面小时原始报告表中国地面小时表区域气象站分钟数据中国地面分钟原始报告表中国地面分钟降水表地面分钟全要素表 数据入库。数据解码入库组件根据入库规则生成S Q L语句后调用虚谷数据库接口实现数据入库。入库时采用数据连接池技术,免去每次访问建立和关闭连接的开销,提升入库效率2 9。由于网络抖动、延迟等原因,入库过程可能会出现连接中断,造成入库不完整。为解决该问题,在入库过程中设计每个数据处理任务的多个表按顺序独立入库,互不影响;当某个表的入库发生中断时,解码入库组件会尝试3次重新执行,若仍失败则将该消息重新投递至R a b b i t MQ消息队列再处理。为避免重复入库,在数据表中设计站号和观测时间作为唯一索引。结合数据库的唯一索引,通过失败重试和重新投递可以保证数据处理的完整性且避免重复数据入库。入库语句执行完成后,数据库接口会返回记录的入库状态码,解码入库组件根据状态码判断入库结果,生成相应的D I或E I,将其转换为元组后发送给监控信息发送组件。2.5 监控信息发送组件监控信息发送组件负责将数据处理过程中产生的D I/E I发送至天镜,天镜对这些信息进行处理,综合通信、存储等系统的信息实现全流程、全要素、全过程的监控。为避免监控信息发送异常影响正常的业务处理流程,为其设计独立组件。D I/E I通过R E S T f u l接口3 0发送至本地代理,再由本地代理发送至天镜。由于R E S T f u l接口底层采用超文本传输协议(h y p e r t e x t t r a n s f e r p r o t o c o l,HT T P)通信,所以发送时每次都需要建立1个T C P(t r a n s m i s-s i o n c o n t r o l p r o t o c o l)连接,每个T C P连接都需要1个本地端口,一般系统默认设置的T C P连接可用端口为3 2 7 6 86 0 9 9 9,约2 8 0 0 0个。由于端口在T C P连接释放后经过2倍的报文最大生存时间才能被重复使用3 1,在整点有约61 04个区域气象站小时数据和区域气象站分钟数据集中到达,每条数据均入到多个表并生成多条D I,短时间内生成的D I数量高达几十万条,可在瞬间将S t o r m集群中所有节点的可用端口占满,导致D I发送失败,进而影响天镜对数据入库完整性的判断,产生入库不完整告警。为避免数据集中到达时D I发送失败,需要减少T C P连接数量和端口占用数量。监控信息发送组件采用批量发送模式,同时为了避免因数据量少而长时间达不到阈值,影响D I发送的及时性,增加了定时发送模式。监控信息发送组件在收到D I元组后,将其缓存到数据栈,超过2 0 0条时进行批量发673 应 用 气 象 学 报 第3 5卷 送,缓存的大小可通过配置修改;同时在监控信息发送组件中创建定时任务,定时触发D I缓存栈发送,清空数据缓存,解决因数量少而长时间无法达到缓存阈值的问题;定时任务默认3 s触发1次,时间间隔可配置;如果发送失败,监控信息发送组件会重复尝试发送3次,以避免由于网络连接异常引起的偶然性失败。2.6 可靠性设计基于S t o r m地面自动气象站流式处理采用可靠的数据流处理设计,保证R a b b i t MQ队列中每个消息均能得到完整处理。通过S t o r m提供的可靠性应用程序编程接口,数据接入组件发射元组至解码入库组件时均带上消息编号,无论解码入库组件处理成功与否,数据接入组件均会接收到解码入库组件返回的通知。如果处理成功,数据接入组件会确认该编号的消息,并从R a b b i t MQ删除该消息。如果执行失败,根据失败原因确定删除消息或者重新投递。通过元组的可靠确认机制,每条消息经确认才被删除,确保数据不丢失。2.7 稳定性设计为实现72 4 h的业务运行,需要S t o r m流式处理在面对普通异常情况时具备自愈能力。数据接入组件、解码入库组件、监控信息发送组件等工作组件在异常退出后会被主节点管理服务重启,可靠性高。当S t o r m集群内某个节点损坏时,其上运行的处理任务可以自动迁移至其他节点,不影响实时数据处理。系统设计消息队列和数据库的自动重连机制,解决因网络抖动等因素造成的消息队列和数据库的偶然连接异常,可以从网络闪断中自动恢复。D I/E I发送失败时会重试3次,仍然失败则在记录日志后清空缓存不再发送,避免积压大量待发送数据从而影响实时数据处理。3 性能测试与业务部署3.1 性能测试为对地面自动气象站数据流式处理的性能进行测试,在国家级天擎采用4个物理节点搭建了测试S t o r m集群,每节点配置4路1 0核双线程C P U和3 7 6 G B内存。由于解码入库组件处理逻辑最复杂,是影响处理速度的关键,因此在测试过程中保持数据接入组件和监控信息发送组件的数量不变,通过修改配置调整解码入库组件数量进行处理速度测试。每次测试的数据相同,分别对国家气象站小时数据、国家气象站分钟数据、区域气象站小时数据和区域气象站分钟数据进行独立测试,结果如图2所示。由图2可见,国家气象站小时数据、国家气象站图2 地面自动气象站数据处理速度与解码入库组件数量关系F i g.2 R e l a t i o n s h i p b e t w e e n p r o c e s s i n g s p e e d o f g r o u n d a u t o m a t i c w e a t h e r s t a t i o n d a t a a n d b o l t q u a n t i t y分钟数据、区域气象站小时数据和区域气象站分钟数据的处理速度基本与解码入库组件数量线性相关;处理速度随着解码入库组件数量的增加而增加,但是处理速度不能随着解码入库组件数量加倍而加倍,这是由于存在线程管理和内部数据传输消耗;国家气象站小时数据的处理速度明显低于其他数据,原因在于国家气象站小时数据包含的要素最多,解码入库逻辑最复杂。针对地面自动气象站小时数据和分钟数据在整点同时到达的业务场景,用数据量最大的区域气象站小时数据和区域气象站分钟数据进行同时处理性能测试,测试过程保持数据接入组件和监控信息发773 第3期 肖卫青等:地面自动气象站数据流式处理设计与实现 送组件的数量不变,每次测试的数据相同,测试结果如图3所示。由图3可见,同时处理区域气象站小时数据和区域气象站分钟数据的情况下,当解码入库组件数量小于1 2 8时,处理速度与组件数量基本线性相关,处理速度随着组件数量的增加而增加,组件数量为1 2 8时达到最大值;当组件数量为2 5 6时,处理速度却有所降低。原因在于测试环境4个节点的C P U线程总数为3 2 0(每台8 0线程),在区域气象站小时数据和区域气象站分钟数据两个处理拓扑解码入库组件均为2 5 6的情况下,整个S t o r m集群同时运行的组件总量远超过物理集群C P U线程总量,无法实现真正的并行处理;同时,由于存在更多线程切换等开销,导致处理速度有所下降。但区域气象站小时数据和区域气象站分钟数据同时处理速度合计超过1.21 05站次m i n-1,测试环境下基本可以满足区域气象站小时数据和区域气象站分钟数据同时处理的业务场景。图3 区域气象站小时数据与区域气象站分钟数据同时处理速度与解码入库组件数量关系F i g.3 R e l a t i o n s h i p b e t w e e n r e g i o n a l s t a t i o n h o u r l y d a t a a n d m i n u t e l y d a t a s i m u l t a n e o u s p r o c e s s i n g s p e e d a n d b o l t q u a n t i t y 综上所述,通过测试可知,在不超过物理集群资源上限的情况下,采用S t o r m流式处理技术可以充分利用大规模并行处理的优势,通过扩大处理资源提升地面自动气象站数据的处理效率,满足业务上对数据处理时效性的需求。3.2 业务部署为满足业务用户的时效性要求,需要参考测试数据进行合理的业务部署。业务系统部署采用3个物理节点,每个节点配置8路1 6核双线程C P U和3 7 6 G B内存,因此整个集群总C P U线程数为7 6 8。由于国家气象站小时数据、国家气象站分钟数据、区域气象站小时数据和区域气象站分钟数据采用不同的消 息 队 列 传 输,因 此 在 国 家 级 天 擎 设 计4个S t o r m拓扑用以处理不同的消息队列,各个拓扑处理相互独立,避免相互影响,整体处理拓扑说明见表2。虽然地面自动气象站小时数据的总量远小于分钟数据的总量,但是由于数据集中到达,在整点时小时数据的处理负载与分钟数据相当,同时小时数据为业务考核数据,为保证小时数据处理时效,因此为小时数据配置的处理资源与分钟数据相当。地面自动气象站数据处理要求72 4 h高可靠性运行,处理系统必须能够应对任意单节点的硬件表2 国家级天擎地面自动气象站数据处理拓扑说明T a b l e 2 T o p o l o g y d e s c r i p t i o n o f n a t i o n a l T i a n q i n g g r o u n d a u t o m a t i c w e a t h e r s t a t i o n p r o c e s s i n g数据类型每小时上传数据次数工作进程数量数据接入组件数量解码入库组件数量国家气象站小时数据11 21 23 6国家气象站分钟数据6 0663 6区域气象站小时数据12 42 42 4 0区域气象站分钟数据1 22 42 03 0 0873 应 用 气 象 学 报 第3 5卷 故障,避免由此导致的业务中断。S t o r m可以将异常节点上的任务自动迁移至其他节点3 2,但要求整个集群剩余的可用工作进程数量大于任意节点使用的工作进程数量,这样S t o r m集群内任意节点退出集群时,该节点上运行的任务才可以自动迁移至其他节点,不影响整体数据处理。因此在业务部署时,实际使用的工作进程数量仅约占2/3,剩余1/3用于单节点故障时的任务迁移。3.3 运行评估为便于评估地面自动气象站数据处理入库的数量,本文定义某时刻特定时次的入库率为该时刻已经入库的站数与全部入库站数之比。其中,已入库站数可通过数据库查询获得,全部入库站数采用该时次实际入库总站数。一旦完成数据入库,用户即可通过服务接口访问。用户可以根据入库率随时间的变化以及自身业务需求决定获取数据的时间。通常情况下,当入库率达到9 0%时,可以满足大多数业务的数据服务需求。因此本文提出服务时效的概念,用于衡量数据处理入库的效率。服务时效定义为入库率达到9 0%的时间与规定观测时间的时间差,服务时效反映了从规定的观测时刻开始到用户可以检索到9 0%以上站点数据所需的时间。对国家级天擎和C I M I S S并行运行期间的2 0 2 1年1 2月2 9日2 4个时次国家气象站小时数据处理入库情况进行比较,其平均入库率随时间变化如图4所示。国家气象站小时数据在天擎和C I M I S S均采用B U F R数据消息传输,由同一路消息复制得到,其数据来源相同,因此可视为同时到达天擎和C I M I S S。由图4可见,天擎和C I M I S S分别处理入库2 4 4 2站。在整点后3 6 s内,由于到报站点数量少,天擎与C I M I S S的入库率几乎相同;在整点后3 6 s以后,到报站点数大幅增加,天擎处理入库的性能优势突显。3 64 4 s天擎处理入库1 6 0 4站,C I M I S S仅处理入库2 2 0站,天擎处理入库速度约为C I M I S S的7倍。以服务时效衡量,天擎为7 8 s,C I M I S S为1 7 5 s,天擎较C I M I S S提前9 7 s;根据前文测试结果,采用S t o r m流式处理最快可在2 s内处理完1个时次的国家气象站小时数据,实际数据量远未达到系统处理能力上限。图4 2 0 2 1年1 2月2 9日2 4个时次平均的国家气象站小时数据天擎和C I M I S S的入库率随时间变化F i g.4 C o m p a r i s o n o f d a t a i n s e r t r a t e c h a n g e s b e t w e e n T i a n q i n g a n d C I M I S S f o r 2 4 s a m p l e s o f n a t i o n a l s t a t i o n h o u r l y d a t a o n 2 9 D e c 2 0 2 1 天擎和C I M I S S并行运行期间的区域气象站小时数据2 0 2 1年5月2 3日2 4个时次平均的入库率随时间变化如图5所示。由图5可见,天擎平均处理入库6 1 1 2 2站,C I M I S S平均处理入库6 0 3 3 9站,天擎较C I M I S S处理入库的站点更多;以服务时效衡量,天擎为1 2 7 s,C I M I S S为3 0 4 s,服务时效由C I M I S S的5 m i n提升至天擎的2 m i n。综上所述,在国家级天擎采用S t o r m流式处理很好发挥了大规模并行处理的优势,大幅提高了地面自动气象站数据的处理速度和服务时效,并可根据业务量快速调整相应的处理资源,满足不断发展的业务需求。973 第3期 肖卫青等:地面自动气象站数据流式处理设计与实现 图5 2 0 2 1年5月2 3日2 4个时次平均的区域气象站小时数据天擎和C I M I S S的入库率随时间变化F i g.5 C o m p a r i s o n o f d a t a i n s e r t r a t e c h a n g e s b e t w e e n T i a n q i n g a n d C I M I S S f o r 2 4 s a m p l e s o f r e g i o n a l s t a t i o n h o u r l y d a t a o n 2 3 M a y 2 0 2 14 业务应用4.1 基础数据支撑地面自动气象站数据经过流式处理后,将气温、气压、湿度、风、降水等1 0 0多个要素入库,其中国家气象站还包括地温、能见度、积雪、天气现象等要素,作为基础数据支撑天气分析、模式预报3 3、实况产品生成、灾害管理3 4、预报检验3 5等各种气象业务和重大活动保障3 6,是天擎中下载次数和下载量最多的数据之一。表3为2 0 2 3年3月中国气象局各直属单位使用地面自动气象站数据最多的业务系统的访问情况。表3 2 0 2 3年3月中国气象局各直属单位通过业务系统获取地面自动气象站小时数据情况汇总T a b l e 3 S u mm a r y o f g r o u n d a u t o m a t i c w e a t h e r s t a t i o n s h o u r l y d a t a f r o m s y s t e m s b y v a r i o u s i n s t i t u t i o n s o f C h i n a M e t e o r o l o g i c a l A d m i n i s t r a t i o n i n M a r 2 0 2 3 单位系统名称访问次数数据量/G B国家气象信息中心天擎实况1 7 8 4 4 1 8 22 2 7 3 9.5中国气象科学研究院东亚区域再分析及智能预报竞赛系统7 5 3 7 0 79 4 0 0.8国家气象中心智能网格预报处理系统6 0 3 9 4 43 3 0 5.1气象探测中心综合气象观测数据质量控制系统_天衡天衍3 7 2 8 4 03 5 0.6气象干部培训学院短临预警技能与素质综合训练系统2 4 7 2 0 71 5 8 0.8人工影响天气中心人影效果评估系统1 1 3 4 9 11 6 9 5.5国家气候中心气候变化影响评估与服务系统4 2 5 9 18.5国家卫星气象中心卫星天气应用平台(S WA P)2 2 4 2 55 4.4公共气象服务中心国家级交通气象服务业务1 3 6 4 72 2 9.5地球系统数值预报中心G R A P E S数值预报业务系统5 5 1 74 4.84.2 实况应用多源气象数据融合研究的重点是地面站点观测数据与卫星、雷达等遥感手段获取的面观测数据的融合分析技术,因此地面自动气象站数据的时效性和稳定性对多源气象数据融合实况产品的研制有重要影响3 7。2 0 2 1年1 1月2 5日实况分析系统将其数据源由C I M I S S切换至天擎,整点后2.5 m i n检索到地面自动气象站小时数据由原来的约31 04个站增长至约61 04个站,增加近1倍,可以有效提升实况产品的质量。同时切换后数据获取的波动明显减少,天擎的地面自动气象站数据较C I M I S S更加稳定,有助于提升实况产品的稳定性。后续实况分析系统可根据天擎的入库情况,将获取地面自动气象站数据的启动时间提前,在其他资源不变的情况下,提升实况产品的生成时效。4.3 强对流天气预报预警强对流天气(短时强降水、雷雨大风、冰雹、龙卷)常导致重大人员伤亡和财产损失,具有突发性和局地性强、尺度小、生命史短、灾害严重等特点。国家防灾减灾、重大社会活动和精细化天气预报的需083 应 用 气 象 学 报 第3 5卷 要均对强对流天气的短时临近预报业务提出了更高需求3 8。时效和精准是强对流天气预报预警的重要考量,直接影响防灾减灾效果。地面自动气象站数据流式处理为解决当前短时临近预报业务面临的“既要时效性强、又要预报精准”的问题3 9提供了基础数据支撑。作为强对流天气预报预警中最重要的数据源之一,地面自动气象站数据服务时效的提升,一方面可以使强对流监测系统更快捕捉到超出要素阈值的报警,从而提高预警提前量;另一方面,对于强降水等使用最新地面自动气象站数据进行订正的短时临近预报系统4 0,使其获得更多站点数据,从而提高临近预报准确率。4.4 省级应用省级天擎中本省和外省地面自动气象站数据接入流程不同,本省地面自动气象站数据由通信系统直接收集的B U F R数据消息接入,外省数据则通过国家级下发的B U F R文件接入。基于S t o r m的地面自动气象站数据流式处理可直接应用于省级天擎本省数据的处理,提升本省数据处理时效。由于数据的编报规则和处理规则相同,地面自动气象站数据流式处理中增加针对B U F R文件的处理拓扑后,同样可应用于外省数据处理,使省级天擎具备处理全国地面自动气象站数据的能力。以2 0 2 3年2月2 02 2日河北、上海、湖北、广东、陕西、黑龙江、四川、新疆等8个省级天擎每日0 0:0 0和0 4:0 0区域气象站小时数据平均入库为例,其中广东平均入库站数为7 0 4 8 5,新疆平均入库站数为6 7 8 1 8,上海平均入库站数为6 7 8 5 3,3个省(市)均接入全国近1 0 0%的区域气象站小时数据;以服务时效衡量,8省区域气象站小时数据的平均服务时 效 均 小 于4 m i n。因 此 即 使 在 接 入 全 国1 0 0%区域气象站的情况下,省级天擎区域气象站小时数据的平均服务时效也可达到4 m i n,具备快速处理全国区域气象站数据的能力。5 小 结基于S t o r m的地面自动气象站流式处理直接解码R a b b i t MQ传输的B U F R数据消息,通过可靠的高并发流式处理,实现地面自动气象站数据的即时处理,得到以下结论:1)提升数据服务时效。在国家级天擎,国家气象站小时数据的服务时效由C I M I S S整点后的1 7 5 s提高至7 8 s;区 域 气 象 站 小 时 数 据 服 务 时 效 由C I M I S S整点后的5 m i n提高至2 m i n。实况分析系统数据源从C I M I S S切换至天擎后,相同时间检索到的站点数量是C I M I S S的2倍,有效提升实况产品质量。2)基于S t o r m的地面自动气象站流式处理设计消息队列重连、数据库重连、预留硬件资源的部署方式提高系统的稳定性,使系统具备一定自愈