地面气象观测站自动化监控预警平台设计与实现.pdf

第期气 象 水 文 海 洋 仪 器N o 年月M e t e o r o l o g i c a l,H y d r o l o g i c a l a n dM a r i n e I n s t r u m e n t sJ u n 收稿日期:基金项目:中国气象局山洪地质灾害防治气象保障工程项目()、国家气象信息中心气象综合业务智能监控创新团队项目(气信发 号)和高原与盆地暴雨旱涝灾害四川省重点实验室项目(S C Q X K J QN )资助作者简介:张常亮(),男,硕士,高级工程师主要从事气象信息系统研发、智能运维和云计算等技术研究工作地面气象观测站自动化监控预警平台设计与实现张常亮,谢银海,何星庭,(四川省气象探测数据中心,成都 ;高原与盆地旱涝灾害四川省重点实验室,成都 )摘要:文章基于分布式技术的气象综合业务实时监控技术架构,开展地面气象观测站自动化监控技术研究,详细设计了气象观测站自动化监控总体流程、数据采集对接策略、关键技术指标、监控信息和告警信息.采用面向服务的体系结构开发并实现地面气象观测站自动化监控和告警,增强了业务故障预警能力,提高了设备运维保障效率,研究成果在四川省、市、县三级气象部门开展业务应用,解决了观测自动化业务综合观测运行监控能力不足的难题,极大地提高了地面气象观测自动化水平.关键词:地面气象观测站;自动化监控预警;状态算法中图分类号:T P 文献标识码:A文章编号:X()D e s i g na n dr e a l i z a t i o no fa u t o m a t i cm o n i t o r i n ga n de a r l yw a r n i n gp l a t f o r mf o r s u r f a c em e t e o r o l o g i c a l o b s e r v a t i o ns t a t i o nZ h a n gC h a n g l i a n g,X i eY i n h a i,H eX i n g t i n g,(S i c h u a nM e t e o r o l o g i c a lD e t e c t i o nD a t aC e n t e r,C h e n g d u ;S i c h u a nK e yL a b o r a t o r yf o rD r a u g h ta n dF l o o dD i s a s t e r s i nP l a t e a ua n dB a s i n,C h e n g d u )A b s t r a c t:T h i sp a p e r,b a s e do nt h er e a l t i m em o n i t o r i n gt e c h n o l o g yf r a m e w o r kf o r i n t e g r a t e dm e t e o r o l o g i c a ls e r v i c e s,i nw h i c ht h e d i s t r i b u t e d t e c h n o l o g y i s a d o p t e d,m a k e s a r e s e a r c ho f t h e s t u d yo f a u t o m a t i cm o n i t o r i n gt e c h n o l o g yf o rs u r f a c em e t e o r o l o g i c a ls t a t i o na n dd e s i g n si nd e t a i l st h ef o l l o w i n ga s p e c t si n v o l v e di nt h ea u t o m a t i cm o n i t o r i n gf o rm e t e o r o l o g i c a lo b s e r v a t i o ns t a t i o n,i n c l u d i n go v e r a l lp r o c e s s,d a t aa c q u i s i t i o na n di n t e r c o n n e c t i o ns t r a t e g y,k e y t e c h n i c a l i n d i c a t o r s,m o n i t o r i n g i n f o r m a t i o na n dw a r n i n g i n f o r m a t i o n T h e s e r v i c eo r i e n t e ds y s t e ms t r u c t u r ed e v e l o p m e n t i s a d o p t e da n d t h e a u t o m a t i cm o n i t o r i n ga n dw a r n i n g f u n c t i o n s f o r t h es u r f a c em e t e o r o l o g i c a l o b s e r v a t i o ns t a t i o na r er e a l i z e d,e n h a n c i n gt h ec a p a c i t yo fe a r l yw a r n i n gf o ro p e r a t i o nf a u l t s a n d i m p r o v i n g t h eo p e r a t i o na n dm a i n t e n a n c ee f f i c i e n c yo fe q u i p m e n t B e s i d e s,t h er e s e a r c hr e s u l t sa r ea p p l i e d i nt h eo p e r a t i o n sc o n d u c t e di nt h em e t e o r o l o g i c a ld e p a r t m e n t so fp r o v i n c i a l,m u n i c i p a la n dc o u n t yl e v e l s r e s p e c t i v e l y,a n di nt h i sw a y,t h ep r o b l e mo f i n s u f f i c i e n tc a p a c i t yi nc o m p r e h e n s i v eo b s e r v a t i o na n do p e r a t i o nm o n i t o r i n gf o ra u t o m a t i co p e r a t i o n si ss o l v e da n dt h ea u t o m a t i cl e v e lo fg r o u n d m e t e o r o l o g i c a lo b s e r v a t i o n i sg r e a t l y i m p r o v e d K e yw o r d s:s u r f a c em e t e o r o l o g i c a lo b s e r v a t i o ns t a t i o n;a u t o m a t i cm o n i t o r i n ga n de a r l yw a r n i n g;s t a t ea l g o r i t h m气 象 水 文 海 洋 仪 器J u n 引言随着气象事业信息化和现代化工作的推进,综合气象观测系统自动化水平不断提高,气象预报和服务对观测设备故障恢复、数据质量控制、资料处理传输、信息网络运行监控等业务的质量和时效要求越来越高.气象观测业务的发展对观测设备的运行监控和运维保障提出了更高的要求,迫切需要加强对地面气象观测站的设备运行状态、数据采集处理、传输和应用等环节的实时监控,实现地面气象观测站自动化监控预警,提高气象观测业务运维联动保障能力 .气象综合业务监控系统基于云计算、大数据、移动互联、人工智能等新一代信息技术,采用独立于气象业务平台的“松耦合”策略,由国、省统一规划、统一设计、统一标准、开放共建,涵盖观测、预报、服务、管理全业务的监控大数据平台,形成“全业务、全流程、全要素”的全局一体化监控 .现有省级气象综合业务监控系统数据全流程缺少对观测端设备状态的监控,为满足气象数据“全生命周期”监控要求,围绕气象综合业务智能监控和应用,开展观测端监控技术的应用研究,将数据全流程监控环节延伸至综合气象观测,研究地面气象观测站设备状态数据的监控应用,实现对观测端设备健康运行的管理,为提高综合气象观测数据质量和观测自动化能力提供强有力的支撑.平台总体设计气象数据“全生命周期”监控中的观测端监控通过对接气象观测站设备状态数据实现,基于气象综合业务监控系统技术架构实现地面气象观测站设备状态数据的采集、解析入库、关键指标、监控方法、监控信息(D I)、告警信息(E I)和监控界面等功能的设计.通过总体设计气象观测站状态数据监控流程、研制数据对接方法、凝练监控指标、D I/E I和页面设计,实现观测端气象观测站状态的实时监控,为各省级气象部门开展观测端监控研发和应用推广提供技术指导.地面气象观测站监控策略和状态算法气象观测站状态数据监控总体流程设计如图所示.观测端气象观测站设备状态文件S O S测报软件生成并发送至国内通信系统C T S ,地面自动气象站状态信息文件为XM L,文件名:Z_S U R F_I_I I i i i_Y Y Y YMMD D HHmm S S_R_A W S_F TM XM L.气象综合业务监控系统通过对接C T S 气象观测站状态消息流,解析处理后生成D I信息,存入E l a s t i c S e a r c h数据库,提取关键监控指标.图观测端(气象观测站)监控总体设计气象综合业务监控系统在读取气象观测站关键状态指标后,根据特定的算法对气象观测站状态进行综合判断,生成站点实时状态和告警信息,并在监控界面展示.状态判定算法:站点状态分为“正常”“异常”“缺测”“不可用”和“维护”种类型.“正常”表示所有指标均正常;“异常”表示存在指标异常,关键指标存在轻微或一般告警的阈值设定超限;“缺测”表示无状态文件;“不可用”为设备关键指标存在严重告警的阈值设定超限;“维护”表示设备处于维修单或停机单的时间段内.地面气象观测站监控数据采集处理气象综合业务监控系统通过对接C T S 的气象观测站消息队列获取观测设备状态数据并解析.RMQ消息队列名称为:Q O B S B C C DT J A R .E I告警信息通过天镜告警接口对接.接口:h t t p:/a l e r t/o p e n a p i/v/c r e a t e?a p i k e y&a p p_k e y.D I监控信息通过气象综合业务监控系统E S库提供的数据录入接口,将气象观测站状态数据录入到气象综合业务监控系统E S数据库供查询调用.接口:h t t p:/s t o r e/o p e n a p i/v/l o g s/p u s h_b a t c h?a p i k e y e a e a a b d e a a c .观测设备维护信息通过天元提供的接口获取,包括观测设备的维修、停机等维护单数据.地面气象观测站关键监控指标设计文章研究气象观测端监控技术指标,梳理气象观测站大类 多个深层指标.监控关键技术指标包括总体状态、通信状态、电源状态(供电方式、设备主采主板电压)、采集器工作状态(主分采运行状态)、传感器工作状态和维护信息.地面气象观测站监控告警信息设计文章对告警信息通用项进行了设计,包括告警第期张常亮,等:地面气象观测站自动化监控预警平台设计与实现名称n a m e,告警级别s e v e r i t y,告警描述d e s c r i o t i o n,告警发生时间o c c u r_t i m e,告警关联的资源名称e n t i t y_n a m e,告警关联的资源地址e n t i t y_k e y,在a l e r t平台上用于合并告警的字段m e r g e_k e y,告警丰富字段i d e n t i f y_k e y和拓展属性p r o p e r t i e.E I告警中设备运行状态监视告警类型包括:通信状态值异常告警、P C终端连接的通信状态告警、电压偏高/偏低告警、自检状态异常告警、设备主板电压状态异常告警和蓄电池电压状态异常告警.地面气象观测站监控信息设计文章详细设计了气象观测站监控信息D I字段和E S库字段说明,如表所示.表D I字段设计详细说明D I字段E S库字段说明_i n d e x索 引 名 称:h x l c_f a f f e e a c c d f _y y y y MM_t y p et y p e名 称:H X L C E Q U I P M E N TN A T I O NS T A T U S_i ds t a i d o b s e r v e d T i m e s t a t es t a i d站号o b s e r v e d T i m e数据时间戳:o b s e r v e d T i m e,取自消息头o T i m et y p e V a l u e数据类型:t y p e V a l u e(d e t a i l:小状态,o v e r v i e w:大状态)d e s c r中文说明:d e s cc r e a t e T i m e入库时间v a l u e状态值s t a t e状态名称平台主要功能 监控架构设计平台基于省级气象综合业务实时监控系统技术架构(图),主要采用S OA(面向服务的体系结构)、J E E架构和S p r i n gB o o t构件进行分层次、组件化的应用软件构建,按照高性能、大容量原则进行技术设计,提供平滑可伸缩的系统架构,支持高并发量用户访问,具备良好的扩展性.监控平台通过对状态数据采集和综合统计分析,实现对各类系统资源产生的告警事件或第三方系统获取各类告警信息进行统一处理,按照预定义的事件规则,经过过滤、分类、分级、转换等处理环节,形成有效的预警或故障告警信息,通过图形化方式进行展示.平台数据支撑层包括基础的软硬件支撑,如服务器、数据库软件、网络设备等,其他平台支撑包括状态数据对接C T S、天镜系统数据存储位置、台站I S O S软件监视;监控数据源主要包括台站观测设备状态数据、网络设备运行状态数据、通信线路运行状态数据、告警数据、地面观测资料传输监控数据和台站配置数据等.图气象观测站监控系统架构平台数据存储于“天镜四川”省级监控平台,通过统一数据接口进行数据读写.数据存储包括状态数据(如观测设备运行状态、网络设备运行状态等)、数据指标数据(如台站服务器性能指标等)、采集任务配置数据(如定时任务时间、频次数据)和台站配置数据等.技术支撑包括数据采集(探针、爬虫)、对接和W e b服务(S p r i n gB o o t等)、展示(E c h a r t s,D,R e a c t,N g i n x和三维可视化组件)等方面.平台应用层包括数据采集分析、台站观测设备运行状态监控、台站网络设备及通信线路运行状态监控、地面观测资料传输监控、监控信息可视化展示和监控告警等功能,通过A P I接口与现有“天镜四川”平台对接.平台展示层主要包括监控信息的可视化,实现各分系统监控功能展示及可视化视图展示,其中告警信息推送给业务保障和管理人员.气 象 水 文 海 洋 仪 器J u n 应用效益文章基于气象综合业务监控系统开展地面气象观测站监控预警技术研究和相关工作,实现气象观测站监控功能,创新设计气象观测站监控关键指标和监控策略;首次扩展数据全流程监控到观测端,解决观测自动化业务亟需的综合观测运行监控能力不足的问题.平台可实现气象观测站综合监控、助力观测自动化,研究成果应用于四川 个气象观测站设备运行状态、性能参数和告警信息等实时监视和可视化展示,集中监视台站观测、采集、传输和网络等业务关键环节,通过移动运维方式,向省、市、县三级业务运维和管理人员发送告警信息,保障观测自动化业务稳定运行.平台监控界面设计包括站点状态G I S地图显示、实时告警、状态监控和资料监控等模块.地图展示实时状态信息模块可根据时间条件获取台站整体实时状态信息;实时告警模块对台站状态告警进行展示,包括站名、故障类型、详细信息和最后一次告警发生时间;状态监控模块显示关键状态,包括电源状态、主分采状态、传感器工作状态等;资料监控模块显示最近 m i n设备状态文件和分钟资料到报情况 .结束语文章通过开展观测端监控技术研究,解决了地面观测自动化业务综合监控问题,以观测端产生的状态数据为研究对象,以数据“全生命周期”管理监控技术指标研制、气象观测站监控预警技术研发、数据质量监视为研究重点,实现观测端监控和自动化告警,将数据全流程监控环节延伸至观测端,及时向各级保障部门和台站发送告警信息,提高了观测业务保障联动能力,助力观测自动化发展.参考文献:孙超,肖文名,陈永涛气象综合业务实时监控系统的设计J气象科技进展,():李峰,秦世广,周薇综合气象观测运行监控业务及系统升级设计J气象科技,():吉喆基于E l a s t i c s e a r c h的实时大数据统计分析平台的研究与设计D广州:华南理工大学,龙亚星,黄勤,冯慧自动气象站网监控指标体系设计及应用J陕西气象,():唐晓晖,吴晓斌,覃俊斌广西电视台播出应急决策系统的 设 计及 实现 J现代 电 视技 术,():周青,贾树泽,张乐坚,等基于新型自动站运行状态的数据质量 判识J气象 科技,():郭茜,刘国强,李从英,等基于Z a b b i x气象信息业务监控告警方法实现J中低纬山地气象,():李珏,谭海波,李波,等气象虚拟化云平台搭建及安全防护的探讨J中低纬山地气象,():淡嘉,郑昊,徐诚,等四川省气象预警决策发布系统负载均衡实 现与 性 能优 化J中 低 纬山 地气 象,():彭兴德,王彪,杨静,等气象灾害预警信号质量检验系统设计、开发与应用J中低纬山地气象,():