基于新疆智能网格强对流短时预报产品的集约化系统的设计与实现.pdf

科技与创新Science and Technology&Innovation222023 年 第 17 期文章编号：2095-6835（2023）17-0022-03基于新疆智能网格强对流短时预报产品的集约化系统的设计与实现肖俊安，芒苏尔艾热提（新疆维吾尔自治区气象台，新疆 乌鲁木齐 830002）摘要：为落实第八届全国气象行业天气预报职业技能竞赛智能预报技术方法单项实施方案，提高未来新疆智能网格强对流短时预报业务的支撑能力，设计并实现了基于新疆智能网格强对流短时预报产品的集约化系统。该系统对新疆智能网格强对流短时预报竞赛产品进行了统一的管理和监控，各环节衔接有序。对系统的整体架构、主要功能、关键技术等进行了详细阐述。系统自投入使用以来，整体运行高效稳定，确保了竞赛产品完整准时地上传到中国气象局，有利于提升新疆强对流短时预报技术的先进性和智能化水平。关键词：智能网格；强对流短时预报；集约化系统；分层架构中图分类号：P49；TP311文献标志码：ADOI：10.15913/ki.kjycx.2023.17.006为适应气象预报业务智能精准、客观定量的发展要求，应推进研究型业务发展，激励广大研发人员和预报员积极开展预报技术方法研发和业务应用，促进预报关键技术突破和自主可控，提升预报技术的先进性和智能化水平，提高预报准确率，实现创新驱动气象预报高质量发展。开发智能网格业务系统已成为智能网格预报的优化方向之一，郑波等1分析了智能网格预报业务的特点，阐述了全国综合气象信息共享平台的精细化格点业务数据环境的数据流程、核心功能等相关技术。目前国内很多省份也都完成了个性化的智能网格预报平台的设计与实现2-4。本研究主体采用C/S 架构，监控模块采用 B/S 架构，可以对每个环节生成的预报产品进行管理和监控。设计与实现基于新疆智能网格强对流短时预报产品的集约化系统，对今后的新疆智能网格强对流短时预报业务也具有较好的支撑作用。1新疆智能网格强对流短时预报产品介绍新疆智能网格强对流短时预报产品中主要包含了3 个产品，即强降水预报产品、大风预报产品和雷暴预报产品。强降水预报产品是基于 CLDAS 格点融合产品基础上对多个模式产品的检验加权分级订正后生成的，短时大风预报产品是利用 CLDAS 格点融合产品和多模式的全格点滚动建模技术生成的，雷暴预报产品是主要基于高分辨率区域模式预报产品基础上进行概率模糊和动态取优方法后生成的。本次强对流短时预报产品主要基于中国气象局下发的 GRAPES-MESO-3KM 模式产品、新疆本地的DOGRAFS 模式产品和中亚睿图 RMAPS 模式产品技术上制作产生的，综合利用了国内在新疆地区的主要模式产品，建立了时空统一的模式产品数据集。新疆短时强降水预报产品和雷暴预报产品都是新研发产品，预估目标不低于所有模式预报准确率，大风预报产品目前要远高于模式预报产品准确率。2系统架构设计基于新疆智能网格强对流短时预报产品的集约化系统的架构采取统一标准的设计原则，采用分层架构设计，自下而上依次是数据层、业务层，表现层。各层之间既相对独立又形成一个统一的整体，实现系统的高内聚、低耦合的特点。这样不仅有利于系统独立运行，同时也便于系统的维护和管理。系统整体架构设计如图 1 所示。数据层主要是由新疆多模式集成滚动订正的强对流预报技术方法生成的强对流初始产品、后处理产品和最终产品及备份报的本地存储。业务层逻辑是整个系统的核心组成部分，主要是针对一系列产品的业务操作逻辑。主要分为产品汇总模块、产品处理模块、流程调度模块、FTP 上传模块、产品压缩编码模块和备份报模块。业务层配置提供系统的管理和维护服务，包括起报时和路径信息的配置、短时强降水和大风的阈值项目来源：本文受第二次青藏高原综合科学考察研究项目（编号：2019QZKK0102）资助Science and Technology&Innovation科技与创新2023 年 第 17 期23配置、流程调度信息配置、FTP 上传信息配置、最终产品压缩编码信息配置和网络站点配置。系统通过结合环境变量和 ConfigParser 库读取外部 ini 配置文件内的多种参数来进行配置管理。表现层主要是调用 Rest 服务请求的接口，将数据层中产品明细和平台层中各模块的处理结果返回至前端，通过 Javascript 脚本对返回信息处理生成监控流程和报警信息，将其渲染至网页上显示。3主要功能新疆智能网格强对流短时预报集约化流程系统的主要功能设计包含系统运行、双备份报、调度管理、产品监控及信息展示 5 个部分。3.1系统运行3.1.1资料及产品归档入库为了后续对初始产品、后处理产品和最终产品的处理更加高效便捷，符合气象目录规范和使用习惯的统一存储就显得尤为重要。部分存储目录的结构如表 1所示，目录结构共设置为 4 个层级，分别是根目录和 1、2、3 级子目录。其中根目录和 1、2 级子目录都是固定目录，用于区分初始产品和最终产品以及各要素；3级子目录是可变的，根据产品日期 YYYY/YYYYMMDD（4 位数年份/4 位数年份+2 位数月份+2 位数日期）和起报时 HH（2 位数小时数）的变化建立，用于动态具体的归档产品。图 1基于新疆智能网格强对流短时预报产品的集约化系统整体架构表 1部分存储目录结构产品名称根目录1 级子目录2 级子目录3 级子目录降水初始产品/Strong_ConvectionOriginal_ProductPreYYYY/YYYYMMDD/HH阵风初始产品/Strong_ConvectionOriginal_ProductGustYYYY/YYYYMMDD/HH闪电初始产品/Strong_ConvectionOriginal_ProductThunderYYYY/YYYYMMDD/HH强降水最终产品/Strong_ConvectionFinal_ProductStrongPreYYYY/YYYYMMDD/HH雷暴大风最终产品/Strong_ConvectionFinal_ProductThunderwindYYYY/YYYYMMDD/HH单站站点最终产品/Strong_ConvectionFinal_ProductStationForcastYYYY/YYYYMMDD/HH3.1.2强对流产品加工处理使用 Pandas 和 Numpy 两种数学函数库对数据进行加工：对新疆智能网格降水格点产品进行范围切割、阈值筛选处理得到 Micaps 第四类格式的强降水产品；对新疆智能网格阵风和闪电格点预报产品进行阈值筛选后，分别得到由值为 1（有）和 0（无）构成的大风和闪电预报，通过二者对应格点数值相交，得到 Micaps第四类格式的雷暴大风格点预报产品。对强降水和雷暴大风预报产品进行插值处理，得到乌鲁木齐市站单站强对流精细化报文。对强降水和雷暴大风预报的Micaps 文件进行压缩编码，打包生成符合竞赛标准的Grib2 文件格式的产品，并汇总在 Final_Product 对应要素的目录中，等待 FTP 程序自动上传至竞赛服务器。3.1.3产品推送对最终产品路径里符合命名规范的各类文件列表快速检索，根据产品名称中的关键字、日期和存储格式，通过 FTP 的方式，动态地将产品推送到竞赛服务器对应目录中。3.2双备份报由于此次竞赛规则中有一项主要考察各参赛队上传的参赛预报技术方法生成预报产品的稳定性和到报及时率，为了避免出现服务器故障或其他不可抗力导致强对流产品无法按时生成的情况，系统采用了双份备份报机制，2 份备份报最终都会推送至信息中心竞赛服务器。如果到上传中国气象局时间点正式产品仍未生成，则自动优先上传订正备份报，如果订正备份报也未生成，则上传基础备份报。3.2.1生成基础备份报强对流服务器上部署了一套基础备份报生成程序。每天 17：00 基础备份报生成程序将固定的无强降水、无雷暴大风的 Micaps 模板文件名和内容中的日期替换成次日的，经过压缩编码后一次性生成次日的所有产品。3.2.2生成订正备份报备份服务器上部署了一套订正备份报生成程序。订正备份报则在正式产品上传前一小时生成。订正备科技与创新Science and Technology&Innovation242023 年 第 17 期份报采用中国气象局下发的全国强降水和雷暴大风指导产品作为基础预报产品，在此之上进行新疆区域范围裁剪及质控，再进行压缩编码后生成。3.3调度管理3.3.1系统运行流程调度分别在 01：0001：30、07：0007：30、13：0013：30、19：0019：30 这 4 个时间段每分钟并行执行资料及产品归纳入库、产品加工处理、强对流产品压缩编码、最终产品推送 4 个子程序。3.3.2双备份报生成调度基础备份报调度：每日 17：00 执行次日的强对流模板压缩编码、最终备份报推送 2 个子程序。订正备份报调度：分别在 00：0001：30、06：3007：30、12：3013：30、18：3019：30这 4 个时间段每分钟并行执行中国气象局下发的全国强降水和雷暴大风指导产品归纳入库、产品加工处理、强对流产品压缩编码、最终订正备份报推送 4 个子程序。3.4产品监控及信息可视化为方便管理人员对产品状态有直观的了解，配合Django 框架快速开发了新疆智能网格强对流竞赛产品监控模块。该模块实现一个简单的单页面应用，模块的查询接口采用 RESTful 架构开发，遵循 RESTfulAPI规范。用户在模块网页前端选取日期和起报时等接口参数，点击查询后，访问 URL 接口调用后端的监控服务逻辑，将结果以 JSON 的格式返回至前端渲染，管理人员可以清晰看到每次产品生成、推送的状态和数量，及时发现问题的所在。4结束语基于新疆智能网格强对流短时预报产品的集约化系统对新疆智能网格强对流短时预报产品的定时汇总、处理、上传、监控等流程进行了统一的管理，各环节有序衔接。系统自投入使用以来，整体运行高效稳定，确保了竞赛产品完整准时地上传中国气象局。目前系统在功能完整性方面还存在不足，例如 Web 监控应用的后端逻辑尚未接入产品就位时间和系统报错日志等信息。后期还需要继续在产品监控和故障告警等功能方面进行完善和升级，为新疆智能网格强对流短时预报产品的集约化管理提供更好的支撑作用。参考文献：1郑波，李湘，何文春，等.基于 CIMISS 全国精细化格点预报业务数据环境系统设计与实现J.气象科技，2018，46（4）：670-677.2李有华，卢小风，陈剑飞，等.基于智能网格产品的广西行业气象服务集约化系统的设计与实现J.气象研究与应用，2019，40（4）：59-62.3李雪丁，曾银东，陈金瑞，等.福建省智能网格海洋预报业务系统实现与应用J.海洋预报，2021，38（1）：10-17.4李显风，张玮，李芬，等.基于 WebGIS 的实况网格产品应用分析平台及关键技术J.气象科技，2020，48（2）：185-194.作者简介：肖俊安（1995），男，四川广汉人，本科，助理工程师，从事气象系统开发和数据挖掘工作。（编辑：张超）（上接第 21 页）2018，39（3）：567-571.6范玉强，龙慧云，吴云.K-means 算法在隐语义模型中的应用J.计算机与数字工程，2016，44（4）：572-574，609.7陈晔，刘志强.基于 LFM 矩阵分解的推荐算法优化研究J.计算机工程与应用，2019，55（2）：116-120，167.8杜丹琪，周凤.基于 TimeRBM 和项目属性聚类的混合协同过滤算法J.计算机应用研究，2018，35（2）：349-353.9李嵩，李书琴，刘斌.改进的协同过滤算法及其并行化实现J.计算机工程与设计，2018，39（12）：3853-3859.10于金明，孟军，吴秋峰.基于改进相似性度量的项目协同过滤推荐算法J.计算机应用，2017，37（5）：1387-1391，1406.11JIANG Y，LIAO Y，YU G.Affinity propagation clusteringusing path based similarityJ.Algorithms，2016，9（3）：46-58.12甘月松，陈秀宏，陈晓晖.一种 AP 算法的改进：M-AP 聚类算法J.计算机科学，2015，42（1）：232-235，267.13王升升，赵海燕，陈庆奎，等.个性化推荐中的隐语义模型J.小型微型计算机系统，2016，37（5）：881-889.14HAPER F M，KONSTANJA.Themovielens datasets：historyand contertJ.ACM trans on interactive intelligent system，2016，5（4）：1-19.作者简介：顾明星（1994），男，江苏昆山人，硕士研究生，研究方向为数据挖掘。张梦甜（1995），女，江苏昆山人，硕士研究生，研究方向为数据挖掘、人工智能。（编辑：严丽琴）