基于Python的地面自动站J文件数据解码入库设计.pdf

Applications创新应用98 集成电路应用 第 40 卷 第 10 期（总第 361 期）2023 年 10 月摘要：阐述利用Python开发语言，设计了解码入库工具，实现了台站分钟降水数据标准化解码，导入Gbase数据库，为开展地方气候特征分析、气象服务提供了数据支持。关键词：大数据，解码入库，观测数据分析，Python。中图分类号：TP311.13 文章编号：1674-2583(2023)10-0098-02DOI：10.19339/j.issn.1674-2583.2023.10.038文献引用格式：陶睿.基于Python的地面自动站J文件数据解码入库设计J.集成电路应用,2023,40(10):98-99.通过地面自动站采集的分钟数据生成，包含多种要素，本文设计的解码入库工具是针对J文件的降水量（R）字段进行处理。J文件是由台站参数和观测数据两部分组成的文本文件，其中台站参数包含台站号、纬度、经度、海拔高度、气压海拔高度、风速距地高度、观测方式和测站类别、要素项目标识、年份和月份。观测数据是正月观测数据，时间尺度为分钟，即全月数据仅有一段2。其中降水量字段的格式组成为：（1）每小时一条记录，每条记录包含60组数据，每组数据占2位，若位数不足，高位补“0”，每组数据没有间隔符。（2）在小时的时次内，若某分钟后，该时次内再没有降水，直接在降水分钟后录入当前时次结束符“,”若降水分钟前没有降水量，则录入“00”，缺测录入“/”。（3）若在一天之内，某一时次没有降水，直接录入“，”，若缺测，则录入“/,”。（4）若整月之内某一天无降水，直接录入“.”，若缺测，则直接录入“/.”。（5）当全月数据录入结束后，“=”表示结束符，同时也是当月最后一天的结束符。（6）若全月最后一天降水缺测，则必须录入“/=”。（7）若全月无降水，录入为“R0=”，若全月缺测，则录入为“R=”。0 引言气象信息化随着机器学习等新兴技术逐步前进，通过引入机器学习对气象数据长时间序列的处理和分析，可以从气象观探测、数值预报以及地方天气特性等方面实现较大突破。1 研究背景自20世纪以后，地面观测方法由人工观测发展为自动观测，地面自动站从最初的不足3 000个，迅速拓展到现在的近60 000余个，观测频率也由最初的3h-1发展到目前的1min-1，地面观测资料也呈现了几何量级的增长1。气象数据是实现气象“云+端”的应用中的基础之一，其中气象历史数据是气象数据构成的一部分。目前，气象历史数据存在数据格式不统一、时间序列不完整以及重复等问题，对气象研究造成了较大困扰，而要解决这些问题，首先要确定统一存储格式，并且对数据进行唯一约束，通过统一服务方式对气象工作者进行服务。因此，本文将详细介绍以地面气象分钟观测月报数据文件（J文件）为解码对象，并录入历史分析库（Gbase数据库）的解码入库工具的设计以及在历史数据处理上的应用情况。2 地面自动站J文件地面气象分钟观测月报数据文件（J文件）是基于Python的地面自动站J文件数据解码入库设计陶睿（内蒙古自治区气象数据中心，内蒙古 010051）Abstract This paper expounds the use of Python development language to design a decoding and storage tool,achieving standardized decoding of station minute precipitation data,and importing it into the Gbase database,providing data support for local climate feature analysis and meteorological services.Index Terms big data,decoding and warehousing,observation data analysis,Python.Design of J-file data decoding and storage for ground automatic station based on PythonTAO Rui(Meteorological Data Center of Inner Mongolia Autonomous Region,Inner Mongolia 010051,China.)作者简介：陶睿，内蒙古自治区气象数据中心，硕士；研究方向：计算机技术、气象信息技术应用。收稿日期：2023-04-18；修回日期：2023-09-26。Applications 创新应用集成电路应用 第 40 卷 第 10 期（总第 361 期）2023 年 10 月 993 解码入库工具设计与应用针对地面气象观测月报数据的处理，目前大多为采用格式转换的方式进行解析，通过将文本文件转换为Excel文件进行审核，但是仅格式转换无法满足标准化录入数据库的需求。解码入库工具具有三个功能：数据解码、文本生成和数据入库。地面自动站J文件数据解码入库工具通过对地面气象分钟观测月报数据文件（J文件）降水段进行标准化解码，即将台站分钟降水数据按照国家标准表结构：“台站号”“经度”“纬度”“降水量”的方式进行解析，并按照标准格式生成文本文件，再通过文本导入的模式写入Gbase数据库，实现历史数据标准化补录。3.1 数据解码功能数据解码功能主要实现对地面气象分钟观测月报数据文件降水段进行逐行解码，并生成标准格式数据，具体实现过程如图2所示。（1）台站参数解析。J文件首行是由11组数据组成的台站参数，排列顺序固定，为排列顺序为区站号、纬度、经度、观测场海拔高度、气压感应器海拔高度、风速感应器距地（平台）高度、观测平台距地高度、观测方式和测站类别、要素项目标识、年份、月份。为标准录入数据库，数据表结构按照台站参数顺序设计。（2）时间转换。J文件是以分钟为时间尺度的数据观测文件，在进行逐行数据解码时，每读取两个字节的数据，时间都需要增加1min，所以需要定义时间增长函数。解码入库工具都是利用Python语言进行编写设计的，根据Python语言的强类型特点，需要对时间类型的对象进行字符类型转换。上述函数关键代码如下。def datetime_add_hour_datetime(dt_datetime,hours,format):try:delta=timedelta(hours=hours)n_days=dt_datetime+delta return n_days except:print(datetime_add_hour_datetime:+dt_datetime)return（3）降水解码。J文件每小时一条记录，每条记录包含60组数据，每组数据占2位，若位数不足，高位补“0”，每组数据没有间隔符。在逐行读取J文件时，首先要按照字符进行判断，是否存在缺测或是终止符，若缺测，降水值则为“999999”，若没有降水，降水值则为“0”；若时间段内有降水，则每隔两个字符进行分割，并且数据应缩小为1/10才是降水量，关键代码如下。while D_DATETIME end_time:if line=,:rain=0 elif line=/,or line=/.or line=/=:rain=999999 else:line=line.replace(,)if(i*2)len(line):temp=linei*2:(i*2+2)if temp=/:rain=999999 else:value=float(temp)rain=value*0.1 else:rain=0 D_DATETIME=D_DATETIME+timedelta(minutes=1)3.2 文本生成功能文本生成功能是对J文件进行完解码处理后生成文本文件，一方面是为了适配Gbase数据库进行海量数据迁移，另一方面也是为了进行数据备份，在进行数据库存储后，将标准化解码后的数据按照文本形式在NAS盘进行存储。实现流程入图3所示。3.3 数据入库功能历史气象数据依据现有存储规范，存储在Gbase数据库当中，因此为了规范化存储数据，解码入库工具设计了数据入库功能，实现将数据解码后导入Gbase数据库。Gbase数据库支持hdfs，ftp，http,sftp这几种协议的导入，本文采用的是sftp协议，使用Load方式和通配符导入多数据文件 3.4 应用展示+地面自动站J文件数据解码入库工具将2005 2020年内蒙古自治区国家站J文件的降水数据进行了解码，并将生成的文本文件存储至服务器中进行备份，同时将标准化数据导入了Gbase数据库中，累计数据量为6亿多条，实现了内蒙古地区历史数据长序列延续。4 结语气象历史数据完整性的提升对气象数据的质量十分重要，同时对气象数据的理解也更有益处。本文通过Python实现对地面自动站J文件降水数据的解码和入库，可以有效解决历史数据标准化存储的问题，同时可以对气象数据的长序列延续有较大帮助，为后续开展地方气候特征分析、气象服务提供了数据支持。参考文献1 沈文海.气象数据的“大数据应用”浅析大数据时代思维变革的适用性探讨J.中国信息化,2014(11):20-31.2 王东,黎晓红.分钟观测数据文件的预审J.广东气象,2009,31(05):65-66.