基于大数据的航天试验数据管理系统建设与应用.pdf

Software Application 软件应用IM投稿网站： 2023年第5期 73基于大数据的航天试验数据管理系统 建设与应用赵振杰，闫月晖，秦绪国，陈世东（北京航天长征飞行器研究所，北京 100076）摘要：试验是航天型号产品研制过程中的一个重要环节，针对航天产品试验种类多、数据量大、管理和挖掘应用困难的特点，建设了基于大数据的航天试验数据管理系统，实现了海量试验数据集中管理、分析处理、再利用及数据集成等功能，极大地提高了试验数据管理与分析应用的效率，为航天产品优化设计提供支撑依据。关键词：试验数据；大数据；算法1引言试验贯穿航天产品设计与生产的整个过程，在航天产品研制的各个阶段尤其是工程研制阶段总体与分系统均需要开展大量的科学试验以验证产品设计的合理性、可靠性及兼容性1。试验为产品设计、改进及制造过程的故障诊断提供了重要的数据支撑，是产品研发过程中不可或缺的重要环节。近年来，航天领域产品更新换代的周期愈来愈短，系统和技术的复杂性致使产品研制过程中对应的工程试验也越来越多，传统依靠人工对试验数据进行管理的方式缺乏统一的试验管理机制，导致企业不同试验成员间，尤其是不同部门间的试验数据不能共享，同时试验数据的完整性、安全性也难以保证，从数据中获取规律，实现试验知识和经验的积累，更是难上加难。随着信息处理和分析技术的飞速发展，大数据时代已经到来2。基于大数据技术强大的数据处理能力可从海量试验数据中挖掘出有价值的信息，通过分析这些信息，找到试验测试中隐藏的数据规律，指导工程人员开展产品的优化设计。因此，本文通过开发基于大数据的航天试验数据管理系统，实现航天产品海量试验数据的规范管理与高效应用。2现状与需求分析2.1管理现状航天产品在研制过程中积累了丰富的试验数据，但试验数据管理方式陈旧、低效，往往通过人工整理形成数据包络分析，缺乏体系化的挖掘对比、评估仿真等手段，不利于航天产品试验数据资源的共享，具体表现：1）缺乏统一的数据管理平台。大量的试验数据、仿真数据以不同的方式在个人电脑或部门级试验数据管理平台中进行分散管理，缺乏统一的保存管理机制，难以实时查询和共享，且数据之间的关联关系无法保存，难IM软件应用 Software Application74 2023年第5期以快速实现跨型号数据纵向比对。2）缺少规范化的数据管理手段。试验数据所用的各种采集设备、测试仪器、测试系统和处理软件来自不同厂家，型号及版本不同，所生成的试验数据格式不一致，缺乏描述性信息，严重影响了试验数据的使用效率。3）对大数据处理与应用经验不足。航天产品飞行试验数据单次可达几十 G，无论是个人电脑还是试验系统管理与分析处理都比较困难，因此，试验大数据管理与应用是亟待解决的重要难题。2.2需求分析为实现航天产品从“任务型”研制到“任务与能力型结合”研制的跨越，需要对现有的试验数据管理能力进行提升，具体需求：1）满足海量试验数据管理的需求。航天产品研制是一项多学科、多专业的复杂系统工程，产品研制过程中涉及结构、强度、材料和控制等多专业大量的实物/半实物仿真试验，形成的试验数据量从 1MB 到 100G 不等，对数据的管理、集成、分析和评估必须更加迅速、高效和自动化。2）满足试验数据集成化的需求。通过本系统建设需解决分散的试验数据进行收集和汇总，实现数据的统一存储、有序管理，保证了试验信息的完备性，并防止由于人为原因导致试验数据丢失或损坏。3）提高试验数据后处理效率。由于不同专业的试验数据格式不统一、试验人员采用的试验数据处理软件（或算法）种类繁多，在试验数据后期处理过程中，需要技术人员耗费大量的人力进行处理，提供试验数据后处理统一集成平台，为数据处理提供便利。4）满足试验数据再利用的需求。建立基于大数据的试验数据管理系统可以实现对历史试验数据重新整理，归纳并综合分析，为后续产品设计优化积累数据基础。3系统架构3.1系统技术架构系统采用基于 B/S 的三层体系架构，三层架构分别为数据库层、服务器层和客户端层。数 据 库 层 采 用 国 际 流 行 的 Oralce 关 系 数 据 库 及Clickhouse 大数据库，Clickhouse 数据库具有强大的数据存储和查询能力，适用于海量数据管理，具有良好的稳定性和扩充性。服务器层由多个模块组成，系统支持大量用户并发访问，系统业务逻辑和业务流程都在服务器端进行处理，当服务器超负荷时，能通过服务的集群和负载均衡技术来解决多用户并发访问的问题，确保系统正常运行。客户端提供与用户交互的可视化工具和操作界面，方便用户快捷地完成试验配置、试验数据查询、数据分析绘图等工作。系统技术架构如图 1 所示。图 1系统技术架构Software Application 软件应用IM投稿网站： 2023年第5期 753.2系统功能架构系 统 功 能 设 计 遵 循 符 合 Java EE 规 范 的 多 层、MVC、分布式架构模式，采用组件化、动态化的软件技术，利用一致的可共享的数据模型，以提高系统的灵活性、可扩展性、安全性及并发处理能力；同时，通过导入/导出、标准接口等方式，实现与其他信息系统的集成。航天产品试验数据管理系统采用组件技术将界面控制、业务逻辑和数据映射分离，实现系统内部的松耦合，以灵活、快速地响应业务变化对系统的需求。系统层次结构总体上划分为客户层、统一接入层、界面控制层、应用逻辑层、公共服务层、数据资源层和基础架构平台，通过各层次系统组件间服务的承载关系，实现系统功能，具体如图 2 所示。图 2系统功能架构4系统模块功能航天试验数据管理系统包括工作台面、试验数据管控、试验流程管理等 7 个功能模块。4.1工作台面工作台面为用户提供任务、流程、数据可视化及系统管理界面，可依据用户业务需求开展个性化定制工作，极大地提高工作便捷性和工作效率。4.2试验数据管控试验数据管控包括数据总览、数据导入、数据查询和数据授权四方面内容。其中数据总览支持以 BOM 形式按专业、型号、数据来源等节点查看试验数据，支持BOM 结构按专业进行自定义功能。数据导入支持结构化IM软件应用 Software Application76 2023年第5期和非结构化数据的批量上传，采用基于 MongoDB 的大数据技术实现大文件的解析入库。数据查询提供固定查询、自定义查询等多种查询方式，查询结果在系统中以图形化的方式进行显示。数据授权实现试验数据先授权后查看的原则，可对单个试验数据进行独立授权，有效杜绝低密级人员查看高密级试验数据的违规问题产生。4.3试验流程管理流程管理包括流程定义、流程执行、流程模板和流程监控四方面的功能，流程定义提供面向对象、交互式图形的流程定义模式；流程执行在流程驱动的基础上，实现流程的发起、终止、退回等功能；流程模板可将定义后的流程发布或制作为模板，实现流程的复用；流程监控提供流程执行状态、进度监控和统计报表功能，可使流程发起人员及审批人员及时获得流程的最新状态。4.4 试验数据分析试验数据分析实现用户对入库存储数据的后处理需求，包括数据处理算法库、自研数据处理算法扩展和数据分析处理工具集成功能。其中数据处理算法库包含常用的预处理算法及公式编辑器，如偏置、均方根、插值和拟合等，满足用户对试验数据进行分析处理的基本功能；自研数据处理算法扩展提供对用户自研算法及第三方软件算法包的支持，可能将用户自开发或第三方算法按照系统的规则编译为.dll 或.class 接入到系统中，完成专业特定需求的分析处理；数据分析处理工具集成可实现与 Origin、Matlab、Tecplot 等软件的集成，实现试验数据直接在专用分析软件中打开并进行分析，并通过数据回传的方式将数据分析结果回传至系统，实现试验数据管理系统与分析软件的闭环操作。4.5试验报告管理试验报告管理包括报告模板自定义、试验报报告自动生成功能，报告模板自定义支持用户灵活定义报告内容和格式，建立报告与系统数据的映射关系；试验报告自动生成功能实现试验数据、图片、分析曲线的自动填写，自动化生成试验报告。4.6系统管理系统提供一套满足航天产品数据安全管理机制以保障试验数据的存储与保密安全，通过配置管理、模型管理、组织管理、权限管理、日志管理和三员管理等功能实现试验数据多层次、全方位安全管控。4.7系统工具集系统工具集包括数据建模工具、数据字典、备份与恢复、数据显示控件及集成接口功能，无需代码开发可实现系统工具的自定义配置功能。通过定义标准的（JSON格式）、通用的数据集成接口，可实现与多学科优化设计系统、仿真系统等快速集成，实现试验数据与第三方系统的数据交互，避免信息孤岛现象的产生。5系统应用航天某单位产品研制涉及空气动力、结构、强度、控制等多个专业，在整个产品研制周期内往往会产生大量的试验数据，具有试验数据种类多、试验数量大的特点。通过本系统在产品研制中的全面应用，将试验业务和型号研制各环节有机结合，打通产品研制业务的信息孤岛，实现对试验业务各阶段各环节的工作进行全面数字化专业协同，以科学高效的管理方式提高工作效率，提供全面的数据比对，达到改进产品设计，提高产品质量的目标，最终提高企业核心竞争力。6结束语本文通过对航天某单位试验数据管理现状及管理需求进行分析，开展了基于大数据技术的试验数据管理系统建设，实现了海量试验数据的快速批量导入、试验数据分析、试验报告自动生成及与第三方系统集成等功能，为产品试验完成后进行试验数据的长期存储、数据判读、数据共享、故障分析和技术改进等提供重要参考依据。参考文献1 代威试验数据管理系统的研究与开发 D武汉：华中科技大学，20152 赵娜大数据研究综述 J网络与信息工程，2015(5)：87-89收稿日期：2023-01-04