基于大数据的空管设备异态数据集成研究.docx

基于大数据的空管设备异态数据集成研究 王博摘 要：随着计算机网络技术的发展和广泛应用，人类逐步进入大数据时代，这也促使机场服务从以往的被动查询向信息智能推送转变。而这就需要机场能够在海量空管数据及有关数据中深入挖掘出具有一定价值的信息，以往的关系型数据因自身因素而无法较好地适应在海量数据环境下开展数据挖掘及价值发现工作。基于此，如何对海量数据进行有效集成是关键。该文从大数据的内涵出发，系统剖析机场空管设备所体现的大数据特点，并重点探讨基于大数据技术NoSQL下的空管设备异态数据集成。关键词：大数据 空管设备 异态数据 集成：TP311.1 ：A ：1672-3791（2017）01（b）-0026-02伴随着我国社会经济的迅速发展，航空业也呈现出高速发展态势，我国航空体系基本形成，机场数量和规模大幅增加，现代化水平也不断提升。各大航空机场基本配置了通信、导航、气象、监控、情报等高新设备，而每种设备所形成的数据在格式上有明显差异1。近年来，随着机场服务的不断提升，空管设备逐步从以往的服务飞机转变为服务人，而人的需求是不尽相同的，所要的信息也是多样化的，而这涵盖了固定结构、无结构等数据。基于此，对大数据背景下空管异态数据进行集成处理有着重要的现实意义。1 大数据内涵及空管设备大数据特征1.1 大数据在计算机网络技术日益普及和应用的背景下，各类数据大量产生。特别是在云计算、物联网等高新技术的推广和使用下，虚拟化服务、社交网络等广泛应用，改变了人们信息应用的方式，逐步进入“大数据”时代。大数据具备这几个特性：（1）规模性。各类电子信息设备会生成海量数据，规模庞大。（2）高速性。数据是实时产生的，且只在特定时间及控件下才具有效用，这需要快速进行数据处理。（3）价值性。少量数据基本无价值，但对海量数据进行深入挖掘，则能发现诸多有用信息。（4）多样性。数据类型、格式多种多样。1.2 机场空管设备的大数据特点近年来，我国机场服务技术发展快，服务能力也不断增强，现代化及信息化程度大幅提升，这使得各类空管设备生成的数据表现出大数据特点。机场空管设备的类型多种多样，包括导航、通信、监控、安全、气象等方面的设备系统。而每个系统均会生成相应数据，每日的数据量可达百个GB，乃至TB，而这就形成了大量空管数据，有着鲜明的规模特性2。机场空管系统主要是各类运营调度、信息显示、安全监控、航班航次管理等系统，而该类系统在生产厂家、所用软件、运行机制、功能等方面是不尽相同的，基本上有独立的数据库，也就形成了大量空管异态数据，有着鲜明的多样性。同时，伴随着空管能力的提升，每个机场均有自身的旅客信息、办公自动化等系统。但旅客对于机场服务的要求不单在于信息查询上，通常需要机场对海量实时空管数据进行挖掘，为旅客智能推送机场实时性信息，因此空管数据需要具备实时性和高速性。而在向旅客推送服务信息时，就要对旅客的出行历史信息進行挖掘，掌握其出行特点及潜在规律，再给予针对性、个性化服务，使空管数据具备一定的价值。2 应用NoSQL技术实现空管设备异态数据集成2.1 关于NoSQL技术NoSQL是一项新型数据库技术，是当前最为常用的一个大数据技术，即非关系型数据库。和以往的关系型数据库技术相比，该项技术有其独特的地方，最为突出的就是信息查询语言不用SQL语言，且对于数据的存储也不需要预先设定表模式4。机场各系统需基于实时参数、用户信息来生成实时性动态界面，同时为用户提供实时性服务信息，因而数据库并发负载极高，特别是在高峰阶段每一秒需完成万次以上读写请求。传统关系型数据库技术的磁盘是不能承受的。同时，因空管信息系统处理的数据海量增加，单机服务器不管是在数据处理性能，还是数据存储上，均难以满足当前机场空管信息系统的要求，需增加服务器及存储装置，但是传统关系型数据库技术具有事物一致性特点，难以实现横向扩展，不能通过增加服务节点，使存储及负载能力得以提升。而NoSQL数据库类型多样，但均无传统关系型数据库的特性，可实现良好扩展，极易达成支撑数据自TB向PB的稳定过渡。且其采取分布式架构，可有效满足海量空管数据的存储、处理等要求。另外，NoSQL的读写性能稳定、良好，可满足海量数据的高频读写需要，且可达成机场各类个性化服务。同时，该技术不需为数据存储创建字段，可自定义数据格式，可随时增加字段，在系统设计时不需考虑数据库的表结构。2.2 基于NoSQL的空管异态数据集成为有效稳定地解决机场空管数据的异态问题，提高数据应用价值，可应用NoSQL技术构建空管异态数据集成模式，能有效解决海量空管异态数据存储、分析及应用的问题。NoSQL下的空管异态数据集成模式自下而上由这几个模块构成。（1）数据源层。就是机场既有的各类信息数据库，包括通信、导航、气象、设备、旅客出行等方面的异态数据，均是海量产生的。这是空管异态数据集成对象，是最为基本的模块。（2）数据层。对所有异态数据源生产的海量数据进行抽取，再对这些数据予以标准化处理，然后对数据予以筛查，将不良、无用及有损的数据剔除，对于完整、潜在价值的异态数据予以提取、处理、加工，并转换成某特定格式，然后存储到NoSQL数据库中，比如：Redis、Hbase等。因NoSQL数据库具有良好的横向扩展性能，同时可在分布式架构上发挥出更为稳定的性能，因此伴随数据接入增加，仅仅在集群中增加适当的节点就能当即实现集群扩张。（3）服务层。就是在数据层处理基础上，为了更好地满足用户的信息需求，对异态数据库中的各类数据进行处理、整合、统计及对分析等操作，然后构建一个特定数据结构态返回到应用界面，在该层主要完成对用户特征及规律的分析、属性总结提取及对用户分类等异态大数据挖掘的基础处理，然后在实现各种计算方法及业务逻辑的前提下，为外部提供相应的REST接口，以便各系统调取和应用。（4）应用层。这是和具体用户进行信息交互的一个界面，该层在接收到用户提出的请求后，依照不同系统的特点及运行请求，调用相关服务层接口接收返回数据，再通过图形化处理展示到界面，让用户更为便捷、直观、快速地查询和调用信息，可有效提升用户体验。在有新数据源产生及业务增加时，只需将新数据源妥善接入到新数据源，将数据完整存放于NoSQL数据库，然后在服务层加上相应接口，而应用界面仅仅增加相应展示面就可以，不需要对数据库的既有结构进行调整，也不需要对服务层的逻辑进行修改，可有效达成横向扩展，强化机场信息控制系统的性能。3 结语总之，在大数据背景下实现机场空管异态数据集成很有必要，不仅能方便管理各类空管数据，提升应用效率，还能为机场、旅客提供更为良好的信息服务。应用NoSQL技术集成空管异态数据具有良好的扩展性、实用性，可有效提升海量空管数据的分析能力，有助于机场服务充分利用各类空管数据进行价值挖掘、服务预测等，促进机场服务水平和质量的提升。参考文献1 白鹏，杨新湦，张亚宜，等.大数据背景下的空管实验室建设探索J.实验技术与管理，2015（2）：228-230，239.2 付明柏.基于异质矩阵完全的缺失数据恢复混合集成算法J.云南师范大学学报：自然科学版，2013（6）：67-72.3 李奎.航空安全管理M.航空工业出版社，2011：255-256. -全文完-