基于大数据空管设备异态数据集成探究.docVIP

基于大数据空管设备异态数据集成探究 　　摘 要：随着计算机网络技术的发展和广泛应用，人类逐步进入大数据时代，这也促使机场服务从以往的被动查询向信息智能推送转变。而这就需要机场能够在海量空管数据及有关数据中深入挖掘出具有一定价值的信息，以往的关系型数据因自身因素而无法较好地适应在海量数据环境下开展数据挖掘及价值发现工作。基于此，如何对海量数据进行有效集成是关键。该文从大数据的内涵出发，系统剖析机场空管设备所体现的大数据特点，并重点探讨基于大数据技术NoSQL下的空管设备异态数据集成 关键词：大数据 空管设备 异态数据 集成 中图分类号：TP311.1 文献标识码：A 文章编号：1672-3791（2017）01（b）-0026-02 伴随着我国社会经济的迅速发展，航空业也呈现出高速发展态势，我国航空体系基本形成，机场数量和规模大幅增加，现代化水平也不断提升。各大航空机场基本配置了通信、导航、气象、监控、情报等高新设备，而每种设备所形成的数据在格式上有明显差异[1]。近年来，随着机场服务的不断提升，空管设备逐步从以往的服务飞机转变为服务人，而人的需求是不尽相同的，所要的信息也是多样化的，而这涵盖了固定结构、无结构等数据。基于此，对大数据背景下空管异态数据进行集成处理有着重要的现实意义 1 大数据内涵及空管设备大数据特征 1.1 大数据 在计算机网络技术日益普及和应用的背景下，各类数据大量产生。特别是在云计算、物联网等高新技术的推广和使用下，虚拟化服务、社交网络等广泛应用，改变了人们信息应用的方式，逐步进入“大数据”时代。大数据具备这几个特性：（1）规模性。各类电子信息设备会生成海量数据，规模庞大。（2）高速性。数据是实时产生的，且只在特定时间及控件下才具有效用，这需要快速进行数据处理。（3）价值性。少量数据基本无价值，但对海量数据进行深入挖掘，则能发现诸多有用信息。（4）多样性。数据类型、格式多种多样 1.2 机场空管设备的大数据特点 近年来，我国机场服务技术发展快，服务能力也不断增强，现代化及信息化程度大幅提升，这使得各类空管设备生成的数据表现出大数据特点 机场空管设备的类型多种多样，包括导航、通信、监控、安全、气象等方面的设备系统。而每个系统均会生成相应数据，每日的数据量可达百个GB，乃至TB，而这就形成了大量空管数据，有着鲜明的规模特性[2]。机场空管系统主要是各类运营调度、信息显示、安全监控、航班航次管理等系统，而该类系统在生产厂家、所用软件、运行机制、功能等方面是不尽相同的，基本上有独立的数据库，也就形成了大量空管异态数据，有着鲜明的多样性。同时，伴随着空管能力的提升，每个机场均有自身的旅客信息、办公自动化等系统。但旅客对于机场服务的要求不单在于信息查询上，通常需要机场对海量实时空管数据进行挖掘，为旅客智能推送机场实时性信息，因此空管数据需要具备实时性和高速性。而在向旅客推送服务信息时，就要对旅客的出行历史信息?M行挖掘，掌握其出行特点及潜在规律，再给予针对性、个性化服务，使空管数据具备一定的价值 2 应用NoSQL技术实现空管设备异态数据集成 2.1 关于NoSQL技术 NoSQL是一项新型数据库技术，是当前最为常用的一个大数据技术，即非关系型数据库。和以往的关系型数据库技术相比，该项技术有其独特的地方，最为突出的就是信息查询语言不用SQL语言，且对于数据的存储也不需要预先设定表模式[4] 机场各系统需基于实时参数、用户信息来生成实时性动态界面，同时为用户提供实时性服务信息，因而数据库并发负载极高，特别是在高峰阶段每一秒需完成万次以上读写请求。传统关系型数据库技术的磁盘是不能承受的。同时，因空管信息系统处理的数据海量增加，单机服务器不管是在数据处理性能，还是数据存储上，均难以满足当前机场空管信息系统的要求，需增加服务器及存储装置，但是传统关系型数据库技术具有事物一致性特点，难以实现横向扩展，不能通过增加服务节点，使存储及负载能力得以提升 而NoSQL数据库类型多样，但均无传统关系型数据库的特性，可实现良好扩展，极易达成支撑数据自TB向PB的稳定过渡。且其采取分布式架构，可有效满足海量空管数据的存储、处理等要求。另外，NoSQL的读写性能稳定、良好，可满足海量数据的高频读写需要，且可达成机场各类个性化服务。同时，该技术不需为数据存储创建字段，可自定义数据格式，可随时增加字段，在系统设计时不需考虑数据库的表结构 2.2 基于NoSQL的空管异态数据集成 为有效稳定地解决机场空管数据的异态问题，提高数据应用价值，可应用NoSQL技术构建空管异态数据集成模式，能有效解决海量空管异态数据存储、分析及应用的问题。NoSQL下的空管异态数据集成模式自下而