大数据技术在空管系统的实际应用探讨.docVIP

大数据技术在空管系统的实际应用探讨 　　摘要：随着大数据技术越来越多地得到了各行业的关注，如何将大数据应用于空中交通管理系统成为一个新的研究方向。本文分析归纳了大数据技术的特点和对空管大数据概念的理解，同时以无线电干扰统计数据的建模分析为例，对大数据技术在空管系统的实际应用进行了探讨。本文希望通过实例分析，助推大数据技术的行业应用。 　　关键字：数据分析；空管大数据；无线电干扰；SPSS 　　中图分类号：v355 文献标识码：A 文章编号：1672-3791（2016）04（B）-0000-00 　　一.引言 　　随着大数据时代的到来，数据从简单的处理对象转变为一种基础性资源。空中交通管理（以下简称空管）系统作为民用航空的中枢系统，亟须寻找与大数据的结合点，利用大数据改进生产方式，优化资源配置，提升服务质量。某种意义上来说，大数据对于空管系统而言，代表着一种生产力。 　　二.大数据技术 　　大数据是指数据规模超过传统数据库处理能力的大规模数据，是需要具有全面性、洞察力和流程优化能力的革新性处理模式才能处理的海量、多样化和高增长率的数据信息资源。[1]数据信息时代先后经历了计算能力先导、存储能力先导2个阶段，随着网络应用的日趋成熟，以网络运载作为先导的网络信息时代已经开启。[2]十三五规划正式提出：实施国家大数据战略，推进数据资源开放共享。大数据，被认为是未来的石油和矿产，近年来已经被引入至交通，医疗，家居，金融等诸多领域，改变着人类的生活方式。 　　随着研究的不断深入，大数据普遍被认为有四个特点，业界归纳为“4V”，即Volume（数据量巨大）、Variety（数据类型多样化）、Velocity（数据时效性高） Veracity（数据真实性低）。 　　大数据领域有四个需要研讨的核心技术： 　　1、 数据采集与预处理，数据采集是通过多个数据库接收来自用户、程序、互联网以及传感器网等方式获得的各种类型的结构化及非结构化的数据，特点是并发数高，需进行负载均衡和分片。预处理则是对已收集数据进行筛选、辨析、净化等操作，去除无效数据。 　　2、 数据存储与管理，建立数据中心活着数据仓库，存储经过预处理的海量采集数据，并进行管理和调用。主要解决大数据可存储，可处理及有效传输等关键问题。 　　3、 数据分析与挖掘，数据分析及挖掘技术是大数据的核心技术。主要是在现有的数据上进行基于各种算法的计算，从而起到预测的效果，从而实现一些高级别数据分析的需求。 　　4、 数据展现与应用，数据挖掘和数据分析技术可以发现潜在规律，辅助事件决策，从而提高生产效率和经济效益。就目前而言，“数据中国”侧重于以下三大领域：商业智能、政府决策、公共服务。[3] 　　三.空管大数据 　　空中交通管理过程涉及的空中交通活动呈现一个周期性过程，在空中交通活动的准备、实施、评估过程中涉及多种海量数据，我们把这些数据的总和称为空管大数据。 　　空管大数据囊括整个空中交通管理活动的过程数据，主要可以分为设备数据，操作数据，管理数据和环境数据。对比大数据的“4V”特性，空管系统的大数据也有四个显著特征： 　　1、 数据量大。根据规划2020年全国空管的设备数量将超过十万台（套）。以普通的服务器为例，长期运行的交互数据量是TB级别的，撇开数据的有效性而言，全国空管的设备数据将达到EB级别。[4] 　　2、 数据类型多。核心业务的数据包括雷达航迹数据、地空通信话音数据、天气数据、情报数据、报文数据、人员操作数据等，其它业务数据包括人员数据、OA数据、视频数据、媒体数据等。这中间既包含了静态数据，也包含了动态数据。 　　3、 数据时效性高。与其他大数据相比，空管核心业务对数据时效性有着更高的要求，例如二次雷达数据4秒刷新，甚高频设备故障切换时间要求在30秒内。因此部分数据分析如果超过时效就失去了意义。 　　4、 数据相对真实。其他大数据的采集过程中，数据多来自于主观意愿及传感器，据统计，59%的数据是无效的，85%的数据过于复杂。与此不同的是，空管业务的大部分数据来自一线投产设备和秉持安全生产理念的职工，数据真实性高且具有完整的格式，结构化数据占比高。 　　四.无线电干扰数据的简单建模分析 　　华东设备运维管理系统（以下简称运维系统）的上线，为空管系统各类数据的收集增添了一个新的有效途径。本文的建模分析以运维系统统计的无线电干扰数据为元数据，以IBM SPSS Modeler（以下简称SPSS）软件为工具，使用Apriori算法进行关联规则建模，并作简单数据分析。无线电干扰统计的数据量并不大，但对空管大数据的分析和应用有一定的参考价值。 　　（一）数据提取与净化 　　登录运维系统，查询近五年来登记的无线电干扰数据并导出成Excel表