浅谈大数据在民航领域的应用 .pdf

浅谈大数据在民航领域的应用

大数据也被称为未来的新石油和矿产，它的出现开启了大规模生产、分享和应用数据

的时代，能让我们通过对海量数据进行分析，以一种前所未有的方式获得全新的产品、服务

或独到的见解，最终形成变革之力，实现重大的时代转型。这就好比当我们感受浩瀚无垠的

宇宙时，用望远镜只能看到宇宙的冰山一角，但更广阔的区域都在表面之后，等待着进一步

的探索。大数据正在改变我们的生活及理解世界的方式，正在成为新发明和新服务的源泉，

同时也为各行业发展提供了前进的驱动力，民航业也在其中。

二：大数据技术

1大数据概念

大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速

发展为数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、

创造新价值、提升新能力的新一代信息技术和服务业态。

2大数据的特征

大数据具有十分广泛的特性；例如高速性，规模性，多样性，价值型，有效性，真实性

等；而现在大数据业内普遍认为大数据主要具有4V特征，即Volume（体量大）、Variety

（种类多）、Velocity（速度快）和Value（价值高）

特性特性描述

Volume

（体量大）大数据，顾名思义，在于其大上；数据的储存从最初的TB增长到ZB的程

度，这与大数据的数据储存技术和网络应用技术的提升密切相关；数据加工处理技术的快速

提升，网络宽带的高速发展和社交软件的大幅度应用都为这一进步提供了大量的数据储存量，

极大促进了大数据的发展。据统计，从文字出现到21世纪初，人类产生的数据总量只相当

于现在两天的数据流量；IDC（国际数据资讯公司）曾预测：2013年全球储存的数据预计达

到1.2ZB；处理如此多的数据全要归功于大数据技术的发展，大数据技术也确实为我们提供

了相当大的便利；例如：腾讯的QQ和微信每天均有上千万条的数据需要分析存储，正是基

于大数据技术的应用，才为人们提供了如此便捷实用的处理人际关系的软件。

Varety

（种类多）大数据与传统数据的不同在于，它的数据来源更广，维度更多，数量也更繁

杂；而数据也分为关系型和非关系型，这也就意味着大数据需要辨别数据彼此之间的关系特

征，发现其内在关联。随着科技的快速发展，数据不仅仅局限于机器仪表自动产生的数据，

还包涵了人自身的生活行为；数据种类也各中各样，从原本的文字和数字等结构化数据延伸

到现在的音频，录像，网络日志，图片，点击量和其他一切有用的信息非结构化数据，且占

整体数据的90％以上，而大数据的作用就在于在海量信息中筛选出有用的，抛弃无用的；对

与有用有关联的进行收集，分析，加工，使之成为有用的信息。

Velocity

（速度快）大数据与传统数据和小数据有一点显著的不同：大数据的数据生成，储存，

分析，处理的速度要远高于传统数据和小数据。例如：欧洲的核子研究中心CERN的离子对

撞机每秒生成的数据高达40TB，一台波音飞机的喷气发动机每半小时产生10TB的运行数据，

再有我国超级计算无锡中心研制的神威－太湖之光在ISC上荣耀夺冠，该系统峰值性能达

12.5亿亿次／s，其一分钟计算能力相当于全球七十亿人用计算器连续计算32年

Value

（价值高）大数据有巨大的潜在价值，其价值具有稀缺性。假设把数据比作一处海域，

大数据技术则是帮助你寻找你所需要的物质，甚至可以实现意义上的海底捞针

3大数据的处理流程

大数据的到来导致一场信息时代的变革，大量的结构化数据和非结构化数据需要人们进

行分离、整理、归类、存档、分析等操作，而我们也通过以上操作来获取自己想要的数据。

因此，做好大数据的采集，导入与预处理，统计与分析，挖掘是十分重要的

3-1大数据的采集

大数据的采集通常运用多个数据库的连接来进行终端数据采集，包括智能硬件端，移动

APP应用端，网页端等。例如电商平台一般使用传统的关系数据库MySQL和Oracle来存储每

笔业务数据信息；腾讯则将数据以NoSQL高速存储方式存储在数据洞当中。

数据的采集方式分为数据抓取、数据导入、物联网传感设备自动信息采集几种方式。在

数据进行采集时主要遇到的问题还是对多个数据进行同时抓取时并发问题，毕竟有时是同时