交通大数据及应用技术研究.docVIP

　　交通大数据及应用技术研究 摘要：随着目前计算机科学技术的飞速发展以及计算机硬件对数据处理能力的飞速提升，人类已经进入了数据信息时代。文章从宏观方面对大数据在城市交通中的应用进行了阐述，并说明了现今交通大数据的挑战以及目前对大数据的几种常用存储方案以及常用的处理技术。 中国 8/vie 　　关键词：交通大数据；大数据存储方案；大数据处理技术；数据信息 文献标识码：A 　　中图分类号：U495 ：1009-2374（2017）04-0090-02 DOI：10.13535/j.ki.11-4406/n.2017.04.046 　　1 大数据概述 　　1.1 大数据定义 　　大数据，又称海量数据、巨量数据等，通常指那些无法通过常规存储媒介存储，无法通过人工或者常规数据处理软件进行管理和处理的数据集合。大数据是一个抽象的概念，究竟多大的数据量可以定义为大数据至今没有一个定论。大数据具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征，也就是说，大数据不仅仅体现在存储数量级的大小上，而且还在于数据的获取、存储、维护、处理等方面。 　　1.2 大数据特点 　　IBM公司针对大数据的特性提出了大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样性）、Value（价值）和Veracity（真实性）。 　　其中Volume（大量）指大数据的数据量级巨大，可以从几百TB到几百PB甚至EB级别的规模。与几十年前印刷品占据主流的时候不同，信息时代数据的产生速度非常快，据国际数据公司（IDC）的统计，仅在2011年时，全世界范围内被创建和复制的数据总量就有1.8ZB左右，已经远远超过有史以来人类通过印刷品传播的信息量的总和。据该公司预测，中国的大数据市场将在2012～2016年间增长5倍，中国已经真正步入了大数据时代。 　　Velocity（高速）指大多数场景下，我们都要求大数据要在一定的时间限制内得到及时的处理。例如美团、大众点评等团购软件，通过对用户的地理位置定位实时向用户推荐附近美食、团购优惠等。 　　Variety（多样性）指大数据包含各式各样形态以及各种格式的数据源。针对不同场景，数据有多种存储方式，例如json格式、xml文件、数据库文件等方式。 　　Value（价值）指大数据中蕴藏的有价值的信息，通过大数据的分析挖掘等手段，可以带来巨大的商业或学术价值。例如淘宝通过对用户购物以及浏览数据进行挖掘，从而给用户推荐合适的商品，为淘宝创造了巨大的利润。 　　Veracity（真实性）指大数据的数据来源，处理结果要保证与真实情况相符合，即它们可以如实反映或者折射出社会现实等。例如网上购物网站中，卖家的刷单情况就会影响数据分析结果对它的正确评价。 　　2 交通大数据 　　2.1 概述 　　随着世界范围内城乡发展的步伐不断加快，公路网、铁路网的大规模覆盖，城市的交通建设成为了越来越重要的课题。传统模式下的城市交通建设、管理等在今天出现了种种弊端。由此，在大数据时代的背景下，通过大数据的分析、处理，对城市交通进行动态的指导规划成为了目前大数据的主要现实应用场景之一。 　　在高德地图的“2014年中国主要城市拥堵分析”报告中，北京、上海、广州、深圳、哈尔滨和杭州位于前列，高峰期行车平均速度在20km/h左右徘徊。尤其节假日黄金周期间，拥堵情况更加严重，使原本脆弱的城市路网的运行可靠性越来越低。 　　2.2 交通大?稻堇丛? 　　交通大数据来源广泛，城市交通网每天产生各类交通数据不计其数。按照类型，交通大数据的来源大致可以分为来源于人的数据、来源于交通工具的数据、来源于行业监管的数据和来源于其他方面的数据几类。以下将分别就这几类数据来源做简要说明： 　　2.2.1 来源于人的数据。人作为道路交通的主要参与者，汽车驾驶员的驾驶轨迹、交通警察所在路口的位置、公交车乘客的刷卡记录以及行人的行走轨迹等都是交通参与者的重要数据来源。目前，基于公共交通的电子收费数据已经有了各种丰硕的研究成果和工作。针对该类数据的工作也是目前学术界交通大数据的研究重点之一。 　　2.2.2 来源于交通工具的数据。车是城市交通中的主体，按照功能群体可以大致分为公交车、私家车、出租车和网约车4类。每种类型的车都有各自的特点：公交车路线固定，而且能够直接获得乘客的刷卡数据，得到乘客的上下车地点等信息；私家车涉及的数据相对来说难以获取，该类数据涉及到驾驶人的个人隐私，但同时也是最为有价值的一类数据；出租车没有固定路线，但是却有相对固定的活动范围；网约车是最近几年兴起的一类新兴群体，通过应用平台的私家车主可以利用空闲时间提供服务，缓解高峰期打车难等问题。 　　此外，基于物联网、车联网等数字终端设备的