基于大数据智能交通分析系统设计与实现.docVIP

基于大数据智能交通分析系统设计与实现 　　摘要：随着社会经济的进步和交通运输业的快速发展，面对快速增长的城市道路交通数据，论文提出了基于Hadoop的智能交通分析系统设计方案，论文采用HBase分布式数据库存储城市道路静态RDF数据，采用Hive数据仓库存储城市道路交通数据，采用MapReduce编程模型对海量、异构城市道路交通数据进行分析，最后通过原型系统对整体方案进行验证。 　　关键词：交通大数据；Hadoop框架；智能交通 　　中图分类号： TP311 文献标识码：A 文章编号：1009-3044（2015）36-0044-03 　　Abstract： With the progress of social economy and the rapid development of transportation industry， in the face of the rapid growth of urban road traffic data， the paper puts forward the design scheme of intelligent traffic analysis platform based on Hadoop， the paper adopts HBase distributed database storage static RDF data on urban road traffic data， the paper adopts the Hive data warehouse storage urban road traffic data， using MapReduce programming model to analyze massive， heterogeneous urban road traffic data， finally， using the prototype system to the overall plan for validation. 　　Key words： traffic big data； the Hadoop framework； intelligent transportation 　　随着经济发展和人们生活水平的提高，城市汽车数量呈快速增长趋势，交通事故、交通拥堵等都对城市道路交通造成很大负担。在大数据时代，城市道路交通数据也呈指数级增长，面对其多源、异构、数量巨大等特点，如何快速高效进行数据分析，并将分析结果充分利用，从而提高城市交通运行效率是城市交通亟待解决的一大难题[1]。本文在分析交通大数据特点和当前大数据技术基础上，基于Hadoop相关组件和计算模型进行整体架构设计和应用响应流程设计，最终实现了对海量多源异构交通大数据的快速高效处理。 　　1系统设计 　　1.1交通大数据特点及其面临的问题 　　交通数据主要包括交通领域的道路信息、车辆信息等，通常将这些数据分为静态数据和动态数据。静态数据包括道路信息数据、道路设施数据、停车场数据等；动态数据包括如线圈设备、视频设备等采集到的交通信息数据。通过总结，可得出交通大数据主要具有以下特征：多源性、多维性、海量性、动态性和异构性[2]。对于静态数据来说，其主要是结构化数据，相比动态数据，其数量较小，且相对固定，但因数据采集机构和设备的差异，造成其具有较大的语义异构性，因此本系统引入本体模型对静态数据进行处理，解决语义异构问题；对于动态数据来说，则因为交通运输的快速发展以及大数据时代对数据需求的不断提高，使其具有更强的多源异构性，并且动态数据体量巨大，如何存储动态数据以及满足快速查询和计算的需求，是目前交通大数据面临的主要问题[3]。对静态数据本体，需要通过RDF三元组来表示，为了满足存储稳定、快速查询和方便扩展等特点，引入Hadoop框架的HBase组件进行存储；对动态数据，由于其体量巨大，且具有多源异构的特点，同时结合语义网技术，引入Hadoop框架的Hive组件进行存储，以满足计算需求。在交通大数据计算方面，除了传统的数据挖掘方法实现外，还要考虑数据挖掘时交通分析相关算法的并行实现，MapReduce计算模型用于大规模数据集的计算，可以方便、高效的将程序运行在分布式系统上[4]。 　　1.2系统架构设计 　　本系统的设计与实现，是基于Hadoop分布式系统架构的，Hadoop框架的核心部分包括HDFS和MapReduce，HDFS为底层数据存储提供支持，MapReduce为海量数据提供计算支持。Hadoop的主要优势体现在其可扩展性、高效性和可靠性等方面。根据交通大数据的特点，基于Hadoop框架设计智能交通分析平台总体架构，如图1所示。该总体架构组要分为数据采集层、数