面向交通大数据智能处理平台建设研究.docVIP

面向交通大数据智能处理平台建设研究 　　摘要：现阶段交通数据呈指数增长，并具有结构类型复杂、信息价值较大的特点，为更好地促进交通数据与现在服务业的结合，充分利用其价值为人类生活的便利创造条件，本文研究交通大数据与其它信息平台交互过程中遇到的问题。通过对交通大数据的采集、标准转换、数据流处理等多方面进行研究，建设了面向交通大数据的智能处理平台，提高了数据与其它信息系统的交互能力，为交通数据的深度挖掘做充分准备。 　　关键字：交通大数据；数据处理平台；HDFS 　　中图分类号：TP274文献标识码：A 　　Abstract： 　　The traffic data increase exponentially at this stage，and has the characteristics of complex structure types and larger value of information. 　　For combing the traffic data with services，making full use of its value and creating conditions for the convenience of human life，this paper to research the traffic data interaction and other problems in the process of information platform.Based on the research of traffic data collection，conversion，data stream processing and other aspects，the construction of intelligent processing platform for traffic data，improve the ability to interact with data and other information system，make full preparations for the traffic data mining. 　　Key words：traffic big data；data processing platform；HDFS 　　0引言 　　交通大数据包括结构化、非结构化的各类交通数据，包括交通工具GPS地理位置、线圈、微波、智能卡、视频、电子地图、路网、调度资料、基础设施、班次、航班、地铁、气象、从业人员资料……数以千计的数据类别，每日以GB级别增长，海量、动态、实时是重要特征[1]。而不同群体对数据的诉求又体现出不同要求，例如交通主管部门关注交通拥堵状况，车辆异常集结，行业性平均收入等宏观数据；企业关注车辆调度准确，经用收入等关乎运营收入数据；公众关注交通运输的服务是否便利，交通是否顺畅，以及能够随时随地获取交通信息；研究部门希望获得多样化的交通数据，构筑立体的城市交通分析模型等；城市应急处理部门更希望得到事故地点的交通情况以便组织应急救援；公安部门需要从交通视频获得办案证据等[2]。为解决这一系统的问题，交通大数据的研究成为关注的热点，如何充分利用这些数据为各类交通信息系统服务，建设面向交通大数据的处理平台已成为迫切的需求[3]。 　　1国内外研究现状 　　在国外，发达国家对城市交通基础设施建设非常重视并已基本完成，在此基础上，开展了一系列的智能交通信息系统搭建，用以实现交通数据的采信、整理、共享、应用，以推动交通有序运营，促进社会民生的全面发展。英国国家交通控制中心研究的ERTICO项目中，通过开发共用规范实现了不同运输方式的多模式交通之间的数据交换与共享；近期英国DETR组织开展UTMC（Urban Traffic ManagementControl）项目，通过建立交通数据的处理平台全面推动城市智能交通系统的研发和建设[4]。 　　在国内，北京已建成了综合交通信息平台，包含了交通数据的采集、整合、标准制定、加工处理和发布的全过程，是一项复杂的交通领域集成信息化工程，北京市专设数据处理平台，开展对交通数据进行预处理、存储和加工等[5]。综观我国各大城市的智能交通发展现状，交通信息化已得到较大的重视并具有一定的地位和作用，普遍的研究着眼于根据用户的实现需求进行信息系统的建设，重点在于数据挖掘技术的决策支持，为交通出行提供便利。 　　然而，在大量的交通数据应用中，往往容易忽视对数据的预处理研究[6]，传统的交通数据预处理需要对数据源到应用的整个流程进行修改，通过ETL的方式再加载和计算，其适应变化的周期较长，在交通大数据应用中，这种模式将难以适应新的需