大数据处理技术在智能交通中的应用.pdfVIP

第八届中国智能交通年会优秀论文集 大数据处理技术在智能交通中的应用 周为钢 1 杨良怀 2 龚卫华 2 郑申俊 3 沈贝伦 3 沈俊青 3 陈 彬 2 陈彬彬2 万凯明 2 罗 锋 2 (1. 杭州市公安局交通警察局科研所, 浙江杭州 310014; 2. 浙江工业大学 计算机学院，浙江杭州，310023; 3. 杭州中奥科技有限公司，浙江杭州，310019) 摘 要：交通拥堵问题已成为全国大中型城市的普遍现象，对城市交通大数据提出一套有效 地实时采集、处理和分析的软件架构与方法已经成为人们当前迫切需要解决的关键问题。本 文在分析和比较了目前流行的大数据处理平台和技术的基础上，针对异构交通数据源设计了 同时满足批处理和实时处理功能的交通大数据处理平台，并在此框架上对交通大数据进行实 验测试和计算，实验结果表明本文提出的框架结构能实时、快速、准确地处理和计算交通大 数据各项需求指标。 关键词：交通大数据；流处理；Storm 平台 Big Data Processing Technique for ITS Abstract: Traffic congestion prevails over many large and medium-sized cities in China. It is of great value to come up an efficient framework for gathering, processing and analyzing the traffic data real-time. By investigating into those current popular platforms and techniques for big data processing, we propose a new framework for processing traffic big data that is fit for both batch processing and real-time processing at the same time. Experiment results show that our proposed framework can process the traffic indexes very fast and accurately. Keywords: Traffic Big Data, Stream Process, Storm Platform 1 引言 当前各种交通信息采集技术（如微波、视频、环形感应线圈等）已被广泛地运用于城市、高速等交 通路段或卡口，并且这些交通信息采集系统每天都会产生海量的实时交通数据。实时交通数据以数据流 的形式记录着随时间变化的空间（位置、区域等）信息[1]，具有大量、连续、不断变化和要求即时响应 的特点。交通领域所涉及的数据具有大数据4V(2,3)特点：规模性(volume)，数据的规模从TB 级别向 PB ， 甚至 ZB 级别跃进；多样性(variety)，除了传统的关系型数据，如视频、音频和图片等非关系型数据量也 越来越大；高速性(velocity)，大数据处理对时效性的要求非常的高；价值性（value ），从海量数据中得到 支持决策的信息是一个很大挑战。如何对 TB、PB 、ZB 级别的交通数据进行准确、高效地处理和分析及 预测，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况是目前亟待解决的关键问题。 本文第 2 节介绍和分析了目前流行的实时大数据处理平台；第 3 节提出了面向交通大数据的处理 平台设计方案；第 4 节对平均行车速度这个评价指标进行了相应的实验分析；最后，进行了总结。 ·226 ·  第 1 部分 智能交通与安全 2 大数据实时处理技术 随着大数据时代的来临，各种应对大数据处理的解决方案应时代