一种基于HBase交通旅行时间计算方法.docVIP

一种基于HBase的交通旅行时间计算方法 　　摘要：旅行时间计算是智能交通系统研究的重要内容，准确的旅行时间计算结果可以为交通管控部门提供决策支持，缓解交通拥堵情况。近年来，随着监测水平的提高，交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读写和扩展性不足等瓶颈。为解决智能交通因数据规模过大带来的存储和查询问题，提出了一种基于HBase的交通旅行时间计算方法，设计了面向查询优化的行键策略，并在此基础上提出了单时段及多时段旅行时间计算方法。实验表明，该计算方法与传统的基于Oracle的算法相比，时间效率提高2～3倍，并且有较高的读写性能及良好的可扩展性。 　　关键词：旅行时间；海量数据；HBase；智能交通 　　DOIDOI：10.11907/rjdk.151383 　　中图分类号：TP301 　　文献标识码：A 文章编号文章编号2015）008002204 　　基金项目基金项目：北京市自然科学基金重点项目（4131001）；北京市属高等学校创新团队建设与教师职业发展规划项目（IDH；北京市教育委员会科技计划重点项目（KZ201310009009）；北方工业大学科研启动基金项目（2014） 　　作者简介作者简介：乔彦克（1989-），男，河南漯河人，北方工业大学大规模流数据集成与分析技术北京市重点实验室硕士研究生，研究方向为分布式数据库；陆婷（1990-），女，山东菏泽人，北方工业大学大规模流数据集成与分析技术北京市重点实验室硕士研究生，研究方向为流数据的存储优化。 　　0 引言 　　交通旅行时间计算是智能交通领域的一个重要研究内容，精准的旅行时间计算、评估可以为城市路网规划、城市道路交通管理与控制提供重要依据，为道路交通的研究、交通规划设计、交通管理部门提供决策辅助支持，对城市交通拥堵问题起到一定的缓解作用。 　　随着智能交通的迅速发展，大量监测设备用于交通数据的采集。以某大型城市的车辆识别数据为例，道路上部署的车辆识别传感器数量为5 000个，每个传感器的高峰采样频率为1条/秒，则每秒将产生5 000条车辆识别数据，每天的高峰折算率为0.33，一年车辆识别数据记录数将超过500亿条，数据存储量为10TB级（来自实际项目）。面对如此规模的数据，传统的关系型数据库无法直接有效地满足海量时序数据的存储和处理请求，存在扩展能力差、写入延迟高等问题，并且传统的旅行时间计算大多是基于车辆采样数据或者浮动车数据等非全样数据，在反映路段旅行时间的分布上存在一些问题。作为新型的数据处理技术，HBase[1]已经在监测数据的大规模存储方面得到应用，文献[2]就把HBase作为大规模无线传感网的存储媒介。 　　为解决上述问题，本文提出了一种基于HBase的交通旅行时间计算方法，针对海量交通监测数据需求，以HBase这种NoSQL类型的数据库作为监测数据的基础存储系统，并在此基础上进行旅行时间的全样数据计算；实验表明，该计算方法更准确，且满足可扩展性与高并发性。 　　1 相关工作 　　旅行时间是交通出行服务水平的重要衡量指标，近年来对旅行时间的研究日益增多。从检测技术角度来看，通常有基于线圈的估计，基于浮动车的估计和基于车牌识别的估计等[3]。从数据来源看，目前的旅行时间估计所用数据主要有两类：一是仿真数据，二是检测数据。在检测数据中，部分使用直接测量样本车辆的旅行时间来进行路段旅行时间的估计，如基于浮动车和车牌识别等，但因是非全样数据，因此在反映路段旅行时间的分布上存在一定问题。本文采用全样的实测车牌识别数据对旅行时间进行计算。 　　目前数据的存取技术主要有以下几种：（1）传统的关系型数据库。在数据存储方面，只能采用结构化的数据模式，不支持海量数据的存储，严格遵循ACID原则使其不适合大量数据的定期更新，基于“极少发生节点失效”的假设而构建的传统关系型数据库不适用于节点失效经常发生的大规模集群应用场景；在数据查询方面效率极其低下。 　　（2）HDFS/MapReduce。目前主流的大规模数据处理技术Hadoop/MapReduce是专为离线处理和大规模数据分析而设计的[4]，缺乏实时随机存取数据的能力。车牌识别数据是连续的时间流数据，不适合Hadoop的存储模式――存储少量非常大的文件。文献[5]虽然提出了一种MapReduce下计算旅行时间的方法，但其可用性受到制约，这些数据无法实时查询，执行一个任务计算的都是全部数据，如果只需要计算某个时段的旅行时间，该方法往往无能为力。 　　（3）HBase[6]。它是构建在Hadoop之上的一种NoSQL数据库，具有高可靠、高可扩展的特点，支持随机读写并且有出色的写入性能和不错的查询性能。 　　综上所述，