Hadoop支持下海量出租车轨迹数据预处理技术研究.PDFVIP

2016 6 Jun． 2016 年 月 城 市 勘 测 3 Urban Geotechnical Investigation ＆ Surveying No． 3 第 期 文章编号:1672 －8262 (2016)03－46－04 中图分类号:P208. 1 文献标识码:B Hadoop 支持下海量出租车轨迹数据预处理技术研究 1，2 1，2 ， 吕江波 张永忠 (1. ， 730070 ;2. ， 730030) 兰州交通大学 甘肃兰州 兰州市勘察测绘研究院 甘肃兰州 : 。 ， 摘 要 海量出租车轨迹数据预处理是轨迹数据挖掘和应用的前提 出租车轨迹数据是典型的大数据 传统的数据处 ， ， 理技术无法解决大规模出租车轨迹数据误差分析和处理问题 文章在分析轨迹数据误差来源和误差类型的基础上 Hadoop ， Hive ， MapＲeduce 提出基于 的海量出租车轨迹数据预处理模型 使用 实现轨迹数据误差统计分析 设计 并行处 。 ， ， 理程序实现轨迹数据预处理 实验结果表明 该模型可以有效解决大规模出租车轨迹数据预处理问题 处理方式可靠 ， ， 。 性较高 大大提高了轨迹数据预处理效率 为后期轨迹数据深入挖掘和分析奠定了基础 : ;Hadoop ; ; ; 关键词 轨迹数据 大数据 数据预处理 并行计算 1 引 言 处理提供了解决方案，Hadoop 作为目前主流的开源大 ， 、 数据分析平台之一 为海量数据分布式并行处理提供 随着卫星定位技术 无线通信技术和地理信息技 ， 强大的平台支撑。Hadoop 可以运行在廉价硬件构建 术的迅速发展 定位设备在车载以及移动终端上得到 ， 、 。 ， 的计算机集群上 能够对大量数据进行可靠的 高效 广泛使用 许多城市的出租车都装载了定位设备 这 、 。 ， 的 可扩展的分布式处理 些设备会定时将其位置信息传至服务中心 由此汇聚 。 针对上述出租车轨迹应用中存在的数据误差和数 而成大规模的出租车轨迹数据 这些轨迹数据包含大