基于Hadoop技术进行地理空间的分析.docVIP

阿里巴巴技术专家杨晓明：基于Hadoop技术进行地理空间分析 发表于2015-02-02 21:46| 4832次阅读| 来源作者投稿| 17 条评论| 作者杨晓明 杨晓明Hadoop地理信息智能交通 摘要：将交通领域产生的海量车辆位置信息和道路进行关联的统计操作是颇为浩大的工作。本文将介绍一种通过使用地理网格进行数据关联，并利用Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。 【编者按】交通领域正产生着海量的车辆位置点数据。将这些车辆位置信息和道路进行关联的统计操作则是一项颇为浩大的工作，而随着 Hadoop技术的成熟和普及，使得在海量数据中进行该统计运算的工作变得相对容易了很多。本文将介绍一种通过使用地理网格进行数据关联，并利用 Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。 中华人民共和国交通运输部、中华人民共和国公安部、国家安全生产监督管理总局于2014年1月28日公布了《道路运输车辆动态监督管理办法》，在该 文件中规定，自2014年7月1日起，国内道路运输车辆须安装卫星定位装置，未按照要求安装卫星定位装置，或者已安装卫星定位装置但未能在联网联控系统正 常显示的车辆，不予发放或者审验《道路运输证》。 随着该文件规定的落实，必将会产生海量的车辆位置点数据。将这些车辆位置信息与地理信息相结合进行统计，则是相关技术行业中常