基于Hadoop技进行地理空间分析.doc

阿里巴巴技术专家杨晓明：基于Hadoop技术进行地理空间分析 发表于2015-02-02 21:46| 4832次阅读| 来源作者投稿| 17 条评论| 作者杨晓明 杨晓明Hadoop地理信息智能交通 摘要：将交通领域产生的海量车辆位置信息和道路进行关联的统计操作是颇为浩大的工作。本文将介绍一种通过使用地理网格进行数据关联，并利用Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。 【编者按】交通领域正产生着海量的车辆位置点数据。将这些车辆位置信息和道路进行关联的统计操作则是一项颇为浩大的工作，而随着 Hadoop技术的成熟和普及，使得在海量数据中进行该统计运算的工作变得相对容易了很多。本文将介绍一种通过使用地理网格进行数据关联，并利用 Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。 中华人民共和国交通运输部、中华人民共和国公安部、国家安全生产监督管理总局于2014年1月28日公布了《道路运输车辆动态监督管理办法》，在该 文件中规定，自2014年7月1日起，国内道路运输车辆须安装卫星定位装置，未按照要求安装卫星定位装置，或者已安装卫星定位装置但未能在联网联控系统正 常显示的车辆，不予发放或者审验《道路运输证》。 随着该文件规定的落实，必将会产生海量的车辆位置点数据。将这些车辆位置信息与地理信息相结合进行统计，则是相关技术行业中常见的统计分析的应用场 景。而在这些统计中，将位置点和道路进行关联的统计操作则属于一种较为复杂的情况。将TB级的车辆位置数据按照道路进行区分，并统计每条道路上的位置点分 布情况，需要涉及较复杂的地理空间算法，而且在数据的组织方式上也需要进行更为精巧的设计。在几年前云计算与大数据的技术尚未兴起的条件下，进行这样的操 作将会是一项颇为浩大的工作，既需要考虑分布式并行计算，又需要对地理算法进行尽量高效的设计，还需要兼顾分布式情况下系统的健壮性和可靠性。 Hadoop技术的成熟和普及，使得在海量数据中进行统计运算的工作变得相对容易了很多。作为Apache软件基金会的开源分布式计算平 台，Hadoop提供了分布式文件系统（HDFS）和分布式计算（MapReduce/Yarn）的基础框架支持。在海量数据的分析与处理领 域，Hadoop以其高可靠性、高效性、高扩展性和高容错性等优势，可以使用户很容易的架构和使用分布式计算平台，可以简便的进行海量数据的存储和检索， 能够轻松的开发和运行处理海量数据的应用程序。在很多IT领域，尤其是互联网行业，Hadoop被广泛应用于用户行为分析、数据挖掘与机器学习、网页抓取 与分析、构建搜索引擎以及推荐广告等与大数据相关的应用之中。 由于Hadoop的MapReduce模型是基于Key/Value对的操作，因此在Key/Value对中如何设计地理数据和位置数据的关联关系 将会成为一个可以使统计性能产生质变的关键点。通过合理的Key/Value设计和对MapReduce的Shuffle过程的优化，将会使统计操作的性 能产生质的飞跃。以下将介绍一种通过使用地理网格进行数据关联，并利用Shuffle过程的二次排序实现高效的统计各条道路上位置点分布情况的方法。 计算某位置点是否位于某条道路上的一种相对简单的方式是获取道路的轮廓数据（以道路边界的经纬度点组成的多边形顶点经纬度信息）和位置数据的经纬度 信息，然后将道路的轮廓坐标构建一个多边形，并通过判断车辆位置的经纬度坐标是否位于多边形的内部来判断车辆是否位于道路之上。在获取车辆和道路关系信息 后，可以生成一个类似如下结构的二维表数据模型，进而进行分布状态的统计。 实现这种统计的一个技术关键点是如何判断一个点是否包含于一个多边形内部，如下图中，如何判断各圆点和多边形的包含关系。 在已知多边形各顶点坐标的情况下，判断任意一个点是否位于该多边形的内部的方法在各种开发语言中均有较多实现，下面以Java为例，简述两种常见的方法： 方法一：使用顶点坐标构建一个java.awt.Polygon对象，该对象具有一个contains(int x,int y)方法，通过将x和y两个方向的坐标作为该方法的参数进行调用，即可判断该点是否位于多边形内部。 方法二：使用第三方空间拓扑关系工具包JTS Topology Suite进行判断。该工具包中存在一个抽象类 com.vividsolutions.jts.geom.Geometry。该抽象类作为JTS的几何元素对象的基类，具有一个 contains(Geometry g)方法，该方法可以用于判断一个几何元素是否位于另一个几何元素内部。com.vividsolutions.jts.geom.Geometry有一 个表示多边形的子类com.vividsol