分布式并行计算环境下GML空间数据的划分策略和算法研究.pdfVIP

摘要 GML 具有简单性、半结构化、互操作性、开放性、通用性、灵活性等特点，因而在诸 多领域得到了广泛应用。随着地理信息领域求解问题的不断拓展，所遇到的问题也越来越 复杂，规模越来越大，传统 GIS 的空间数据存储与空间分析算法的效率优化和性能提升无 法满足海量数据的存储与空间运算需求。利用分布式并行计算平台可以很好地解决这一问 题。分布式并行系统的优劣很大程度取决于数据划分策略的好坏，而目前空间数据的划分 方法没有考虑空间关联关系。因此针对一种适合 GML 空间数据的综合考虑负载平衡、邻 近程度、面积平衡及空间关联关系的空间数据划分方法，本文取得了以下研究成果： 第一，研究分析了基于 Hilbert 空间排列码的空间数据划分和基于K-平均聚类算法的空 间数据划分两种算法的缺点。前者在保持各结点的空间数据所占范围平衡性上表现不佳， 而后者则由于初始质心的不确定性导致划分结果不稳定。 第二，结合 Hilbert 空间排列码和 K-平均聚类算法，并综合考虑对象的空间关联关系提 出一种新的 GML 数据划分算法。该算法考虑了各结点负载平衡、对象的邻近程度、面积 平衡及对象间的空间关联关系。 最后，根据提出的 GML 空间数据划分算法，分析设计了 GML 分布式存储系统，完成 了基于Hadoop 平台的分布式并行 GML 存储系统的数据划分模块。通过系统验证了数据划 分算法的负载平衡性，并与 Oracle Spatial 和基于 K-平均聚类的空间数据划分算法的并行加 速比做了比较分析，与Hilbert 码划分算法做了等分区域查询效率对比。结果表明，本划分 算法拥有良好的负载平衡性和优秀的并行查询效率。 关键词：GML;分布式计算;并行计算;数据划分;Hadoop I Abstract GML is largely used because of its simplicity, half-strutted, interoperability, openness, generality and flexibility etc. As the GIS problems become more and more complex and the scale become larger, the traditional GIS spatial data storage and spatial analyze algorithm cannot meet the need of mass data storage and spatial analyze. However, this problem can perfectly solved by a computing model which is called the distributed and parallel computing. The performance of the distributed and parallel computing is mostly depended on the strategy of the data partitioning while the current data partitioning algorithms does not take the spatial relationships to be concerned. Therefore, this paper researches on some spatial data partitioning algorithm that is appropriate for GML, concerning data balance on each node, adjacency of spatial objects, area balance and spatial relationships, and some innovative archives are reached as follows: First of all,