一种并行r树空间的并行计算分析与管理.docxVIP

一种并行r树空间的并行计算分析与管理 空间数据处理、空间决策的支持、空间维度动态可视化、空间绩效模型和模型等属于计算形式和i/o型空间应用，目前的gis计算方法无法满足应用的需求。随着网格计算技术在GIS中的应用逐渐成为研究热点,其分布式并行计算模式与系统架构将有助于提高GIS的整体性能和运行效率。因此,分布式并行计算将成为解决传统GIS计算能力不足问题的重要方法。 海量空间数据的组织与管理技术是各类复杂空间应用的基础,也是GIS技术的核心问题。其中,空间索引技术是数据组织与管理的重要研究内容。目前,在数据库管理系统及GIS等科研领域,空间索引技术的研究成果非常丰富,应用较为广泛。然而,针对海量空间数据的组织、管理、存取、处理与应用的分布式并行空间索引技术研究成果较少,已有的研究存在应用平台和应用领域的不同。本文提出一种分布式并行计算环境下基于R树索引和线性链表结构的分布式并行空间索引结构,其设计与开发是以经典的Ian Foster并行计算方法论为依据,充分考虑数据划分、负载平衡等影响并行索引机制效率的因素,使得该索引结构更适合于网格等分布式并行计算环境中的各类复杂应用。 1 并行r树结构存储方式 在并行GIS研究领域,已有的研究成果中并未涉及太多的海量空间数据存储方面的问题。然而,在分布式并行计算环境下,海量空间数据的组织与管理是关系到并行GIS整体性能优劣的关键。因此,人们开始研究和探索并行空间索引,以提高空间数据访问效率,其中针对R树并行化方法的研究成果较多。 Karnel等最早提出了并行R树索引方法,其并行R树的硬件基础为单CPU多磁盘系统,使用并发I/O方法提高查询的数据吞吐量。Schnitzer等提出了M-R树和MC-R树(Master-Client R树)方法,两种方法的相同之处在于均是将R树的所有非叶节点存储在多机环境中的主计算机上。两者的区别在于M-R树的叶节点和实体对象直接存储在子节点上,而MC-R树的各子节点存放在子R树。以上3种并行R树结构均采用主从模式,所以主节点很容易成为访问的热点和瓶颈,这将增加事务处理的响应时间,进而降低了系统的整体性能。 R树空间索引结构具有固有的并行性特征,适合于并行GIS和并行空间数据库的应用,但从目前已有的并行R树索引研究成果发现,R树在并行计算环境下应用时存在如下不足:1)R树中越靠近根节点的非叶节点被数据库事务访问的概率越大,其成为热点的可能性越大;2)当R树的叶节点进行分裂或合并时,通常会影响该节点邻近的节点,甚至整个R树都需做相应调整;3)访问R树中的节点时,通常需在该节点附加共享锁或排他锁,如果对R树进行更新等操作,则被访问的节点将被锁住,其他事务也不能对该R树进行任何操作,从而降低了R树的事务并发处理能力。虽然R树存在弊端,但实践证明,经过优化设计,其仍是构建并行空间索引的最佳选择。 从已有的并行R树索引机制可以看出,分布式并行计算环境中并行R树的构建关键在于新创建的叶节点如何在多个磁盘间分配,其原则包括:1)数据平衡准则,即理想状态下每个磁盘具有同等数量的叶节点,同时需保证数据总量平衡;2)面积平衡准则,即每个磁盘上存储的空间实体所覆盖的空间区域面积平衡,否则存储空间区域面积较大的磁盘很可能成为访问的热点和瓶颈;3)空间关系平衡准则,即尽量将重叠或空间距离较近的叶节点存储在不同的磁盘,以提高查询时的数据吞吐能力。本文根据这些准则,给出分布式并行计算环境(如网络集群)中并行R树空间索引结构的构造方法。 2 r树空间索引机制 2.1 空间数据特征 在数据库领域,数据划分技术是解决划分后的数据块在各磁盘之间分布不均衡问题(即数据倾斜现象)的有效方法。同样,空间数据划分技术在空间数据库中也发挥着重要作用,在避免产生数据倾斜的前提下,可提高空间数据的并行查询与检索效率。空间数据划分策略是本文并行R树空间索引结构的基础,也是保证该索引机制具有高效率与高性能的前提条件。 为遵循上述创建并行空间索引机制的原则,并满足空间数据划分策略的需求,本文采用文献中基于Hilbert空间填充曲线的空间数据划分算法(Spatial Data Partitioning based on Hilbert Curve,HCSDP)。在充分考虑空间信息的海量特征以及矢量数据存储记录的不定长等特点的前提下,该算法可实现空间数据库中海量空间数据在多个磁盘上的均衡分布,从而避免出现数据倾斜现象。 2.2 r树索引结构组成 已有的并行R树索引机制大部分采用两层或多层索引结构。本文构造的并行R树空间索引结构是基于HCSDP空间数据划分算法的多层并行R树索引(Hilbert Space-Filling Curve based Multi-tiers Parallel R-tree,HCMPR-tree),