基于hilbert划分的并行矢量数据索引算法研究-控制工程专业论文.docxVIP

分类号 密级 UDC 注 1 学 位 论 文 基于 hilbert 划分的并行矢量数据索引算法研究 （题名和副题名） 李 勋 （作者姓名） 指导教师 郑文锋 副教授 电子科技大学 成 都 （姓名、职称、单位名称） 申请学位级别 硕士 专业学位类别 工 程 硕 士 工程领域名称 控制工程 提交论文日期 2013 年 4 月 23 日 论文答辩日期 2013 年 5 月 27 日 学位授予单位和日期 电子科技大学 2013 年 6 月 28 日 答辩委员会主席 评阅人 注 1：注明《国际十进分类法 UDC》的类号。 PARALLEL SPATIAL INDEX ALGORITHM BASED ON HILBERT PARTITION A Master Thesis Submitted to University of Electronic Science and Technology of China Major: Control Engineering Author: Li Xun Advisor: Zheng Wenfeng School : School of Automation Engineering 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘要 摘 要 现代信息技术发展日新月异，数据库技术以及文件系统组织方式随着大数据 量的增长发生了巨大的变化。GIS 技术将传统的信息技术运用于空间信息领域， 其特有的数据模型以及相关处理算法都是和传统的信息技术领域联系在一起的。 随着现如今云计算，分布式处理及并行网格计算技术的逐渐成熟，GIS 技术及其 空间数据的组织方式必将迎来新的变革，迈向进步迎来新的发展阶段。 本论文通过将传统的空间数据库存储技术与当前信息技术的热点技术，分布 式存储系统技术相结合，通过运用分布式存储系统来实现空间数据库的相关功 能。选用 Hadoop 开源分布式技术，让空间数据的存储打破传统的基于行列表文件 的数据库方式，而是采用 HDFS 分布式文件系统存储下的并行高可扩展可用性模 式方式进行存储。并针对空间数据所固有的特点及相关数据模型相关文件标准 等，通过借鉴传统空间数据库中的主要方法 R 树索引技术，设计并实现了一种针 对并行分布式存储环境下的空间数据索引方法。通过采用将 Hilbert 划分曲线相关 原理算法运用于对空间数据集的划分函数上，通过有创意的 Hilbert 编码方法，将 空间数据集通过希尔伯特编码值聚类排序，有效的解决了分布式数据存储环境下 的空间数据划分的问题。并在此基础上采用并行计算的框架下构建索引集群。 通过运用 MapReduce 编程模型来解决 R 树索引的批量加载构建的问题，为矢 量数据提供了一种索引新方法。实验结果分析显示可以几近达到接近线性性能扩 展的效果。基于 Hilbert 划分的并行构建索引方法能有效提高构建的效率。然而， 构建的效率并不是 R 树索引唯一关心的问题，构建的索引质量同样也很重要。基 于 MapReduce 方法生成的 R 树索引其构建的 MBR 面积范围以及重叠区域同单节 点的构建相比都有了有效的改进。实验也证实了 MapReduce 方法在处理空间数据 的应用当中具有很大的潜力和扩展空间，值得深入研究相关的算法与应用。 关键词：空间索引，分布式算法，Hilbert 划分函数，空间数据库，R 树索引 I ABSTRACT ABSTRACT With the development of computer technology, the GIS system and technology has made great strides. Spatial data will be increasingly complicated, GIS model and algorithm will also be more and mo