基于Hive的分布式空间数据库的研究与优化-计算机应用技术专业论文.docxVIP

Research and optimization of distributed spatial database based on Hive A Dissertation Submitted to the Graduate School of Henan University in Partial Fulfillment of the Requirements for the Degree of Master of Science By Li Chunxiao Supervisor: Asso. Prof. Lai Jibao May, 2015 摘 要 分布式空间数据库是空间数据技术以及分布式数据库技术领域中比较受研究者关 注的科学研究内容之一，目前已经应用在各行各业。由于空间数据具有数据量大，属性 数据与空间数据密切相关，空间计算复杂等特点，空间数据库的查询效率始终是权衡、 量度其性能的重要指标。由此 Apache 基金会所开发了以分布式系统架构为平台的 Hadoop,它是一个能够让用户轻松架构和使用的分布式平台。用户可以轻松地在 Hadoop 上开发和运行处理海量数据的应用程序，而它正是基于 Hive 这一可靠，高效的数据仓 库工具。 本文对分布式空间数据库工具 Hive 的关键技术进行了学习与研究，分布式空间数 据库系统 hadoop 与传统的数据库相比，其通过强大的分布式性能实现了空间计算的高 效性，更加适合大数据量的空间数据的计算。 主要工作如下： （1）通过对空间数据的理论基础的了解以及认识，对基于 HDFS HYPERLINK /view/19711.htm 的数据仓库工具 Hive 框架、基于 Hive 的分布式计算模型 MapReduce、分布式文件系统 HDFS 框架进行 分析。 （2）模拟对空间数据的检索以及对基于 HDFS HYPERLINK /view/19711.htm 的数据仓库工具 Hive 框架的扩展设 计并实现，把 SQL 进行扩展使之更便于对 Hive 查询支持，实现 Hive 用以分布式空间数 据查询。 （3）在对分布式空间数据库 DSQ(Distributed Spatial Querier)的设计完成后，进行初 步实现，部分性解决了 Hive 在查询过程中经常出现的数据倾斜问题，并对在分布式计 算时造成的数据倾斜问题的原因进行了详细分析，并采取一些优化方式来提高 HDFS 对 数据的处理效率。 （4）通过实验验证了所提出的基于 Hive 的分布式空间查询系统在查询效率方面与 同等计算性能的大型计算设备进行综合性能比较具有明显的优势。 关键词：分布式空间数据库, Hive, 查询扩展, 框架优化 ABSTRACT Distributed spatial Distributed spatial database is the spatial data technology and more attention by the researchers in the field of distributed database technology, one of the scientific research content at present has been used in all walks of life. Because of the space data with a large amount of data, attribute data is closely related to the spatial data, spatial calculation complex characteristics of spatial database query efficiency has always been an important index of weighing, measuring its performance. The Apache foundation has developed in a distributed system architecture for Hadoop platform, it is a can let users easily architecture and using distributed platform. Users can easily develop and run on Hadoop handle huge amounts of data applications, which is based on the Hive a reliable, efficient data warehouse tools. In t