面向分布式环境的数据存储布局与查询优化技术-计算机软件与理论专业毕业论文.docxVIP

复旦大学硕士学位论文摘 复旦大学硕士学位论文 摘 要 对于当前的海量数据分析或处理，数据通常存储在大规模集群的分布式文件系统 (如GFS、HDFS)上。这些文件系统提供了对数据的便捷管理、高效访问以及容错 性和扩展性。基于GFS和HDFS的MapReduce编程框架具有简单、通用的特点，通 常应用于大规模数据的分析或处理。 本文实现了一种在分布式环境下的数据布局策略，将一个集中式与分布式相结合 的两级索引结构部署在分布式文件系统HDFS上，实现了基于格雷码的数据布局策略， 使各类选择查询(如部分匹配查询、多维范围查询和多属性范围查询等)的顺序访问 的比率大幅提升。另外，对于二元关系运算连接查询，虽然Hadoop提供了默认的关 系连接机制，但这种方法需要对大量的数据进行排序和传输，将带来很高的时间代价， 而且多个关系表的连接在Hadoop缺省连接中也不能得到直接支持。因此我们提出了 一种全新的非对称连接策略，不仅能够与本文实现的数据布局策略相兼容，而且避免 了Hadoop缺省连接的诸多开销较大的因素，并能在一个MapReduce作业中有效地完 成多个关系的连接。 最后，本文通过实验，给出了存储布局策略和查询优化方法的时间和空间代价， 验证了本文提出方法的有效性和高效性。 关键词：海量数据；分布式；格雷码；数据布局；连接 第1页共43页 __●l___I●_-●●-l_-_I_l-_l_I●__-I_I●____l_--_●●___-__ll__●--●I_-_l_●I-__-l●●I_l_●●●- __●l___I●_-●●-l_-_I_l-_l_I●__-I_I●____l_--_●●___-__ll__●--●I_-_l_●I-__-l●●I_l_●●●-复旦大学硕士学位论文 Abstract Nowadays．massive data are usually stored in distributed file systems(e．g．，GFS， HDFS)deployed on scale clusters for data analysis or processing．These distributed file systems provide convenient data management functions，efficient data access，fault tolerance and extensibility．As a simple programming framework，based 0n GFS and HDFS， MapReduce is usually applied to analyze or process large—scale data． This paper implements a data placement strategy in a distributed environment．We deploy a two．1evel centralized／distributed index structure on HDFS，and implement the data placement strategy based on Gray Code in order to enhance the ratio of sequence access for diverse selection queries(e．g．，partial match query,multi—dimensional range query and multi—attribute range query,etc．)for a great extent．On the other hand，for the binary relation operation join，Hadoop provides a default join mechanism．Howeveg this method has to sort and move large scale data across the network，and therefore brings expensive cost．Worse more，j oins over many relations cannot be supported directly in default join provided by Hadoop．We study this problem and present a brand new asymmetric join strategy，which is not only compatible with the data placement str