基于mapreduce的结构化查询机制的设计与实现-软件工程专业论文.docxVIP

万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得电子科技大学或其它教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 签名： 范 波 日期：2011 年 3 月 24 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 范波 导师签名： 段翰聪 日期： 2011 年 3 月 24 日 万方数据 万方数据 摘要 摘要 随着 Web2.0 网络应用和云计算服务的兴起和发展，海量数据的存储和处理 是其主要的特性，新型互联网应用的新特性对传统的数据管理技术提出了新的挑 战。传统的关系型数据管理系统在应对海量数据和急速增长的数据时，遇到了难 以克服的难题，海量数据存储和超大规模计算的特点，使数据管理技术关注的重 点从一致性 C（Consistency）、可用性 A（Availability）转向了可用性 A（Availability） 和分区耐受性 P（Partition Tolerance），即在扩展性和可用性方面提出了更高的要 求。已有的新型数据管理系统很好的满足了这两方面的要求，相比关系型数据管 理系统，它们只支持基于 Key 上的条件和范围查询，而基于多列的条件和范围查 询是数据管理系统一个普遍的需求，而已有的系统主要是通过依靠 MapReduce 强 大的运算能力来全表扫描来实现，使查询性能随着数据规模的增长而变得效率不 高。针对多维查询效率低的情况，本文在设计与实现了一套大规模分布式结构化 数据存储系统 LDS3 基础上，还设计了一种基于 MapReduce 的性能较高、可靠性 较强的、低存储开销的分布式查询机制。整个分布式结构化数据管理系统的所包 括的基本工作和主要特色： 1. 在底层基于 P2P 的分布式存储系统的基础上，设计与实现了一套类 BigTable 的分布式结构化数据管理系统，主要包括：采用基于 Linux C++设计了一套 MapReduce 的分布式计算框架和建立在这个计算框架上的分布式结构化数据 管理系统。 2. 通过将表数据的多个副本采用不同的存放格局来加速多维查询。初始创建表 的时候需要指定行记录的主键，而在本系统中除了指定主键外，还支持在其 他列上创建索引，然后将表记录按照主键和各索引列分别排序，并按照这个 顺序进行物理存储。针对主键和索引列上的条件和范围查询，首先通过子表 服务器与子表的映射关系，将结果集的锁定在尽可能少的子表上，由于表的 副本是按照主键和索引列有序存储，进而将结果集定位在子表的某一段连续 的表记录，最大程度上减少了查询过程中的表数据的随机访问次数。结合基 于 MapReduce 的分布式计算框架（DVCP），并行的在表数据的各副本并行 进行过滤查询。 I 摘要 3. 通过设计与实现基于 Bitcask 的底层存储模型，相比基于 MapFile 的存储引擎， 在效率和设计的复杂度方面具有明显的优势。 关键字：MapReduce，副本不同存储格局，多维条件查询，Bitcask 存储引擎 II ABSTRACT ABSTRACT With the rapid development of Web2.0 application and Cloud Computing, how to store and manage the massive data has become one of the essentials. Tranditional data management is now facing a challenge to adapt to the trait of new web application. Traditional RDBMS can not deal with increasingly massive data any more. The pivot of data management has turned to availability and Partition Tolerance from consistency and availability due to large scale computing a