分布式结构化存储系统元数据管理模块设计与实现-计算机技术专业论文.docx

IV IV I I 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 作者签名： 日期： 年 月 日 论文使用授权 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 作者签名： 导师签名： 日期： 年 月 日 摘 摘 要 AB ABSTRACT 摘 要 在大数据时代，数据存储提出了许多新的需求，传统的基于关系的数据库存 储系统已经不能满足这些需求。本文在研究和分析了现有的典型结构化存储系统 的基础上，设计并实现了一个面向 POI 的，具有高可靠性的分布式结构化存储系 统 CBase。在 CBase 存储系统中，POI 信息被分布式存储在不同的存储节点上，元 数据信息指的是 POI 信息到存储节点的映射关系。元数据管理模块是 CBase 存储 系统中的一个模块，主要功能是管理 CBase 存储系统的元数据信息，是本人在项 目中的主要负责的模块。元数据管理模块的主要工作和特色如下： 1. 元数据管理的优化。设计并实现了一个基于 R-tree 的元数据管理模块，采 用写入操作日志的方式，把对元数据操作时可能产生的大量随机 I/O 转化为顺序 I/O，提高系统的吞吐率； 2. 元数据的容错性设计。为了保证元数据的可靠性，实现了一个基于 Paxos 算法的一致性协议，对元数据副本进行同步，并针对基本 Paxos 算法的缺点，设计 了 Leader 租约机制，大量减少了数据同步过程中产生的网络通信。 3. 快速的故障恢复。系统通过将元数据的操作写入日志文件中，并周期性对 元数据进行快照的机制，在系统宕机后，能够使用快照和操作日志快速地恢复系 统的元数据。 4. 海量并发的支持。利用 Linux 下提供的 epoll 机制，设计并实现一个高性 能的网络编程框架，该框架可以支持海量的并发访问，为 IS 的各个业务流程提供 编程支持。 关键词：Paxos 算法，副本，结构化存储，R-tree PAGE PAGE IV III III ABSTRACT In the era of big data, many new requirements are coming with data storage flourishing. The traditional relational database cannot meet these demands any more. Based on the research and analysis of typical structured storage systems, we proposed a POI oriented distributed structured storage system named “CBase”. POI information is stored in many storage nodes in CBase. Metadata information binds POI information to the storage nodes. Metadata management is a module of CBase, which stores CBase’s metadata. The main work and features of metadata management module as follows: Optimized metadata management. We designed and implemented a R-tree based metadata management module. By using the operation log, we transform a lot of random disk I/O into sequential I/O, and improved the overall throughput of the system. Fault-tolerant metadata. In order to ensure the reliability of met