基于Chord环的MongoDB数据均衡系统设计与实现-计算机技术专业论文.docxVIP

重庆大学硕士学位论 重庆大学硕士学位论文 目 录 PAGE PAGE IV 目 录 摘 要 I ABSTRACT II 目 录 III 1 绪 论 1 1.1 课题研究背景 1 1.2 课题研究意义 2 1.3 国内外研究现状 2 1.3.1 国外研究现状 2 1.3.2 国内研究现状 4 1.4 本文研究的主要内容 4 1.4.1 研究目的 4 1.4.2 研究内容 5 1.5 论文结构 5 2 相关理论及关键技术 6 HYPERLINK \l _TOC_250009 NoSQL 的概念 6 HYPERLINK \l _TOC_250008 NoSQL 的定义 6 HYPERLINK \l _TOC_250007 NoSQL 划分 6 HYPERLINK \l _TOC_250006 NoSQL 与 SQL 特性 8 HYPERLINK \l _TOC_250005 CAP 理论 8 HYPERLINK \l _TOC_250004 ACID 理论 9 HYPERLINK \l _TOC_250003 BASE 思想 10 2.3 数据均衡算法 10 HYPERLINK \l _TOC_250002 谷歌 Bigtable 10 HYPERLINK \l _TOC_250001 阿帕奇 Cassandra 14 HYPERLINK \l _TOC_250000 淘宝 OceanBase 16 2.4 内存映射文件 20 2.4.1 虚拟存储器 20 2.4.2 文件映射实现机制 21 2.5MongoDB 架构 22 2.5.1 数据模型 22 2.6 本章小结 24 3 基于 Chunk 块的数据均衡策略 25 MongoDB 集群架构 25 Chunk 块策略 27 Chunk 块概念 27 Chunk 块划分 29 Chunk 块迁移 32 3.3 算法分析 34 3.4 本章小结 34 4 基于 Chord 环的数据均衡策略 36 4.1 方法的提出 36 基础 Chord 协议 36 一致性 Hash 算法 37 FingerTable 路由协议 41 4.3 本章小结 46 5 系统设计和实现 47 5.1 系统开发环境 47 5.2 使用 Chord 环的 MongoDB 集群 47 5.3 本章小结 48 6 实验结果和分析 49 6.1 实验平台 49 6.2 实验数据 49 6.3 实验结果 50 6.3.1 插入速度波动对比 50 6.3.2 总体插入时间 53 6.3.3 Chord 环数据均衡 54 6.3.4 Chord 环节点加入和退出 55 6.4 本章小结 57 7 总结与展望 58 致 谢 59 参考文献 60 附 录 63 A. 作者在攻读硕士学位期间参与的科研项目 63 重庆大学硕士学位 重庆大学硕士学位论文 1 绪 论 PAGE PAGE 10 1 绪 论 1.1 课题研究背景 伴随着云计算技术的日趋成熟以及 SNS 社交网站的兴起，人们的日常生活已经 被各种各样的数字资源所包围。在这个“全民参与网络”的时代，人们日以继夜 地在网络上传递、分享和交流着各种各样的信息（包括文本、图像、视频、语音 等等），因而信息量爆炸式增长，产生海量数据。以 IDC（Internet Data Center）的 统计数据为例，在 2006 年全世界产生的数据量是 0.18ZB（1ZB=100 万 PB， 1PB=1048576GB），到 2011 年则达到 1.8ZB，这种增长还在加速，预计到了 2015 年将达到 8ZB[1]。 存储和管理如此庞大的数据量使传统的关系型数据库（SQL）暴露出许多难以 克服的问题：大规模并发读\写请求响应；海量数据下的高速反应；整个数据库体 系横向扩展；存储数据类型的多变性以及多样性[2]。为了解决上述问题，非关系型 数据库（NoSQL）应运而生。在 2009 年国外的 NoSQL 会议上，数十种非关系型 数据百花齐放：Redis，Tokyo Cabinet，Cassendra，Voldemort，MongoDB，Dynomite， HBase，CouchDB，Hypertable，Riak，Tin，Flare，Lightcloud，KiokuDB，Scalaris， Kai，ThruDB 等等。其中，MongoDB 作为文档型数据库的代表，在最近几年快速 发展，获得很多大中型企业和网站的使用：Intellisponse，迪士尼，eBay 等等[3]。 MongoDB 之所以如此备受关注，与它自身很多独特的机制相关：使用 BSO