NoSQL系统的容错机制原理与系统示例.pdfVIP

第 5期 华东师范大学学报 (自然科学版) NO．5 2014年 9月 JournalofEastChinaNormalUniversity (NaturalScience) Sept．2014 文章编号：1000—5641(2014)05—0001—16 NoSQL系统的容错机制 ：原理与系统示例 孔 超，钱卫宁，周傲英 (华东师范大学 数据科学与工程研究院，上海 200062) 摘要 ：NoSQL数据管理系统因其具有 良好 的可扩展性和容错性，在 以Web数据管理和分析处 理为代表的新型大数据应用环境 中得到了广泛使用．这些系统通过新型一致性模型和数据冗余 等技术 ，实现 了集群环境 中的容错处理．本文在对集群环境数据管理系统的一致性保持和容错 处理基本原理进行介绍的基础上 ，对 Bigtable、HBase、Dynamo、Cassandra，以及 PNUTS五个典 型的NoSQL系统的容错机制及其实现进行分析与对 比，并讨论它们 的设计原则和实现技术对 于系统的可用性、性能、复杂负载的处理能力等方面 的影响．最后 ，讨论现有 NoSQL系统容错机 制对于设计和实现支持关键任务的内存数据管理系统的借鉴意义 ． 关键词 ：NoSQL系统； 容错 ； 一致性保持 中图分类号 ：TP311．131 文献标识码：A DOI：10．3969／j．issn．1000—5641．2014．05．001 Fault-toleranceinNoSQLsystems：Principlesandsystem analysis KoNG Chao， QIAN W ei—ning， ZHOU Ao—ying (InstituteforDataScienceandEngineering，EastChinaNormalUniversity，Shanghai 200062，China) Abstract： NoSQLdatamanagementsystemshavebeenwidelyused inW ebdatamanagement andprocessingapplications，fortheirhighscalabilitiesandfaulttolerence．Thefaulttolerenceis achievedbyusingnew consistencymodelsanddatareplicationsinclusteredsystems．Inthispa— per，themechanism andimplementationdetailsoffiverepresentativeNoSQL systems，i．e．Big— table，HBase，Dynamo，Cassandra，andPNUSTS，werediscussedandanalyzed，afterageneral introductiontotheprinciplesofconsistencypreservingand faulttolerentprocessing．Further— more，theimpactofthesetechnologieson system availability，performanceandworkload bal— ance，wasanalyzed．Finally，theirinfluenceon thedesignofin—memorydatabasemanagement systemswasdiscussed． Keywords： NoSQLsystems； fault—tolerance； consistencypreserve 0 引 言 传统的关系型数据管理系统已经不能满足高并发的读写、高可用性和高可扩展性 的新 收稿 日期 ：2014—06 基金项 目：国家 973课题 (2010CB731402)；国家 自然科学基金 第一作者 ：孔超 ，男，博士研究生 ，研究方向为 Web数据管理．E-mail：52121500012@student．