GOOGLE分布式数据库技术演进研究.docxVIP

GOOGLE分布式数据库技术演进研究熊剑（中兴通讯股份有限公司成都研发中心）【 摘要 】大数据和云计算已经成为现有信息技术发展主流方向和趋势，分布式数据库技术是这些技术的基础和核心，GOOGLE作为整个业界技术的领导者，提出了BIGTABLE、DREMEL、SPANNER等一系列分布式数据库产品，让人感叹其超凡技术成就的同时，也展示出GOOGLE在分布式数据库技术上的演进路线，国内对于这些技术都有一些介绍，但是还未把这些产品串接起来，对分布式数据库技术实践和探索方向进行整合分析，作者对这些产品核心技术进行分析，结合自身对于分布式数据库的理解，力争展示出分布式数据库技术前进的脉络和方向。【 关键词 】 ACID；CAP；RDBS；Bigtable; Dremel; Spanner; F1;GFS；TrueTime; Colossus【 中图分类号 】 【 文献标识码 】A Research ofEvolution of distributed database technology GOOGLE.Xiong Jian（ZTE CorporationChengdu Research Center）【 ABSTRACT 】Big data and cloud computing has become the current mainstream IT development trends, distributed database technology is the foundation of these technologies, GOOGLE is the role of this industry, proposed Bigtable, Dremel, Spanner series distributed database products, these products got extraordinary technical achievements, demonstrated the GOOGLE evolution path of distributed database technology, in recent years,paper or BBS has introduction of these technologies, but these products have not yet connected in series, gave corresponding distributed database technology practice and exploration direction of meta-analysis, the authors analyze the core technology of these products, combined with their understanding of the distributed database, and strive to show the direction of distributed database technology.【 KEY WORDS 】ACID；CAP；RDBS；Bigtable; Dremel; Spanner; F1;GFS；TrueTime; Colossus1 引言在传统RDBM系统中，对于事务处理必须处理为一个完整的逻辑处理过程，具备ACID四个特性，A Atonomy 事务处理的原子性，要么成功，要么失败，C Consistency 一致性，数据库必须保持原有约束的关系，数据之间必须符合数据完整性，I Isolation 事务处理必须要彼此隔离，由RDBM保证能够并发处理事务，而不需要用户显示的干预，D Durability 数据能够被持久化下来，不会出现事务涉及数据丢失的情况。此4个特性是RDBM系统的基础要素和必须遵循的原则。事物总是发展的，人类社会信息总量在不断增大，对于RDBM系统管理的数据容量需求已经从GB级别演进到TB级别，又从TB级别演进到PB级别，数据量不断增大，原有的RDBM已经力不从心。如何解决该问题？软件设计很多思想都来自于建筑领域，先回到建筑领域，房屋建造有二要素，建筑高度、基础构造，建筑高度决定基础构造，而基础构造又会影响到建筑高度，建设一栋三层小房，专混结构就可以了，建设十一层房子，就需要上框架结构，摩天大楼，需要采用钢和框架的混合结构方式来支撑。软件设计也有相似的道理，同样存在二要素，一为容量要素，软件能够管理多少数据规模，一为软件构造要素，软件运行的物理硬件、操作系统、采用何种架构来组织软件各功能模块。二者对应关系，“建筑高度”对应