细说分布式数据库过去现在与未来光环大数据培训.pdf

光环大数据--大数据培训人工智能培训 细说分布式数据库的过去、现在与未来_光环大数据培训 随着大数据这个概念的兴起以及真实需求在各个行业的落地，很多人都热衷 于讨论分布式数据库，今天就这个话题，主要分为三部分：第一部分讲一下分布 式数据库的过去和现状，希望大家能对这个领域有一个全面的了解；第二部分讲 一下TiDB 的架构以及最近的一些进展；最后结合我们开发TiDB 过程中的一些思 考讲一下分布式数据库未来可能的趋势。 一、分布式数据库的历史和现状 1、从单机数据库说起 关系型数据库起源自1970 年代，其最基本的功能有两个： 把数据存下来； 满足用户对数据的计算需求。 第一点是最基本的要求，如果一个数据库没办法把数据安全完整存下来，那 么后续的任何功能都没有意义。当满足第一点后，用户紧接着就会要求能够使用 数据，可能是简单的查询，比如按照某个Key 来查找Value；也可能是复杂的查 询，比如要对数据做复杂的聚合操作、连表操作、分组操作。往往第二点是一个 比第一点更难满足的需求。 在数据库发展早期阶段，这两个需求其实不难满足，比如有很多优秀的商业 数据库产品，如 Oracle/DB2。在 1990 年之后，出现了开源数据库 MySQL 和 PostgreSQL。这些数据库不断地提升单机实例性能，再加上遵循摩尔定律的硬件 光环大数据 光环大数据--大数据培训人工智能培训 提升速度，往往能够很好地支撑业务发展。 接下来，随着互联网的不断普及特别是移动互联网的兴起，数据规模爆炸式 增长，而硬件这些年的进步速度却在逐渐减慢，人们也在担心摩尔定律会失效。 在此消彼长的情况下，单机数据库越来越难以满足用户需求，即使是将数据保存 下来这个最基本的需求。 2、分布式数据库 所以2005 年左右，人们开始探索分布式数据库，带起了NoSQL 这波浪潮。 这些数据库解决的首要问题是单机上无法保存全部数据，其中以 HBase/Cassadra/MongoDB 为代表。为了实现容量的水平扩展，这些数据库往往 要放弃事务，或者是只提供简单的KV 接口。存储模型的简化为存储系统的开发 带来了便利，但是降低了对业务的支撑。 （1）NoSQL 的进击 HBase 是其中的典型代表。HBase 是 Hadoop 生态中的重要产品，Google BigTable 的开源实现，所以这里先说一下BigTable。 BigTable 是Google 内部使用的分布式数据库，构建在GFS 的基础上，弥补 了分布式文件系统对于小对象的插入、更新、随机读请求的缺陷。HBase 也按照 这个架构实现，底层基于HDFS。HBase 本身并不实际存储数据，持久化的日志和 SST file 存储在HDFS 上，Region Server 通过 MemTable 提供快速的查询，写 入都是先写日志，后台进行Compact，将随机写转换为顺序写。数据通过 Region 在逻辑上进行分割，负载均衡通过调节各个Region Server 负责的Region 区间 实现，Region 在持续写入后，会进行分裂，然后被负载均衡策略调度到多个 Region Server 上。 光环大数据 光环大数据--大数据培训人工智能培训 前面提到了，HBase 本身并不存储数据，这里的Region 仅是逻辑上的概念， 数据还是以文件的形式存储在 HDFS 上，HBase 并不关心副本个数、位置以及水 平扩展问题，这些都依赖于HDFS 实现。和BigTable 一样，HBase 提供行级的一 致性，从CAP 理论的角度来看，它是一个CP 的系统，并且没有更进一步提供 ACID 的跨行事务，也是很遗憾。 HBase 的优势在于通过扩展Region Server 可以几乎线性提升系统的吞吐， 及HDFS 本身就具有的水平扩展能力，且整个系统成熟稳定。但HBase 依然有一 些不足。首先，Hadoop 使用Java