【技术解密】SequoiaDB分布式存储原理.pdfVIP

【技术解密】 分布式存储原理 SequoiaDB 分布式架构势在必行 在传统的数据库技术中，为了保证数据的安全与高性能，通常会选择高端的外置存储 作为数据库的主要存储源，而本地磁盘则被视为不可靠的性能低下的一种设备。这种观念的 产生，主要是由于过去本地磁盘的生产技术存在一定的瓶颈，并且其稳定性和性能确实都远 落后于高端存储。  互联网应用迅猛发展 在过去， IT行业的发展远没有现在蓬勃，大家更多的是在家里或者办公室通过桌面 级设备上网查询资料和浏览世界各类时事新闻。在这样的时代背景下，互联网企业和像银行、 通讯类公司这种对 IT部门十分依赖的传统企业，一台小型机和一个优秀的关系型数据库就 能够很好的处理企业内部多个系统之间的数据了。 但是在最近 10年，甚至更短的时间里，每个人手中都拥有了一部或者多部智能移动 终端，它们除了能够打电话、发短信，也能够像笔记本电脑一样，上网、玩游戏、购物、聊 天。各种智能应用和业务场景也被开发者发掘出来了，这些新颖的应用也正在被大部分消费 者所接受。  硬件成本大大降低 一台小型机+一个优秀的关系型数据库已经越来越不能满足 IT部门对急速膨胀的数据 量的处理需求了，重要一个原因，传统的数据库技术无法做到方便快捷地将海量数据分配给 多台服务器去计算，而永远只能通过垂直扩容硬件的方式提升系统性能。 经过这 10几年的发展，过去不被企业认可的磁盘技术有了很大的进步，从 SATA磁盘 到 SAS磁盘，从机械磁盘到 SSD磁盘，技术的进步，使得本地磁盘的稳定性和读写性能都有 了非常大的提升。它们也逐渐被企业使用在重要的生产环境中。  分布式大数据技术革新 与磁盘技术同时发展起来的，还有各种大数据技术。先有谷歌的三篇著名论文，后有 各种技术特点的 NoSQL/NewSQL数据库。它们的技术实现，都是基于廉价的 X86服务器和本 次磁盘作为主要的硬件服务器而设计。 并且各种 NoSQL/NewSQL数据库的技术特点，都包含了数据分布式存储的功能技术， 以解决当前企业数据量快速膨胀，客户对 IT系统的相应时间要求越来越高的技术难题。 。 数据库分布式原理介绍 Hash 方式分布数据 数据库 Hash方式分布数据，原理就是用户在建立集合时，指定此集合的切分方式为 Hash，并且显式指定 ShardingKey 为记录中哪个字段。 图 1 当应用 APP 向数据库发送写入记录的请求时，首先会将记录与请求发送到数据库的 Coord节点，Coord节点会根据此集合的切分方式，例如 ShardingKey=id,ShardingType=Hash， 以及记录中ShardingKey 的 Hash值，判断应该将此记录分发给哪个数据分区组。一旦数据分 区组接收到写入记录请求与写入的数据信息，数据分区组会调用数据库中相应的方法将此记 录持久化到磁盘上，并且同时更新此数据分区组中对应集合的索引数据。 Range 方式分布数据 数据库 Range方式分布数据，原理就是用户在建立集合时，指定此集合的切分方式为 Range，并且显式指定 ShardingKey 为记录中哪个字段。 应用APP 应用写入数据 根据ShardingKey 的 值判断此记录应该 Coord节点 属于哪个数据分区 组的，然后将记录 分发过去 数据分区组 数据分区组 数据分区组 …. 图 2 当应用 APP 向数据库发送写入记录的请求时，首先会将记录与请求发送到数据库的 节点， 节点会根据此集合的切分方式，例如