大数据分布式锁服务技术.pdfVIP

Chubby 大数据的分布式锁服务技术 杨文川 2014.2 主要内容  分布式锁服务Chubby  分布式数据库BigTable  Google AppEngine  Google技术小结 分布式锁服务CHUBBY 3 Chubby是什么？  主要用于解决分布式一致性问题 ◦ 在一个分布式系统中，有一组的Process，它们需要确定 一个Value。于是每个Process都提出了一个Value，一致 性就是指只有其中的一个Value能够被选中作为最后确定 的值，并且当这个值被选出来以后，所有的Process都需 要被通知到 粗粒度的分布式锁服务 ◦ Chubby是Google为解决分布式一致性问题而设计的提供粗 粒度锁服务的文件系统 ◦ 其他分布式系统可以使用它对共享资源的访问进行同步 4 Chubby的设计目标  需要实现的特性 高可用性 高可靠性 支持粗粒度的建议性锁服务 支持小规模文件直接存储  不作考虑的特性 高性能 存储能力 5 Chubby的系统架构 Chubby 单元的 5个服务器 客户端应 Chubby 用程序 程序库 远程过程 主服务器 ... 调用 客户端应 Chubby 用程序 程序库 客户端进程 6 文件系统中文件的权限 文件系统中文件操作的权限有哪些？ 这些权限之间的互斥关系是怎样的？ Chubby文件系统  Chubby系统本质上就是一个分布式的、存储大量小 文件的文件系统 Chubby中的锁就是文件 在GFS的例子中，创建文件就是进行‚加锁‛操作，创建 文件成功的那个server其实就是抢占到了‚锁‛ 用户通过打开、关闭和存取文件，获取共享锁或者独占 锁；并且通过通信机制，向用户发送更新信息 8 Client与Chubby的通信协议 旧的主服 无主服务器 选出新的 务器故障 主服务器 租约期M2 旧的主 新的主 服务器 租约期M 1 租约期M3 服务器 1 3 4 6 8 KeepAlives 2 5 7 租约期C3