基于分布式系统的粗粒度锁服务.pdfVIP

基于分布式系统的粗粒度锁服务Chubby 丁嵩、王靖轩、董嵬、蒋竞 {dingsong,wjx,dongwei,jiangjing@} 摘要 本文设计并实现提供粗粒度的锁服务Chubby 系统。Chubby 系统基于松耦合分布式 系统提供可靠的存储。软件开发者直接在程序中调用 chubby 的锁服务，来保证数据操 作的一致性。这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。在实现时， 客户端缓存数据，减少对主服务器的访问量；主服务器通过通报机制，定期向客户端发 送更新消息；提供档案文件，存储服务的参数及相关信息，而不需要建立并维护另一个 服务。同时，我们希望尽可能地保证高可用性、高可靠性和高可扩展性。 1 介绍 Chubby 系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。 软件开发者不需要使用复杂的同步协议，而是直接在程序中调用 chubby 的锁服务，来 保证数据操作的一致性。这种锁是建议性的，而不是强制性的锁，具有更大的灵活性。 客户端缓存数据，减少对主服务器的访问量。主服务器通过通报机制，定期向客户端发 送更新消息。 Chubby 系统具有广泛的应用场景，在分布式环境的开发中扮演重要作用。Chubby 系统让客户端进行同步并且协调配置环境，方便程序员进行分布式系统中一致性服务的 开发。例如，google 的GFS 系统直接使用chubby 选取主服务器；google 的bigtable 中 使用chubby 完成主服务选取、用户发现、表格锁服务等；软件开发者使用chubby 粗粒 度的分配任务；在编写并发程序时，使用 chubby 提供的共享锁或者独占锁，保证数据 的一致性。 Chubby 系统本质上是一个分布式的文件系统，存储大量的小文件。每一个文件就 代表了一个锁，并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件， 获取共享锁或者独占锁；并且通过通信机制，向用户发送更新信息。例如，当一群机器 选举mater 时，这些机器同时申请打开某个文件，并请求锁住这个文件。成功获取锁的 服务器当选主服务器，并且在文件中写入自己的地址。其他服务器通过读取文件中的数 据，获得主服务器的地址信息。 2 背景 在Chubby 系统[1]中，使用Paxos[2][3][4]保证备份的一致性。我们使用ICE[5]来实 现异步方法调用、分派，以保证服务器端数据的一致性。下面简单介绍ICE ： ICE 是“一种现代的面向对象中间件，可用于替代像CORBA 或COM/DCOM/COM+ 这样的中间件。在易于学习的同时，它为各种有着苛刻的技术要求的应用提供了强大的 网络基础设施。Ice 主要具有以下特点： 面向对象的规范语言 易于使用的C++和Java 映射 非常高效的协议，还可以进行协议压缩 异步方法调用（asynchronous method invocation ） 异步方法分派（asynchronous method dispatch ） 动态的传输插件 TCP/IP 和UDP/IP 支持，以及基于SSL 的安全性 Ice 防火墙解决方案，支持回调 3 Chubby 系统设计 3.1 系统概述 Chubby 系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。 Chubby 系统提供建议性的锁，而不是强制性的锁；强调锁服务的可用性、可靠性。Chubby 系统本质上是一个分布式的文件系统，存储大量的小文件。每一个文件就代表了一个锁， 并且保存一些应用层面的小规模数据。用户通过打开、关闭和读取文件，获取共享锁或 者独占锁；并且通过通信机制，向用户发送更新信息。例如，当一群机器选举mater 时， 这些机器同时申请打开某个文件，并请求锁住这个文件。成功获取锁的主服务器当选主 服务器，并且在文件中写入自己的地址。其他主服务器通过读取文件中的数据，获得主 服务器的地址信息。 3.2 系统目标 Chubby 系统的设计目标主要有六点： 支持粗粒度的锁服务：基于松耦合分布式系统的可靠存储，向用户提供粗粒度锁服 务。 高可用性和高可靠性：保证锁服务的高可用性和高可靠性，同时提供基本的可用性、 吞吐量和存储能力。 直接存储服务信息：提供档案文件，存储服务的参数及相关信息，而不需要建立并 维护另一个服务。 高扩展性：在R