Veritas Cluster Server集群成员仲裁和数据保护研究.docVIP

Veritas Cluster Server集群成员仲裁和数据保护研究 　　摘要：伴随时代进步，由于服务器技术的迅猛发展，服务器系统被广泛应用于各行各业，极大地促进了社会经济的发展，但同时也对服务器系统的可靠性和稳定性提出了更高的要求。集群技术是近年来推出的一种解决高可用系统的方案。本文主要介绍了Veritas Cluster Server (VCS)集群系统。重点讨论了Veritas Cluster Server(VCS)集群系统的成员仲裁与数据保护。 　　关键词：Veritas Cluster Server (VCS)集群系统 成员仲裁 数据保护 　　中图分类号：TP391 文献标识码：A 文章编号：1007-9416(2011)11-0084-02 　　 　　1、引言 　　近年来，由于服务器技术的迅猛发展，服务器系统被广泛应用于国民经济的各行各业，但同时也对服务器系统的可靠性和稳定性提出了更高的要求。高可用系统(High Availability)[1]就是基于为终端用户提供持续性的稳定服务为目的，目前属于非常活跃的研究课题。集群技术是近年来推出的一种解决高可用系统的解决方案。 　　处于集群中的节点，当它因故宕机时，它会停止通过私网发送心跳信息，幸存的节点则会采取相应的措施来保障数据安全。当私网通信故障产生时，集群中的节点都会认为是对方已经脱离集群。这种情况的后果是，当分裂的节点都尝试去对存储上的数据进行写操作，由于节点操作不一致，造成数据破坏。这就是通常说的集群脑裂(Split-brain)[1]。 　　Split-brain是所有集群解决方案都需要面对的一个问题。集群要提供高可用性，必须有能力正确处理集群脑裂这种异常情况。在SFS(SAN File System)[1]集群中，通过SCSI-Ⅲ[2]持续预留技术实现了I/O fencing[2]，解决了这一问题。 　　2、集群中的I/O fencing概述 　　当集群发生脑裂时，为保证数据完整性，需采取一种机制来裁决集群中节点的去留；留在集群中的节点将锁定存储，不允许非集群的节点访问。SFS(SAN File System)集群中底层VCS 4.0 [2]提供了一种叫做SCSI-Ⅲ持续预留的技术实现了I/O fencing。SCSI-Ⅲ持续预留技术包含了两个独特的功能：注册和预留。 　　注册和预留的关系为：集群中的节点只有注册了才能预留；注册者才可以注销，预留者才能释放；注册了才能清除、抢占。SCSI-Ⅲ持续预留指定了对磁盘访问控制的注册和预留机制。这种机制决定了谁可以在磁盘中注册，一个注册的节点如何逐出其它的节点。 　　SCSI-Ⅲ的预留者为一条I_T nexus [2]（启动器端口到目标器端口的链接），预留对象也是LUN[2]。当目标器和LUN发生重置的时候，预留信息不会丢失。 　　2.1 SCSI-Ⅲ注册 　　每个节点都参与注册一个Key[2]在SCSI-Ⅲ的存储设备上。Key写在RAID控制器里，并不是在磁盘上。有两个节点，节点0注册了key A，节点1注册了key B，节点0和节点1的key是互相可见的。 　　注册的节点允许“逐出”其它注册的节点。未在磁盘上注册的节点不允许逐出注册的节点。当一个节点要逐出其它节点时，它通过发出“preempt and abort”命令来逐出其它节点的key。没有注册的节点不能发布此命令。一旦一个节点被逐出，被逐出的节点不能再逐出别的节点。 　　2.2 SCSI-Ⅲ预留 　　只有注册的节点才可以预留，SFS集群软件采用预留类型为“Write Exclusive Registrants Only”（WERO）。即只有注册的节点才能进行写操作，阻止没有注册的节点对存储写操作。 　　如果一个节点希望阻止另外一个节点访问磁盘，它只要把该节点的注册信息移除即可。任何没有注册节点的I/O将会返回预留冲突的错误提示。集群中的一个节点的多路径将共用一个key，因此移除一个key将会阻断这个节点所有的访问路径。 　　3、VCS 4.0 I/O fencing 组件及功能 　　集群中的每个节点运行一个叫做Vxfen 的内核。Fencing驱动通过集群中的GAB 保持与其它节点的通信。Fencing驱动在集群正常工作的时候，负责在协调盘上注册；当集群状态发生变化时，负责竞争并控制协调盘。 　　在SFS集群中，协调盘是特殊用途的盘。协调盘是专门给I/O fencing分配的3个标准的盘或LUN，如图1所示。当集群状态发生异常，集群重新配置的时候，协调盘担当着全局锁的作用。这种锁机制决策哪些节点留在集群中，哪些节点被踢出集群，被踢出的节点将不能对数据盘进行写操作。 　　协调盘不能用做其它用途，不能用来保存数