分布式系统初步的研究.doc

分布式系统相关技术初步研究 近期对各种分布式技术进行了初步研究，主要包括: 分布式文件系统(GoogleFS、GFS、Lustre等)、关系数据库集群系统(ORACLE RAC、Teradata、Mysql Cluster、Mysql Master-slave、Mysql Proxy、C-jdbc、变形虫)、分布式Key-value数据库(BigTable、Dynamo)。本文档将逐一介绍这些系统思路，并对目前分布式系统技术进行总结。 一 分布式文件系统 分布式文件系统 最初文件系统只能管理本地磁盘空间。主机之间文件共享与传输则通过FTP实现。但FTP 没有提供与本地文件系统一致的访问接口和对象模型。随着计算机应用范围的扩展，通过文件访问接口在不同主机之间共享文件的需求日益增强。 从最早的分布式文件系统NFS开始，到现在经过20多年的发展，目前分布式文件系统的种类很多。当目前主流分布式文件系统一般包括三类：NFS、基于共享磁盘分布式文件系统(主要基于SAN)、基于对象存储的分布式文件系统。 NFS NFS 从1985 年出现至今，已经经历了四个版本的更新。结构如下: NFS 利用Unix 系统中的虚拟文件系统（VFS）机制，将客户机对文件系统的请求，通过规范的文件访问协议和远程过程调用，转发到服务器端进行处理；服务器端在VFS 之上，通过本地文件系统完成文件的处理，实现了全局的分布式文件系统。 一般NFS文件系统由一台NFS 服务器和多个客户端组成。所有文件统一存储在NFS服务器上，类似文件服务器。多个客户端利用mount将位于NFS服务器上的文件系统加载到本地，让客户机利用访问本地文件方式访问远程文件，实现文件共享。 NFS主要缺点是NFS Server会成为整个系统瓶颈和单点，如果采用多个 NFS Server则无法实现一个全局统一文件系统，同时NFS在并发访问控制方面也不太好。 基于共享磁盘分布式文件系统 基于共享磁盘分布式文件系统包括Red Hat的Global File System、IBM公司的General Parallel File System等。基于共享磁盘文件系统所有节点通过存储网络(一般是SAN存储网络)与所有块存储设备相连，由安装在所有节点上分布式文件系统程序控制节点间对共享块设备并发访问控制。 基于共享磁盘文件系统一般是对称结构，即所有节点之间角色相同，不存在服务器与客户端区别，也称为“serverless”架构。节点与块存储设备之间采用直接I/O通道，因此I/O效率会很高。 下面主要介绍Global File System，General Parallel File System为商业文件系统，不开源。 GFS体系结构如下图： GFS吸取了对称多处理器（SMP）系统设计和实现原理，将系统中每一个客户机类比于SMP 中的一个处理器。客户机间没有任何区别，可以平等地访问系统中所有存储设备，就像处理器可以机会均等地访问主存一样。这样设计可以更好地利用系统中资源，消除单个服务器带来性能瓶颈和单点失效问题。GFS 采用特殊设计的锁机制来同步多个客户机对同一设备的访问，具有很高效率。 Global File System中锁机制 分布式文件系统中关键功能是多节点间并发访问控制。Global File System提供了两种锁机制：DLM、GULM(还有一种对单节点的no-lock机制)。 GULM是“server/client”模式锁机制。采用GULM时，必须指定一个或者多个节点作为GULM服务器。GLUM缺点是GULM服务器成为系统瓶颈。如果存在3个或者5个GULM服务器，可容忍1或者2个GULM服务器节点失效。 DLM(Distribute Lock Manager)是全对称结构。基本思路是：每个文件第一个打开该文件节点成为该文件“Lock Master”，此后其他节点需要打开或者获取该文件锁，必须通过网络与“Lock Master”协商，所以非“Lock Master”节点访问文件时速度比较慢，但“Lock Master”对文件访问不必要获得其他节点许可，访问速度很快。 因此Global File System FAQ 建议：使用DLM时，如果一个三节点GFS存储有30,000个文件，最好让每个节点全权处理其中10,000个文件，尽量减少非“Lock Master”的文件访问。(类似 ORACLE RAC 中应用分区) 逻辑卷管理 使用GFS时，一般利用CLVM(Cluster Logic Volume Manage)将所有物理块设备虚拟化成一个大存储池，然后在该逻辑卷上创建GFS文件系统。CLVM与LVM区别是CLVM利用DLM锁机制实现跨节点逻辑卷访问控制。利用CLVM 可以实现在线动态增加存储，并