大数据走向云计算 (6).pptVIP

第6章 分布式文件系统 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样，下面是三个基本的分布式文件系统。 分布式文件系统主要包括： ● 网络文件系统（NFS） ● Andrew文件系统（AFS） ● 分布式文件系统（DFS） 6.1 分布式文件系统概述 目前分布式/并行文件系统研究情况大致可以分为三类： ● 商业用途的并行文件系统； ● 公开的分布式文件系统； ● 供研究的并行文件系统。 一些研究项目存在于并行I/O和并行文件系统的领域，像PIOUS、PPFS及Galley.PIOUS专注于以事务的观点来看I/O，PPFS研究着眼于自适应缓存和预取，Galley关注的是磁盘访问的优化和可选的文件组织。这些文件系统可以免费获得的，但是大多数仅仅是研究原型，没有被他人使用。 6.2 分布式文件系统类型 6.2.3分布式文件系统 分布式文件系统（DFS）是AFS的一个版本，作为开放软件基金会（OSF）的分布分布式文件系统式计算环境（DCE）中的文件系统部分。 6.2.2 Andrew文件系统 Andrew文件系统简称为AFS，其是一个分布式网络文件系统，其能够使来自任何通过这个国家的 AFS 机器能够在文件一经在外地存储就能访问。 6.2.1 网络文件系统 网络文件系统，英文Network File System（NFS）。是由SUN公司研制的UNIX表示层协议（pressentation layer protocol），能使使用者访问网络上别处的文件就像在使用自己的计算机一样。 6.3 xFS概述 xFS文件系统是SGI开发的高级日志文件系统，xFS极具伸缩性，非常健壮。所幸的是SGI将其移植到了Linux系统中。在Linux环境下。目前版本可用的最新xFS文件系统的为1.2版本，可以很好地工作在2.4核心下。 xFS 是 Silicon Graphics，Inc. 于90年代初开发的。它至今仍作为SGI 基于IRIX 的产品（从工作站到超级计算机）的底层文件系统来使用。现在，xFS也可以用于Linux。xFS 的 Linux 版的到来是激动人心的，首先因为它为 Linux 社区提供了一种健壮的、优秀的以及功能丰富的文件系统，并且这种文件系统所具有的可伸缩性能够满足最苛刻的存储需求。 6.4 DAFS概述 随着数据量的增加，网络存储的需求也在增长。企业必须为文件为文件、Web应用、数据库等服务，提供满足其需要的存储能力。DAFS（Direct Access File System，直接存储文件系统）作为一种文件系统协议，可以在大量甚至过量负载时，有效地减轻存储服务器的计算压力，提高存储系统的性能。 DAFS的基本原理，即为通过缩短服务器读写文件时的数据路径，来减少和重新分配CPU的计算任务。其提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，而是在两个物理设备的预先映射的缓冲区中直接传输。 6.5 GFS概述 GFS的架构图 Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby、MapReduce及Bigtable等技术结合十分紧密，处于所有核心技术的底层。 6.6 GPFS共享文件 GPFS（General Parallel File System ，GPFS）是IBM公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术（VSD）。作为这项技术的核心，GPFS 是一个并行的磁盘文件系统。 GPFS共享磁盘结构图 6.7 Lustre并行文件系统 Lustre是HP，Intel，Cluster File System公司连个美国能源部开发的Linux集群并行文件系统。Lustre文件系统在2003年推出了了1.0版本。它是第一个机遇对象存储设备的、开源的并行文件系统。 Lustre文件系统结构示意图 6.8 分布式锁服务Chubby Chubby系统提供粗粒度的锁服务，并且基于松耦合分布式系统设计可靠的存储。软件开发者不需要使用复杂的同步协议，而是直接在程序中调用chubby的锁服务，来保证数据操作的一致性。 Chubby的基本框架图