集群并行文件系统介绍幻灯片.pptVIP

* ASIPP 集群系统介绍 报告人: 朱应飞 导 师: 罗家融 研究员 2007年12月21日 ASIPP 报告主要内容 文件系统介绍 集群文件系统 常用集群文件系统 Lustre介绍 ASIPP 集群的软件体系机构： 操作系统： 任何计算机系统的软件基础 并行开发库： 用于集群中进程通信的软件库 作业管理： 调度作业并管理集群系统的资源 系统管理： 管理和监控整个集群系统 开发环境： 开发和调试高效能应用的开发工具 标准应用： 一些标准的高性能应用如CFD 客户应用： 客户特别定制的应用 一 、集群软件体系机构 ASIPP 操作系统：并不是每种操作系统都适合集群系统 单任务操作系统：CPU同时只处理任务队列中的一个任务 多任务操作系统：基于分时技术的多任务操作系统 多CPU多任务操作系统：在某个时间点上，多个进程同时运行 a) 多CPU多任务操作系统+线程 b) 多CPU多任务操作系统+消息传递 我们的集群使用多CPU多任务操作系统+消息传递平台。它由SMP和PC服务器组成，以Linux为操作系统，以MPI或PVM这种消息传递方式作为通信方法 二、集群操作系统 ASIPP 文件系统是操作系统的重要组成部分，用于存储程序和数据 如何在各节点间高效、一致和简捷的实现数据共享是集群系统对文件系统提出的挑战 3.1、分布式文件系统： 相当于本地文件系统，有如下特点： 网络透明：对远程和本地的文件访问可以通过相同的系统调用完成 位置透明：文件的全路径无需和文件存储的服务绑定，服务器的名称或地址并 不是文件路径的一部分 位置独立：正是由于服务器的名称或地址并不是文件路径的一部分，所以文件 存储的位置的改变并不会导致文件的路径改变 分布式文件系统可以使集群的节点间简捷地实现共享。但是为了提供性能，分布式文件系统通常需要使用本地的缓存, 它很难保证数据在集群系统范围的一致性。而且往往分布式文件系统中只有一份数据，所以很容易发生单点失效。 三、集群文件系统 ASIPP 3.2、并行文件系统 建立在共享磁盘上的并行文件系统可以克服分布式文件系统的这些缺点 通过使用在节点共享的存储设备，并行文件系统具有很多优点： 高可用性：克服了分布式文件系统中那种服务器端的单点失效的缺点，提高了 文件系统的可用性 负载均衡：有多个访问点，彼此可以协调负载 可扩展性：容易扩展容量和访问的带宽 三、集群文件系统 ASIPP 3.3、集群中的数据共享形式 集群中使用的数据共享的方法常见的有： rsync是建立在本地文件系统之上 NFS和Inteemezzo属于分布式文件系统(确切的说，NFS只是网络文件系统) GFS属于并行文件系统 Backend-database则属于不同于文件共享的另一种形式的共享。 三、集群文件系统 ASIPP rsync是一种简单的文件共享实现方式 集群中的每个节点都有一份数据复本，复本间使用rsync进行同步 因为节点需要的数据就在本地，所以这种方法具有很高的可用性，不会出现单点失效现象 适用环境： 需要共享的数据量很小，而且很少更新 三、集群文件系统 rsync方式适用于静态网页和小的FTP站点 ASIPP 存储节点通过NFS将自己本地的文件输出，其他节点则把存储节点输出的文件系统mount到本地文件系统 NFS方式的存在两个很大的缺点： 性能差：因为所有的文件访问都必须经过网络和NFS服务器，所以在访问流量比较大的情况下，网络带宽和NFS服务器都会成为系统的瓶颈。 单点失效：如果NFS服务器的系统失效或者网络失效都会使得其他节点无法得到数据，从而使整个集群系统瘫痪。 三、集群文件系统 NFS方式适合于共享访问数据量不大的小型集群系统 ASIPP GFS(Global File System)实现了存储设备的网络共享 GFS的主要优点在于： 高可用性：一个GFS客户失效，数据还可以通过其他GFS客户访问 扩展性：不需要中心服务器，很容易扩展存储容量和访问带宽 GFS可以将物理上分离的存储设备虚拟为一个存储而且能平衡访问负载 GFS实现了文件锁和实时文件系统 三、集群文件系统 ASIPP Intermezzo实现了一个分布式的文件系统 它采用C/S模式，服务器拥有权威的数据，客户节点仅有本地缓冲的版本，通过普通的网络进行同步 Intermezzo支持断开连接下文件操作，在下次恢复连接时，它会集成本地的改动到服务器上 Intermezzo拥有象GFS一样的可用性和可扩展性。但它无法保证数据的实时一致性 三、集群文件系统 A