并行文件系統简介.pptVIP

并行文件系统简介;并行文件系统介绍 影响并行文件系统因素 ;并行文件系统介绍 ;文件系统 文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。也指用于存储文件的磁盘或分区，或文件系统种类。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。 文件系统是操作系统的一个重要组成部分，通过对操作系统所管理的存储空间的抽象， 向用户提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。 文件系统种类 FAT、NTFS、EXT2、EXT3、EXT4、HFS、ReiserFS、VMFS、JFS、UFS、VXFS、ZFS、ButterFS、RAW;本地文件系统与分布式文件系统;大容量：现在的数据量比以前任何时期更多，生成的速度更快； 高性能：数据访问需要更高的带宽； 高可用性：不仅要保证数据的高可用性，还要保???服务的高可用性； 可扩展性：应用在不断变化，系统规模也在不断变化，这就要求系统提供很好的扩展性，并在容量、性能、管理等方面都能适应应用的变化； 可管理性：随着数据量的飞速增长，存储的规模越来越庞大，存储系统本身也越来越复杂，这给系统的管理、运行带来了很高的维护成本； 按需服务：能够按照应用需求的不同提供不同的服务，如不同的应用、不同的客户端环境、不同的性能等。;集群系统架构;传统的分布式文件系统（NFS）中，所有数据和元数据存放在一起，通过单一的存储服务器提供。这种模式一般称之为带内模式（In-band Mode）。 NFS体系结构 ;NFS的优点： 从1985年的nfs1到现在的nfs4，发展多年，简单但是成熟； Linux直接在内核予以支持，使用方便； NFS的缺点： 可扩展性差，难以应用于大量存储节点和客户端的集群式（cluster）系统； 文件服务器的定位（location）对客户端非透明，维护困难； 缓存管理机制采用定期刷新机制，可能会发生文件不一致性问题； 不支持数据复制，负载均衡等分布式文件系统的高级特性，很容易出现系统的性能瓶颈； NFS服务器的更换会迫使系统暂停服务 对于异地服务的支持能力不强 ;利用存储区域网络（SAN）技术，将应用服务器直接和存储设备相连接，大大提高数据的传输能力，减少数据传输的延时。 所有的应用服务器都可以直接访问存储在SAN中的数据 只有关于文件信息的元数据才经过元数据服务器处理提供，减少了数据传输的中间环节，提高了传输效率，减轻了元数据服务器的负载。每个元数据服务器可以向更多的应用服务器提供文件系统元数据服务。这种模式一般称之为带外模式（Out-of-band Mode）。;PVFS，开源 Lustre ，开源 Parastor，曙光商业软件 GPFS， IBM的产品，现已开源 GFS， Red Hat商业软件 PFS，Intel商业软件 GoogleFS，google商业软件，主要用于互联网应用 HDFS，Apache开源，基于java的支持 FastDFS，主要用于互联网应用 ……; PVFS是开源的，于1998年公开，并且在GNU公共 版权可证下发布。它无需特殊的硬件设备和内核的改动，可以直接应用于廉价的Linux集群。PVFS目前为止有两个重要版本：PVFS1是早期的版本， 在运行时存在严重的单点故障问题，一旦管理服务器宕机，则整个系统都无法正常工作；而且，PVFS的程序开发者认为代码写得过于混乱，因而，他们整理并重 写了PVFS的源代码，并发布了PVFS2。在PVFS2中，不再单独设立管理服务器，而是各个运行IOD进程的节点都可以接管管理服务器功能，以此来改善系统的单点故障问题。 PVFS提供重要的4个功能： 一致性的访问名字空间 支持现存的系统访问方式 数据分布在集群节点不同机器不同的硬盘上 为应用程序提供高性能的数据访问方式 ;PVFS使用了三种类型的节点： 管理节点(mgr) 运行元数据服务器，处理所有的文件元数据（元数据是描述文件信息的文件） I/O节点(iod) 运行I/O服务器，存储文件系统的文件数据，负责数据的存储和检索 计算节点 处理应用访问，利用libpvfs这一客户端的I/O库，从底层访问PVFS服务器 I/O节点、计算节点是一个集群的节点可以提供其中的一种功能，也可以同时提供其中的两种或者全部三种功能 ;PVFS的运行机理 当打开、关闭、创建或删除一个文件时，计算节点上的一个应用通过libpvfs直接与元数据服务器通信 在管理节点定位到一个文件之后，它向这个应用返回文件的位置，然后使用libpvfs直接联系相应的I/O节点进行读写操作，不必与元数据服务器通信，从而