关于MFSvshdfs与其它集群云文件系统.docVIP

昨天在台湾的坛子上，问了关于MFS vs hdfs 在海量存储应用方面的性能的测试。Jazz老大的回答，有一定的参考价值：＝＝＝＝＝＝＝＝＝＝先前看過一個簡單的比較，說 MogileFS 比較合適小檔案，HDFS 則強調大檔案（64MB 當一個 Block）。某種程度上，影音比較合適用 HDFS。只是 HDFS 的優點是 Thoughput 高，但 Latency 較差。若沒有要作 MapReduce 運算，個人還是比較推薦 GPFS 或 Lustre。不考慮效能就用 HDFS + FUSE 吧~＝＝＝＝＝＝随即网络科普学习一下，相关技术，具体的细节，还有待进一步进行测试研究。梦翔儿：GPFS:看起来用在IBM的Unix下，需要额外的存储平台，不一定适合我们。。=============GPFS 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术( VSD )。作为这项技术的核心， GPFS 是一个并行的磁盘文件系统，它保证在资源组内的 所有节点可以并行访问整个文件系统；而且针对此文件系统的服务操作，可以同时安全地在 使用此文件系统的多个节点上实现。 GPFS 允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上；它提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。 GPFS 也支持 UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于 GPFS 的文件系统， 唯一不同的在于管理 GPFS 文件系统的命令。 GPFS 提供的文件系统操作服务可以支持并行应用和串行应用，它允许任何节点（这些节点 属于同一个节点组）上的并行应用同时访问同一个文件或者不同的文件。 GPFS的特性　　GPFS通过高性能的,共享磁盘的文件系统提供对于IBM UNIX服务器群集中的快速的数据访问。平行的和串行的应用程序能够容易地使用标准的UNIX文件系统接口，如open(), close()等存取文件。 　　GPFS通过将I/O分布在多个硬盘提高性能，通过日志和复制的方式提高数据的可靠性，通过增加节点和在节点之间由SP Switch互联提高系统的可扩展性. 　　大多数UNIX下的文件系统被设计来应用于单一服务器的典型环境。增加新的文件服务器并不能提高文件存取性能。GPFS 遵从UNIX的文件标准，其设计目标是通过多节点的文件系统提供可扩展的性能和系统失效恢复的能力。 　　除了已有的AIX管理文件系统的命令， GPFS还提供 简化多节点管理的功能。一个GPFS多节点命令能作用于集群中所有的节点，并且可以从群集中的任何节点上操作。这些命令以现有的AIX文件系统命令为基础, 并进行了扩充。 　　GPFS支持X/Open 4.0的文件系统标准,大多数的AIX和 UNIX操作系统的应用程序不需要修改，就可以访问GPFS文件系统上的数据。这些特性使得GPFS文件系统可以替代其他的UNIX文件系统。 GPFS的高性能和可扩展性　　通过将文件分布在多个节点和磁盘上，GPFS可以超越单一节点和单一文件系统的性能极限。文件系统能够跨越多个节点和多组磁盘，这些磁盘可以是使用 SSA 技术在HACMP群集里面直接地连接到每个节点上进行物理共享。也可以是由IBM的VSD（Virtual Shared Disk）和SP Switch技术使经过软件进行共享。 扩展阅读： 1/solution/gpfs.htm /view/1301755.htm＝＝＝＝＝＝＝本文通过一个实际的生产系统案例 , 主要介绍了搭建高可用并行文件系统集群(GPFS)的设计思路和设计过程中的问题解决。本文也通过案例介绍了GPFS并行文件系统的一些基本框架和原理 ,GPFS系统的可靠性分析方法，以及如何最大可能的提高GPFS系统的性能与可靠性。　　GPFS并行文件系统介绍　　GPFS(General Parallel File System) 是 IBM 公司第一个共享文件系统，起源于 IBM SP 系统上使用的虚拟共享磁盘技术 ( VSD )。作为这项技术的核心，GPFS是一个并行的磁盘文件系统，它保证在资源组内的所有节点可以并行访问整个文件系统。而且针对此文件系统的服务操作，可以同时安全地在使用此文件系统的多个节点上实现。　　GPFS允许客户共享文件，而这些文件可能分布在不同节点的不同硬盘上。提供了许多标准的 UNIX 文件系统接口，允许应用不需修改或者重新编辑就可以在其上运行。GPFS也支持 UNIX 文件系统的工具，即：用户可以像使用普通文件系统一样使用基于GPFS的文件系统，唯一不同的在于管理GPFS文件系统的命令。GPFS提供的文件