摘 要 - 世界大学城_附件.pdfVIP

浅析linux 最新技术应用 Ip 存储论文 题目： 浅析linux 最新技术应用 软件 学院 计算机网络 专业 学 号 0925053340 0925053314 0925053329 学生姓名 彭铁林 石紫翰 刘波 指导教师 刘立 二〇一一年六月 1 / 8 浅析linux 最新技术应用 摘 要 随着高性能计算由传统的主机方式向网络化集群演变，传统的基于主机的存储架构已 逐渐向网络化存储发展，计算和存储分离的趋势越来越明显。针对 SAN 和 NAS 的不足， 国际上已开展针对 Linux 新技术当中的集群的新型文件系统――对象存储文件系统的研 究，本文重点论述了存储对象文件系统的架构、技术特点，并针对 Lustre 对象存储文件 系统进行了初步测试，结果表明对象存储文件系统在可扩展性、性能、易用性等方面都有 显著提高，随着网络化存储技术的不断成熟，对象存储文件系统将成为重要的发展方向。 关键词：linux 新技术;对象存储文件系统;集群;SAN;NAS 2 / 8 浅析linux 最新技术应用 第一章 绪 论 1.1 研究的背景和意义 高性能计算已由传统的主机方式逐渐向集群方式演变，如 TOP500 中，1998 年只有 2 台系统是集群方式，而到2003 年已有 208 台为集群系统。随着高性能计算体系结构的发 展变化，传统的基于主机的存储架构已成为新的瓶颈，不能满足集群系统的需求。集群的 存储系统必须有效解决两个主要问题：（1）提供共享访问数据，便于集群应用程序的编写 和存储的负载均衡；（2）提供高性能的存储，在I/O 级和数据吞吐率方面能满足成百上千 台规模的Linux 集群服务器聚合访问的需求。目前，网络化存储已成为解决集群系统高性 能存储的有效技术途径。 国际上主要有两类网络化存储架构，它们是通过命令集来区分的。第一类是 SAN （Storage Area Network）结构，它采用SCSI 块I/O 的命令集，通过在磁盘或FC （Fiber Channel）级的数据访问提供高性能的随机 I/O 和数据吞吐率，它具有高带宽、低延迟的 优势，在高性能计算中占有一席之地，如 SGI 的CXFS 文件系统就是基于SAN 实现高性能 文件存储的，但是由于SAN 系统的价格较高，且可扩展性较差，已不能满足成千上万个CPU 规模的系统。第二类是NAS （Network Attached Storage）结构，它采用NFS 或CIFS 命令 集访问数据，以文件为传输协议，通过TCP/IP 实现网络化存储，可扩展性好、价格便宜、 用户易管理，如目前在集群计算中应用较多的NFS 文件系统，但由于NAS 的协议开销高、 带宽低、延迟大，不利于在高性能集群中应用。 针对Linux 集群对存储系统高性能和数据共享的需求，国外已开始研究全新的存储架 构和新型文件系统，希望能有效结合SAN 和NAS 系统的优点，支持直接访问磁盘以提高性 能，通过共享的文件和元数据以简化管理，目前对象存储文件系统已成为Linux 集群系统 高性能文件系统的研究热点，如 Cluster File Systems 公司的Lustre、Panasas 公司的 ActiveScale 文件系统等。Lustre 文件系统采用基于对象存储技术，它来源于卡耐基梅隆 大学的Coda 项目研究工作，2003 年 12 月发布了Lustre 1.0 版，预计在 2005 年将发布 2.0 版。Lustre 在美国能源部(U.S.Department of Energy：DOE)、Lawrence Livermore 国 家实验室，Los Alamos 国家实验室，Sandia 国家实验室，Pacific Northwest 国家实验 室的高性能计算系统中已得到了初步的应用，IBM 正在研制的 Blue Gene 系统也将采用 Lustre 文件系统实现其高性能存储。ActiveScale 文件系统技术来源于卡耐基梅隆大学的 Dr. G