基于Lustre+文件系统的快照方法的研究.pdfVIP

2008年伞围高性能计算学术年会 基于Lustre文件系统的快照方法研究 蒋金虎周顺坡余婷 (江南计算技术研究所无锡214{)83) net) (Jinhu]iang@263 摘要：文件快照是文件数据在某个时刻的映像， 模的系统中有不错的表现，而对应PB级海量分布 本文结合Lustre文件系统提出通过扩展文件inode 式文件系统之上快照的功能，目前没有相关成熟产 和数据对象快照来实现的文件快照的一种方法， 品。 关键词：CFSMDSOSTLustrePanasas Glusterlfs 2 Lustre文件系统介绍 A of Basedon TechniqueSnapshot Lustre文件系统主要分成三部分，分别部署在 LustreFile System 不同的功能节点：客户端文件系统(CFS)，部署 JIANGJin—huZHOU YU Shun—poTingm 在计算节点、应用服务器上；元数据服务器(MDS)， Institute (JiangnanComputingTechnology,Wuxi， 部署在负责原数据管理的I／0节点之上；对象存储 214083) 目标(()sT)，部署在负责管理文件数掂的I／0节 istocreateaninstant ofa Abstrct：Snapshot image 点上，下图描述了各部分之间的关系。文件系统客 file Basedonlustre system sytem，thispaper introducea file 户端对文件目录、元数据的操作通过元数据服务器 system—basedsnapshottechnique achievedextendfileinodeanddate by object进行。在获取文件的元数据信息后，对文件的数据 snapshot． 访问直接通过对象存储目标进行，这样大大提高了 Keywords：CFS，MDS，OST,Lusge 文件访问带宽，创建文件或者文件恢复时，对象存 储目标都需要通知元数据服务器，保证文件系统状 1 引 言 态的一致性。如图1为Lustre文件系统架构 在现代集群系统和商|牛能计算中，随着规模的 扩大，对分布式系统的需求和压／，J也越来越大。随 之涌现了一批新的文件系统，如面向对象存储的 Lustre…文件系统、Panasas文件系统和GlusterIg文 件系统等。 这些文件系统的典型特征是容量大、可扩展性 和并行I／()能力强。在文件系统容量和性能增强的 同时，一些传统技术也在不断改进，以适应新的变 化和趋势，如快照技术。 在存储快照领域，目前有两种做法：第一种方 法是在虚拟存储的设备层进行快照，如LVM和 EVMS，在单机存储系统应用广泛；第二种方法是3 Lustre上快照功能设计 在文件系统层进行快照，如Netapp的WAFL功能 和IBM的AIX6中的JFS2文件系统快照，这两种 传统存储技术中文件直接映射到磁盘