基于对象存储系统中属性管理研究与实现.docVIP

基于对象存储系统中属性管理研究与实现 　　摘要：针对现有属性管理方法上的缺陷和不足，提出了一种新的属性管理方法――哈希桶。哈希桶方法对对象的属性进行集中管理，不仅降低了管理存储成本，更有效地提高了系统的吞吐率。经过仿真测试表明，哈希桶对象属性管理方法性能远优于现有的属性管理方法。 　　关键词:基于对象存储系统；对象属性；哈希桶 　　中图分类号：TP311文献标志码：A 　　文章编号：1001-3695(2007)11-0188-03 　　 　　0引言?? 　　 　　随着计算机技术的快速普及,人们对数据的需求呈指数级增长,存储系统已经成为制约计算机进一步发展的瓶颈。传统的存储系统，如NAS和SAN都难以提供完美的存储解决方案：NAS基于文件，文件级别的接口提供了安全性和跨平台的互操作性；SAN基于块，块级别接口在快速访问、高性能方面有优势。此时，基于对象的存储系统[1]在众多存储方案中脱颖而出，它在性能、可扩展、数据共享以及容错、容灾等方面有杰出表现，为人们提供一个完美的解决方案。对象存储系统的概念已经被工业界广泛认可，并由多家公司联合，由美国国家标准组织（ANSI）下属的T10工作组制定标准――OSD命令集（object－based storage device commands）[2]；IBM、Panasas等公司已经推出了相关产品。目前影响较大的对象存储系统有集群文件系统公司开发的Lustre文件系统[3]和Panasas公司开发的Panasas ActiveScale storage cluster[4]等。?? 　　基于对象存储系统之所以取得这么大的成功，最根本的原因在于它推出了一个全新的存储接口，即对象（object）。 　　对象是一些具有逻辑关系的数据的载体，它与块的固定大小不一样。对象是可变长的，可包含任何类型的数据，如文件、数据库记录、图像以及多媒体视频、音频等。至于包含何种类型数据由应用决定，对象可动态地扩大和缩小。对象分为用户对象、分区对象、集合对象和根对象四种。其中：用户对象是对象存储设备中数量最多的，它存放各种对象数据及其属性数据；把用户对象进行分区管理，构成分区对象；集合对象是一些具有相同或相近特性的用户对象或者分区对象的集合；根对象及其属性用于描述对象存储设备的一些特征，一个对象存储设备只有一个根对象。对象由一个128 bit的标志符惟一表示。该128 bit的标志符为64 bit的partition_ID和64 bit的user_Object_ID的组合。?? 　　本文根据当前存储系统应用的一些特点，结合对象存储设备自身的优点，提出了一种对象属性管理的新方法――哈希桶。通过哈希桶对对象属性进行集中式的管理，大幅度地提高了系统的性能。?? 　　 　　1对象存储系统和对象存储设备?? 　　 　　对象存储系统的体系结构如图1所示。高速网络将用户、元数据服务器（metadata server，MDS）和对象存储设备（OSD）[5]连接起来。OBSS实现一个基于对象的分布式网络文件系统。MDS提供全局名字空间，管理文件到对象的映射，提供身份验证等安全机制。OSD则向外提供对象接口，以对象作为存取单元。用户访问文件时先向元数据服务器发送请求，获取文件的信息（如文件由哪些对象组成以及对象所在的设备等）及访问证书，然后客户与OSD直接交互。OSD收到客户请求后，对其身份进行认证，然后执行客户的对象读写请求。在这里客户向OSD发送的I/O请求与基于块的I/O请求不同，仅包括对象ID、对象的偏移地址以及长度。?? 　　 　　OSD是一个智能化的设备，包括CPU、memory、网络接口以及块设备接口，管理对象存储空间的分配、数据组织以及对象的属性。对象存储系统的最大好处之一就是将底层的数据组织和同步操作交由OSD管理，这就大大减轻了用户端和元数据服务器的负担，同时也提高了整个系统的并行性和可扩展性。?? 　　 　　2对象属性?? 　　 　　对象属性是对象特点的描述或历史行为的记录，充分利用对象的属性特征能有效地提高基于对象存储系统的整体性能。 　　对象可以表示任何类型的应用数据。对于不同的应用，数据的属性是不同的。如果为所有的对象定义一种统一的属性表示方式，这种表示方式会占用大量的存储空间。为简化和扩展对象属性的表示，本文采用一种属性页（attribute page）的表示方法，每个属性页上记录相关或相近的属性。每个属性页用属性页号（attri_Page_ID）来表示；属性页中具体的一个属性用属性索引号（attri_Index_ID）来索引。因此，对象的一个属性以（partition_ID, user_ID, attri_Page_ID, attri_Index_ID）惟一