对象存储系统中元数据管理研究-计算机系统结构专业论文.docx

华 华 中 科 技 大 学 博 士 学 位 论 文 华 华 中 科 技 大 学 博 士 学 位 论 文 摘 要* 对象存储系统采用了一种新的接口——对象接口，有效综合了块接口的快速直 接访问、存储设备可扩展的交换结构与文件接口的安全性、跨平台数据共享等优点， 同时对象接口能够提供比其他任何一种接口更为丰富的语义，其基本单位是对象， 对象除了包含用户数据外，还包含能描述对象特征的访问属性。 在大规模对象存储系统中，元数据访问非常频繁，是系统性能潜在的瓶颈，需 要研究高性能、可扩展的元数据管理方法。在对象存储系统中，数据放置策略负责 将文件映射为对象、为对象选择合适的对象存储设备存放，在需要访问对象时要快 速定位到对象所在的对象存储设备，它对系统访问性能有关键性的影响，需要根据 系统的规模选择合适的数据放置策略。另一方面，元数据服务器中的元数据记录了 文件和目录信息与对象之间的关系，元数据的丢失将导致数据无法访问，因此元数 据的可靠性维护至关重要。 提出一种分布式元数据管理方案，以提供高性能和可扩展的元数据访问。它采 用仿层次目录结构，针对元数据的不同访问特性将元数据灵活分布在元数据服务器 集群中。在深入分析传统文件系统中与用户组件部分相关的元数据组成结构的基础 上，结合数据库能提供高事务吞吐量的特点，提出一种改进的元数据存储和管理方 法，提高访问速度；在系统中不再用持久存储(如磁盘)来存储记录文件名到索引节 点号映射关系的目录数据，而是采用一种间接的方案来模拟层次目录结构，避免层 次目录结构自身成为热点，从而提供高性能、可扩展的元数据访问；引入目录转换 元数据以避免子树分割方案中的目录遍历和哈希方案中的重命名目录导致的大量 元数据迁移，提高元数据总体访问性能；针对每种元数据自身的访问特性，采用不 同的分割方法将其分布在元数据服务器集群中，方便系统规模扩展。实验结果表明 该方案在提高元数据访问性能和系统可扩展性方面有明显优势。 由于元数据访问负载随时间动态变化，元数据在元数据服务器集群中的静态分 配可能会导致某一时刻某个元数据服务器成为访问瓶颈，为了在元数据服务器集群 中提供高性能、可扩展的元数据服务，需要在元数据服务器之间均衡负载。提出一 种以文件元数据请求的响应时间为衡量标准、应用于元数据服务器集群的负载均衡 算法，使集群中所有元数据服务器的响应时间差别较小，达到元数据服务器集群的 *本文受 973 计划项目（2004CB318201）、863 计划项目（2009AA01A402）和国家自然科学基金 资助。 I PAGE IV PAGE IV III III 负载均衡，从而提高元数据服务器整体性能。 提出一种利用遗传算法根据文件的不同特性求解数据放置的策略，它用于在系 统规模较小、对象存储设备总数固定的应用环境中寻求系统性能的近似最优解。提 出基于组的区分定位策略，它用于在系统规模较大且对象存储设备总数可能发生变 化的应用环境中解决对象放置问题。它首先根据对象存储设备加入系统的不同时期 将每个对象存储设备划分到不同的存储子集群，先采用分布式算法将对象映射到系 统的某个子集群中，再在子集群内部根据不同类型的对象采用不同的映射方法，对 新创建的大对象采用启发式方法来选择负载较轻的对象存储设备存放，对小对象采 用改进哈希算法来决定其所在的对象存储设备，兼顾了对象分布的灵活性和系统可 扩展性。实验结果表明该策略具有很好的性能和可扩展性。其中改进哈希算法是基 于子集群内对象存储设备规模的变化规律提出的一种新的分布式算法，它既能继承 简单哈希算法的计算开销小和均匀分配对象的优点，又能以近似最优的对象迁移开 销有效支持子集群内的对象存储设备规模的变化。 提出一种采用扩展属性页来提高元数据可靠性的方法，它利用对象存储系统富 有表达力的对象接口来提高系统元数据可靠性，并采用 Markov 模型对其可靠性进 行分析。该方法不需要额外的硬件配置，且不排斥其他的提高存储系统元数据可靠 性的方法，为提供更高的元数据可靠性提供了一种补充方案。 关键词：对象存储系统，元数据，元数据服务器集群，负载均衡，放置策略， 可靠性 华 华 中 科 技 大 学 博 士 学 位 论 文 华 华 中 科 技 大 学 博 士 学 位 论 文 Abstract* Object-Based Storage Systems (OBSS) adopt a new interface—object interface, which is an effective integration of fast direct access and scalability in block-based interfaces and high security and c