CRUSH.docVIP

CRUSH: Controlled， Scalable， Decentralized Placement of Replicated Data CRUSH控可扩展数据中心化的定位Sage A. Weil Scott A. Brandt Ethan L. Miller Carlos Maltzahn Storage Systems Research Center University of California， Santa Cruz {sage， scott， elm， carlosm}@ 快速兴的分布式存储系统面临着在数以千的存储设备之间分配PB级的数据问题。样的系统将数据与负载分布，以充分利用可用的资源，并最大化系统的性能时能够系统的增长管理硬件设备的失效。我开发了 CRUSH，一种可扩展，随机的数据分布函数，门象文件系统用来数据与设备之间的影射，不于的目录。因大系统天生就是动态的，CRUSH 来适应储设备的增加删除，并最小化数据的移动。本各种数据复制与可靠机制，并根据定义的策略对数据进行，使得复本在同的失效中分离。1 简介 基于的存储最近兴的，这种构架要保证的可管理性，可性以及性能[Azagury et al. 2003]与传统的基于磁盘不同，基于对象的存储设备（OSDs）在内部进行磁盘分配的管理，的接口使得其他可以读写不同大小的，有名的对象。在样的系统中，每个文件的数据分成了小块的有名的对象，并在集群中分布。对象多个设备之间复制（或者了其他的冗余策略）用来防止失效出现时导致数据丢失于对象的存储系统将大数据列表替换为对象列表，并分布到底层的块设备，简化了数据的。尽管通过压缩文件分配数据及性而提升了可扩展性，但是在数计的设备之间进行数据分布样的问题依然存在并且这些设备之间容性能特的差异。多系统都是简单地将新数据写到一个使用太多的设备中。这方案的问题就是数据入后就很移动。就完分布，当储系统扩展时，都会变得不平衡。因磁盘要么是空的，要么只包括新数据。样根据负载况，要么是磁盘是新磁盘一处于状态的情况下才会充分使用因此充分使用可用的资源。 种可靠的解决方案，就是将所有的数据地在系统中可用的存储设备之间进行分配。这性地平衡，并混合使用新旧设备。当的加入时，已经存在的数据的部分会被迁移到新的设备上以恢复平衡。这方式有一个关键的好处是，上，所有的设备都有相的负载，因此系统在任可能的负载下都表现良好[Santos et al. 2000]。外，在一个大的存储系统中，个的大文件会被随机分布到一个大的集中，高层的并行化及集合带宽。然，的基于的分布，无法处理变化的情况这样会导致数据大量重整。外，有的随机分配磁盘数据在不同的设备之间进行化，容易招致偶然的设备失效数据丢失。 Controlled Replication Under Scalable Hashing，基于可扩展的哈希下的受控复本算法）。这是一个准随机的数据分布算法，可以可靠高效地将对象复本在异构的，结构化的存储集群中进行分布。CRUSH 实现为一种准随机，确定性的函数，其将输入值（一般为对象或者对象组ID）影射为设备列表，并用这些设备列表存储对象。CRUSH 仅需要很少的，即集群设备组成的层级描述以及复本定位策略的相关知识。这不同于传统的方式，因为它不依赖于任何的单文件或者单对象目录。这种方式有两个关键的好处：一个是，它是完全分布的，大系统中的任何部分都可以独立计算对象的位置；其二是，所需要有元数据大多都是静态的，只有当设备添加与删除时才会有变化。 CRUSH 设计的目标就是用来优化数据分布，并充分利用系统资源，在设备添加或者删除时，有效地组织数据，并对数据复本定位施加灵活的限制，使得数据安全性在意外的或者相关的硬件失效情况下能得到保证。CRUSH支持很多的数据安全机制，包括 n 路复本（镜像），RAID 校验方案或者其他形式的代码擦除，以及混合方式（如 RAID-10）。这些特性使得 CRUSH 成为管理超大规模（几个PB）存储系统中的对象分布的理想方案。在这样的存储系统中，可扩展性，性能，可靠性是极为重要的。 2 相关工作 其于对象的存储对于提升系统的可扩展性最近受到了广泛的关注。很多的研究以及生产系统已经接纳了基于对象的方式，包括像 Seminal NASD 文件系统[Gobioff et al. 1997]， Panasas [Nagle et al. 2004]， Lustre [Braam 2004]， [Rodeh and Teperman 2003； Ghemawat et al. 2003] [Schmuck and Haskin 2002]，以及Federated Array of Bricks（FAB）[Saito et al. 2004] 都面临着相同的数据