可伸缩的元数据集群系统设计研究.pdfVIP

刘仲等：可伸缩的元数据集群系统设计 可伸缩的元数据集群系统设计 刘 仲①王晓东 周兴铭 (国防科学技术大学计算机学院 长沙410073) 摘要 目录子树分割方法与路径名散列方法是目前常见的两种元数据管理方法，它们 都存在不均衡工作负载、大量元数据迁移、可伸缩性差等缺点。本文提出一种将元数据划 分为目录路径元数据与文件自身元数据分开管理的新的元数据集群系统结构，并设计一 种可伸缩的元数据管理模型。 关键词分布式存储，元数据集群，目录路径，可伸缩 元数据到不同服务器，解决了目录子树分割方法不 0 引言 能有效平衡元数据服务器之间工作负载的缺点。典 型的散列计算方法是对文件全路径名进行散列计算 在传统的文件系统中，元数据与数据本身由同 来分配和定位元数据，优点是不需要遍历文件路径 一个文件系统管理，保存在同一台存储设备上，并且 的所有目录就能直接定位文件的元数据；缺点是修 为提高访问效率，元数据与其描述的数据在物理上 改目录时，因为散列输入的改变，该目录下所有文件 尽可能的靠近。而在大规模分布式存储系统中，数 的元数据服务器必须更改，导致大量的元数据迁移； 据都是通过高速网络直接访问，元数据与用户数据 在可伸缩性方面，若增加或减少元数据服务器，则需 分离，由独立的元数据服务器承担元数据的访问服 要重新计算散列值从而导致大量的元数据迁移。 务，尽管元数据的数据量相对于整个存储系统的数 Brandt[4]结合目录子树分割与散列方法的优点，基于 据容量而言比较小，但是有统计表明，在所有文件系 文件路径名进行散列计算来快速定位文件的元数 统的访问中，对元数据的访问大约占全部访问次数 据，用一个访问控制链表来描述文件的访问权限，克 的50％到80％…，所以，高效的元数据管理对整个 服了必须遍历文件路径的所有目录才能确定该文件 存储系统提供高性能和高可伸缩性至关重要。 的访问权限的缺点。但是，依然存在当目录属性更 在现有的分布式文件系统中，分配元数据的方 改(目录名改变、删除，目录权限修改)或增加、删除 subtree 法主要有两种，即目录子树分割(Directory 元数据服务器时，需要重新计算散列值从而导致大 partitioning)方法怛J和纯散列(Purehashing)方法【3|。 量的元数据迁移的缺点。L．us溉[5]有类似的缺点。 目录子树分割根据目录子树来组织元数据，每个元 数据服务器管理整个目录树中的一个或多个子目录 文件的目录路径用于实现文件系统的目录层次 管理，文件的元数据用于记录文件的访问属性与数 树，如NFS、AFS、Cod