东北林业大学数字化校园分布式存储系统建设方案 - 宝德.pdfVIP

CS1012 云存储技术白皮书 宝德云存储技术白皮书 1.宝德分布式存储系统架构 宝德分布式存储系统是基于开源的Ceph存储系统进行整合和优化并做二 开发，宝德分布式文件系统是一个 LinuxPB 级文件系统，可扩展到100PB。 宝德分布式存储系统 在一个统一的系统中同时提供了对象、块、和文件存 储功能。它可靠性高、管理简单，并且是开源软件。分布式存储系统 的强大可 IT 以改变贵公司的 基础架构和海量数据管理能力。分布式存储系统 可提供极 大的伸缩性——支持数千客户端访问 EB级数据。分布式存储系统的节点可以充 分利用硬件资源和智能OSD守护进程，而一个分布式存储系统存储集群容纳了 大量节点，它们相互通讯、复制数据、动态地重分布数据，支持目录级别的异步 远程复制功能；分布式存储系统 监视器也能组成集群来监控整个 分布式存储系 统 存储集群内的 分布式存储系统节点，确保它们运行正常。  一个对象存储：分布式存储系统 的对象存储为 RADOS，是 分布式存储 系统FS 文件系统、RADOS 网关、和 分布式存储系统 块设备的存储部 件。  多个存储接口：在同一个 分布式存储系统 对象存储集群中，，您可以使 用 分布式存储系统文件存储、分布式存储系统 对象存储、或者 分布式存 储系统 块存储接口，你也可以同时使用这三个接口，无需为三种不同接口 分别建设存储集群！  使用普通硬件：您可以用普通硬件部署 分布式存储系统，而不需要购买 昂贵的专用存储或网络硬件。 CS1012 云存储技术白皮书 RADOS Reliable,Autonomic,DistributedObject 分布式存储系统的底层是 （ Store，即可靠的、自动化的、分布式的对象存储）。RADOS 由两个组件组成：  OSD ObjectStorageDevice ： ，提供存储资源；  Monitor：维护整个分布式存储系统集群的全局状态。 存储集群的客户端和各个 OSD 守护进程使用 CRUSH 算法高效地计算数 据位置，而不是查询某个表。分布式存储系统基于 RADOS提供了一个可无限 伸缩的对象存储系统，它的高级功能包括：基于 librados 的对象存储系统原生 接口、和多种服务接口，它们有：  SAN/块设备：RBD 服务提供了大小可调、支持快照和克隆的块设备， 支持目录级快照功能。为提供高性能，分布式存储系统 把块设备条带化。 分布式存储系统 同时支持直接使用 librbd的内核对象（KO）和 QEMU 管理程序，避免了虚拟系统上的内核模块开销；  RESTful 网关： RADOS网关 （RADOSGateway,RGW）服务提供了 和 AmazonS3和 Swift 兼容的 RESTfulAPI；  NAS文件系统：分布式存储系统 文件系统兼容 POSIX，可以直接挂载 或挂载为用户空间文件系统（FUSE）。支持NAS标准协议，提供支持 NFS、SMB、FTP、NDMP等协议。 1.1.高效的对象寻址机制 分布式存储系统通过CRUSH 算法高效地计算数据位置，而不是查表，寻址 流程示意图如下： CS1012 云存储技术白皮书 分布式存储系统中的寻址至少要经历以下三次映射： 1 File-object （） 映射 file object size file RADOS 将用户要操作的 按照 的最大 对 进行切分，映射为 能够处理的object，相当于RAID中的条带化过程。每一个切分后产生的object oid 将获得唯一的 。 2 Obj