区块链-PB级分布式存储Ceph.docxVIP

PAGE 1 PAGE 1 区块链-PB级分布式存储Ceph  Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。  最近有朋友问关于区块链用于存储应用的话题，其实一定要清晰存储和存证的关系，简而言之区块链适合做存储的存证，并不适合做分布式的存储用，为了搞清晰这个问题，今日我们来看看一个分布式存储的代表Ceph是什么样子的，也就说明白区块链技术是否适合于作为存储出现  Ceph是加州大学SantaCruz分校的SageWeil（DreamHost的联合创始人）专为博士论文设计的新一代自由软件分布式文件系统。自2007年毕业之后，Sage开始全职投入到Ceph开发之中，使其能适用于生产环境。Ceph的主要目标是设计成基于POSIX的没有单点故障的分布式文件系统，使数据能容错和无缝的复制。  Ceph设计目标  开发一个分布式文件系统需要多方努力，但是假如能精确地解决问题，它就是无价的。Ceph的目标简洁地定义为：  ·可轻松扩展到数PB容量  ·对多种工作负载的高性能（每秒输入/输出操作和带宽）  ·高牢靠性  不幸的是，这些目标之间会相互竞争（例如，可扩展性会降低或者抑制性能或者影响牢靠性）。Ceph开发了一些特别好玩的概念（例如，动态元数据分区，数据分布和复制），这些概念在本文中只进行简短地探讨。Ceph的设计还包括保护单一点故障的容错功能，它假设大规模（PB级存储）存储故障是常见现象而不是例外状况。最终，它的设计并没有假设某种特别工作负载，但是包括适应变化的工作负载，供应最佳性能的能力。它利用POSIX的兼容性完成全部这些任务，允许它对当前依靠POSIX语义（通过以Ceph为目标的改进）的应用进行透明的部署。最终，Ceph是开源分布式存储，也是主线Linux内核（2.6.34）的一部分。  Ceph架构  现在，让我们探讨一下Ceph的架构以及高端的核心要素。然后我会拓展到另一层次，说明Ceph中一些关键的方面，供应更具体的探讨。  Ceph生态系统可以大致划分为四部分（见图1）：客户端（数据用户），元数据服务器（缓存和同步分布式元数据），一个对象存储集群（将数据和元数据作为对象存储，执行其他关键职能），以及最终的集群监视器（执行监视功能）。  图1.Ceph生态系统的概念架构  如图1所示，客户使用元数据服务器，执行元数据操作（来确定数据位置）。元数据服务器管理数据位置，以及在何处存储新数据。值得留意的是，元数据存储在一个存储集群（标为“元数据I/O”）。实际的文件I/O发生在客户和对象存储集群之间。这样一来，更高层次的POSIX功能（例如，打开、关闭、重命名）就由元数据服务器管理，不过POSIX功能（例如读和写）则直接由对象存储集群管理。  另一个架构视图由图2供应。一系列服务器通过一个客户界面访问Ceph生态系统，这就明白了元数据服务器和对象级存储器之间的关系。分布式存储系统可以在一些层中查看，包括一个存储设备的格式（ExtentandB-tree-basedObjectFileSystem或者一个备选），还有一个设计用于管理数据复制，故障检测，恢复，以及随后的数据迁移的掩盖管理层，叫做ReliableAutonomicDistributedObjectStorage（RADOS）。最终，监视器用于识别组件故障，包括随后的通知。  图2.Ceph生态系统简化后的分层视图  Ceph组件  了解了Ceph的概念架构之后，您可以挖掘到另一个层次，了解在Ceph中实现的主要组件。Ceph和传统的文件系统之间的重要差异之一就是，它将智能都用在了生态环境而不是文件系统本身。  图3显示了一个简洁的Ceph生态系统。CephClient是Ceph文件系统的用户。CephMetadataDaemon供应了元数据服务器，而CephObjectStorageDaemon供应了实际存储（对数据和元数据两者）。最终，CephMonitor供应了集群管理。要留意的是，Ceph客户，对象存储端点，元数据服务器（依据文件系统的容量）可以有很多，而且至少有一对冗余的监视器。那么，这个文件系统是如何分布的呢？  图3.简洁的Ceph生态系统  Ceph客户端  因为Linux显示文件系统的一个公共界面(通过虚拟文件系统交换机)，Ceph的用户透视图就是透明的。管理员的透视图确定是不同的，考虑到许多服务器会包含存储系统这一潜