漫谈分布式存储方案GPFS对话CEPH-IBM.PDFVIP

漫谈分布式存储方案，GPFS对话CEPH 1. 数据中心云存储趋势 过去20 年，传统的集中式数据存储经历过了它最辉煌的时代，云计算带来的底层存储架 构变革，已经慢慢宣告这个王者时代的谢幕，接棒数据中心下一代存储黑科技的架构，是 近年关注度更高的关键词，如分布式存储，对象存储，超融合等技术，在这其中，除了传 统一线厂商的战略迭代产品，也不乏优秀的民间开源解决方案，经过多年的技术沉淀，而 今也结束了野蛮纷争的草莽时代，各家产品划地为王，纷纷找到了它的用武之地，而其中 的佼佼者，一个是商业软件界的霸主GPFS ，另一个是开源软件界的王者CEPH 。 2. GPFS 和CEPH 的初次亮相 GPFS 关于我： 各位好，我叫GPFS ，是一个高性能的共享并行文件系统，自诞生起，就为高性能、数据 共享、开放、安全而生。我今年23 岁，是一名95 后，两年前，为了更好的融入IBM 光 谱存储大家庭，我有了个更好听的名字——SPECTRUM SCALE，当然对于我来说，这不 仅仅是名字的变更，也意味在我身上，增加了关于闪存、容灾、备份、云平台接入等诸多 特性，我扮演的角色更加重要，职能定位也愈加明晰了。关于未来，我也有自己的想法， 有更大的愿景，希望能和数据中心的其它小朋友们相处愉快，和谐。 CEPH 关于我： 大家好，我叫ceph ，是一个00 后，今年12 岁了，法律上还未成年，但我的公众形象已 经十分成熟，我的名字来源于宠物章鱼的一个绰号，头像就是一只可爱的软体章鱼，有像 章鱼触角一样并发的超能力。我平常主要活跃在云计算领域，经过多年的脱胎换骨，不断 迭代，我积攒了良好的口碑，好用，稳定，关键还免费，我可以提供对象，块和文件级存 储的接口，几乎可以覆盖所有…哇，说着说着突然感觉自己原来无所不能呢，谢谢大家这 么关注我，当然，目前我还在长身体的阶段，很多特性在趋于完善，希望未来我们可以相 互促进成长。 3. GPFS 的前世今生 作为一款成熟的商业产品，GPFS 的发展史早已百转千回了，在揭开GPFS 的面纱之前， 我们还是先来扫扫盲，复习一下在GPFS 集群架构中涉及到的基本概念和组件。 架构解藕 a) Cluster ：GPFS 的组成架构，由一系列的节点和NSD 组成，集群的配置文件通常保存在 两台主备的节点上。 b) Node ：安装了GPFS 软件的主机，它可以通过直接或者通过网络访问其它节点的方式 来访问存储，每个节点在集群配置中有不同的角色。 c) Cluster manager ：负责整个集群配置的正确性和完整性，主要负责监控磁盘租约，检测 节点故障和控制节点的故障恢复，共享配置信息，选举文件管理节点等任务。 d) File system manager: 维护文件系统中磁盘的可用性信息，管理磁盘空间，文件系统配 置，磁盘配额等。 e) Block: 一个集群中单个I/O 操作和空间分配的最大单位。 f) NSD: 提供全局数据访问的集群组件，如果节点和磁盘间没有直接连接，则NSD 最好具 有主服务节点和辅服务节点。 g) Chunk: FPO 架构中的概念，它是一组block 块的集合，看起来像一个大的block ，一般 用于大数据环境。 h) Failure Group: 一组共享故障的磁盘组，当其中一块盘失效时，整个组会同时失效。 i) Metadata: 包括集群配置信息和非用户数据。 j) Quorum Nodes: 用于保持集群活动的仲裁节点，一般有两种仲裁方式，节点仲裁和带 Tiebreakerdisk(心跳盘) 的仲裁 上述组件如何有机的组合在一起提供存储服务呢，把以上组件拼接起来，就可以得到下图 所示的集群大体架构： 使用方案 基本架构了解了，那怎么用呢？先祭出三张架构图，业内人士一看应该懂，不明白没关 系，往下针对这几张图稍作解释： 左上：传统的GPFS(Direct attach)使用场景，图中分为主机，交换机，存储三类角色，前 端主机(即图中的Application Nodes)类型可以是AIX/Linux/Windows 服务器节点，存储使 用集中式的存储架构，存储lun 通过光纤交换机Zoning 的方式映射给所有主机，数据传 输走光纤网络，在前端主机中能识别到所有lun 的块设备，并为其创建NSD ，主机与存储 间通过SAN 网络直接通信，不借助通过其它结点。 右上：混合的GPFS 使用场景，是左上架构的拓展，跟左上不同的是，在该架构中，并非 GPFS 用到的所有NSD 都映射给了所有的主机，我们给集群中的NSD 添加了NSD Server 的属性，这就决定了集群中一部分节点