Ceph简介概要1.pptxVIP

Ceph简介 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 Ceph概述 编程访问 应用程序 虚拟机、iSCSI 客户端 对象访问网关 RADOS GateWay 基于HTTP的对象访问网关，符合REST风格兼容S3和Swift协议 块协议转换 RBD 可扩展、高可用的块设备，在内核级别支持QEMU/KVM 文件协议转换 Ceph FS 支持标准POSIX协议的分布式文件系统，支持linux内核客户端和FUSE两种访问方式 Rados架构 Rados是实现分布式存储的根本，所有接口都是基于rados实现的。 Rados组成 监控器（Monitors）维护集群的成员和状态，提供强一致性的策略 数据存储设备（OSDs）主要负责存储和查找对象，并且负责向该对象的复制节点分发和恢复 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 监控器 通过管理集群的关键状态和配置信息维护集群的状态 维护集群的成员和状态(cluster map)，提供强一致性的策略 存储集群map的主本，并根据系统状态的变化更新map，并把更新发送到系统内所有节点 采用集群方式避免单点故障，利用paxos算法保证集群map的一致性，并保证结点数少于半数失效的情况下仍然能正常工作 监控器之间必须对集群的状态达成一致，因此必须是奇数 Osdmap：osd状态 Up：运行状态 Down：停止状态或者无法建立连接 In：持有数据 Out：不持有数据 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 对象存储设备 为客户端提供数据存储服务 负责数据复制、数据一致性、数据的re-balance以及数据的恢复 对象存储设备 OSD 硬盘 Linux文件系统 OSD进程 文件系统 BTRFS,XFS,EXT4 支持扩展属性 CRUSH算法 一致性哈希算法 将数据均匀分散在所有参与存储节点组成的存储空间， 在算法上支撑存储层面的无限扩展能力 CRUSH算法 在层级结构的存储集群中有效的分布对象的副本 数据管理：概念 对象：实际存放的数据 PG：放置组，对象存放的逻辑集合 Pool：对应于的逻辑分区 pool1 OSD OSD OSD pool3 PG Object pool2 对象 对象可以视为一个完整而独立的数据。 每一个对象通过其对象id（Object ID/oid）进行标示。 对象的内容包含数据和扩展属性两部分 对象的命名空间是扁平的 oid 用于标示、查找、获取对象 全局唯一 data 二进制数据流 可能是任意长度 Attr 键值对集合 用于存储对象相关的元数据 放置组（PGs） 什么是PG 具有共性的对象的逻辑集合 一致性哈希中的虚拟节点，维护了一部分数据 如何选择PG 基于对象名的hash值 系统的放置组数量 与期望的数据冗余策略有关（pool） 数据迁移和改变的最小单位 数据恢复 数据一致性检测 数据分级 降低了需要追踪和处理元数据数量 对象的存放 对象名 foo 目的存储池 bar 放置组数量 256 CRUSH算法 Crush（clustermap， rule，pgid） 文件/块数据存储 为数据指定存储池 条带化为对象 条带大小默认为4MB 对象映射到放置组 放置组映射到一组OSDs 数据落盘的形式 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 文件系统 RADOS MDS MDS MDS Libcephfs.so/ceph-fuse client oc objecter SMB/NFS等应用 InoCaps的概念 de的概念 OC的机制，lru的实现； Fuse的实现原理； 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 数据读写 写数据：在client端进行寻址，client直接跟主副本通信，发起写请求，主副本向其他副本发起写操作，其他副本写完成后发送确认信息，然后主副本写完成后向client应答。 数据读取：在client端进行寻址后直接跟主副本通信 FileStore 随机小块的写操作就直接写入journal，合并成顺序IO再下刷 提供了事务的一致性和原子性，使得 OSD 进程在非正常退出后再启动可以从 Journal 中恢复之前正在执行的操作 概述 监控器 数据分布 文件系统 数据读写 纠删机制 目录 纠删机制 纠删机制优势 在不降低冗余度的前提下提升容量利用率； 减少内部网络开销； 纠删机制缺点： CPU资源损耗高，大量的纠删计算占用了cpu资源； 增加了延迟，由于纠删使用的节点数变多，为了保证一致性所以需要等待所有osd节点的返回； 为了保证数据一致性，导致底层数据处理复杂度变高，需要实现rollback机制； 纠删机制 纠删算法简介 是实现层简介，不涉及具体算法； 4k 4k 4+