分布式存储Ceph架构与性能调优实践.docx

分布式存储Ceph架构与性能调优实践ITLabService微信号 itlabservice功能介绍 专注于企业IT环境中，关于数据中心云计算、大数据、基础架构虚拟化、数据备份容灾等方面的咨询、设计、实施、培训、运维等专业级实验室服务。 详情参见一、Ceph基本介绍1.1?Ceph简介Ceph的官方网站C上用如下这句话简明扼要地定义了Ceph：“Ceph is a unified, distributed storage system?designed?for excellent performance, reliability and scalability.”? 也即，Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式的存储系统。应该说，这句话确实点出了Ceph的要义，可以作为理解Ceph系统设计思想和实现机制的基本出发点。在这个定义中，应当特别注意“存储系统”这个概念的两个修饰词，即“统一的”和“分布式的”。具体而言，“统一的”意味着Ceph可以一套存储系统同时提供对象存储、块存储和文件系统存储三种功能，以便在满足不同应用需求的前提下简化部署和运维。而“分布式的”在Ceph系统中则意味着真正的无中心结构和没有理论上限的系统规模可扩展性。在实践当中，Ceph可以被部署于上千台服务器上。截至2013年3月初，Ceph在生产环境下部署的最大规模系统为Dreamhost公司的对象存储业务集群，其管理的物理存储容量为3PB?不管你是想为云平台提供Ceph 对象存储和/或?Ceph 块设备，还是想部署一个?Ceph 文件系统或者把 Ceph 作为他用，所有?Ceph 存储集群的部署都始于部署一个个?Ceph 节点、网络和 Ceph 存储集群。 Ceph 存储集群至少需要一个 Ceph Monitor 和两个 OSD 守护进程。而运行 Ceph 文件系统客户端时，则必须要有元数据服务器（ Metadata Server ）。?Ceph OSDs:?Ceph OSD 守护进程（ Ceph OSD ）的功能是存储数据，处理数据的复制、恢复、回填、再均衡，并通过检查其他OSD 守护进程的心跳来向 Ceph Monitors 提供一些监控信息。当 Ceph 存储集群设定为有2个副本时，至少需要2个 OSD 守护进程，集群才能达到?active+clean状态（ Ceph 默认有3个副本，但你可以调整副本数）。Monitors:?Ceph Monitor维护着展示集群状态的各种图表，包括监视器图、 OSD 图、归置组（ PG ）图、和 CRUSH 图。 Ceph 保存着发生在Monitors 、 OSD 和 PG上的每一次状态变更的历史信息（称为 epoch ）。MDSs:?Ceph 元数据服务器（ MDS ）为?Ceph 文件系统存储元数据（也就是说，Ceph 块设备和 Ceph 对象存储不使用MDS ）。元数据服务器使得 POSIX 文件系统的用户们，可以在不对 Ceph 存储集群造成负担的前提下，执行诸如?ls、find?等基本命令。Ceph 把客户端数据保存为存储池内的对象。通过使用 CRUSH 算法， Ceph 可以计算出哪个归置组（PG）应该持有指定的对象(Object)，然后进一步计算出哪个 OSD 守护进程持有该归置组。 CRUSH 算法使得 Ceph 存储集群能够动态地伸缩、再均衡和修复。1.2?Ceph发展历程2004年06月：第一个commit2006年11月：CRUSH 论文2008年01月: v0.1版本2010年12月：Qemu Block Device Driver for RBD2012年02月：v0.42版本2012年05月：Inktank成立2012年12月：支持RBD Clone (format v2)2013年03月：v0.58版本，Ceph Monitor的架构被重写2013年05月：v0.61版本2014年04月：Inktank被RedHat收购2014年05月：v0.80版本2015年02月 v0.87.1 Giant2015年04月 V0.94（LTS）Hammer2015年05月 V9.00 ???Infernalis2015年11月 V10.0.0 ?Jewel2016年03月 V10.2.0 ?Jewel1.3?Ceph优缺点1.4?Ceph架构设计1.4.1?组件Ceph = 提供Block、File、Object接口的统一存储系统?Ceph的底层是RADOS，它的意思是“A reliable, autonomous, distributed object storage”。 RADOS由两个组件组成：OSD： Object Storage Device，提供存储资源。Mo