RedhatCeph软件存储解决方案.docx

RedhatCeph软件存储

软件存储自从有互联网开始，一直都是存在的，只是因为其性能和可靠性的劣势，软件存储一直处于IT边缘化的位置。随着互联网，终端，未来的物联网等爆发式的信息革命，以及虚拟化的普及，软件存储才受到重视。

软件存储的主要推动力：

１：社会信息量的增大，海量非关键数据的存储，海量存储的分布式行为分析和关联分析。

２：虚拟化的普及，软件存储的各种便利接口，使得虚拟主机更容易管理虚拟机所需要的软件存储。

３：软件存储本身解决了性能和可靠性的劣势，同时推动更省电的普通海量存储服务器的发展。

软件存储发展过程中又突出了一系列相对于硬件存储的其他优势。

分布式，分布式给软件存储带来很多优势：

１：分布式使得每个存储节点都可以提供访问，因此整体IO性能是软件存储带来的巨大优势。

２：分布式的线性扩展性也是软件存储相对于硬件存储的优势，硬件存储的扩容一般都在同一框或者同一机架，软件存储不存在这个限制，容量也可以扩展非常大，扫描影像／素材／视频等应用非常容易超过1P的需求。

３：分布式的数据存储也同时提供分布式的计算CPU，使得融合本地分布式计算框架可以提供特殊的应用场景，例如：银行异地交易行为分析，电信的异地上网数据统计和行为分析。

４：数据分布平衡，硬件存储无法使得多个机头的数据尽量平衡，因为数据是线性的，数据分布是客户端行为，但是分布式算法确实Hash散列，所以数据本身是尽量平衡。另外几乎所有分布式存储软件都带有额外的自动缓慢数据平衡算法，在存储的使用／故障／扩容过程中，都会缓慢的重新平衡。

提供多样化接口，软件存储的最大优势就是多样化接口，提供给各种不同应用

１：兼容传统NAS/SAMBA接口

２：兼容通用的块设备映射方式

３：提供S3/Swift/Hadoop/RSETAPI/FUSE等一系列的新型应用接口

４：提供软件存储独有的API库给第三方应用直接通过集群协议接入，达到最大性能。

支持通用硬件平台，这个是所有CIO都喜欢的优势，

软件存储因为可以部署在通用硬件上，所以有着巨大的成本优势，决策者有更多的选策权。软件存储同时推动新型高密度存储服务的飞速发展，也推动ARM等节能型高密度存储服务器的发展。

IDC#244959预测的2013~2017存储的爆发式增长，其中Tape/Disk硬件存储增长约3B$，而软件存储单独会增长2B$，与云相关的软硬件存储和存储服务会增长６B$

软件存储必将是IT建设中非常重要的一环，企业应当提前做好预研，技术储备，甚至验证性项目。

RedhatCeph有着上述的所有优点。

RedatCeph是统一分布式存储系统，具有优异的性能、可靠性、可扩展性。Ceph的底层是RADOS(可靠、自动、分布式对象存储)，可以通过LIBRADOS直接访问到RADOS的对象存储系统。RBD(块设备接口)、RADOSRGW(对象存储接口,含S3/Swift/REST)、CephFileSystem(POSIX接口)都是基于RADOS的。

RADOS是存储的一系列核心算法的集合，包括存储节点间关系，监控，扩容，包括存储块对象块的分布，镜像，条带化算法，包括数据错误的校验，自修复，包括数据的自平衡。

RADOS作为数据持久层，是RADOSGW、RBD、CEPHFS的基础。分布式对象存储的基本问题是如何分布数据到上千个存储节点上，RADOS的核心是CRUSH算法(一个可扩展的伪随机数据分布算法)。CRUSH能够有效映射数据对象到存储节点上，而且能够处理系统的扩展和硬件失效，最小化由于存储节点的添加和移除而导致的数据迁移。

RedhatCeph市场状况

1:市场地位

openstack社区对已经部署云平台的506个用户的调查报告，其中除去传统的用操作系统模拟的LVM/NFS，RedhatCephRBD/RedhatGlusterFS分布式存储都在前两位。

/p1758.html

2:主要应用场景

/community/results-from-the-ceph-census/

ceph社区对ceph的用户调查，目前ceph主要用户私有云平台，大容量冷数据备份，以及BIGDATA/HPC。事实上国内客户使用Ceph的最重要两个场景是私有云的存储以及影像和视频系统的大容量存储。但是Ceph的发展重心一直是在上规模的分布式计算的支持。

目前Ceph的支持分布节点的规模超过1000个，支持容量超过EB，目前最大的用户还只试用到20PB，生产环境中最大的用户只使用到3PB。

3:RedhatCeph招行测试报告

测试环境：

SATA3.5寸RPM7200磁盘的随机写的IOPS一般在75~100，此次Ceph测试的所有SATA盘总和为：5*4=20个

因此总IOPS为：20*1