基于Ceph的企业分布式存储方案.docVIP

基于Ceph的企业分布式存储方案 　　摘 要 　　本文首先通过对比主要的开源分布式存储系统的优缺点和适用场合，确定Ceph是目前适合企业需要的分布式存储系统。之后，提出一套基于Ceph的企业分布式存储解决方案，给出软硬件组件选型、构架设计，并对系统细化调优。在这套方案基础上，企业用户可以很容易构建出一套高效运行的分布式存储系统。 　　【关键词】分布式存储 Ceph Openstack 构架设计 性能优化 　　1 分布式存储Ceph 　　1.1 简介 　　Ceph是一个开源的、理论上可无限扩展的、具有高可靠性、高性能的分布式存储解决方案。目前很多商业分布式存储解决方案是在开源的Ceph基础上发展来的，如Bigtera的VirtualStor系列产品，Hope Bay的ArkFlex云端大规模数据存储平台产品，SanDisk的InfiniFlash的产品IF500等产品都使用了Ceph。 　　1.2 Ceph与其他分布式存储方案的对比 　　分布式存储除了Ceph还有Moosefs（MFS）、Glusterfs、HDFS、Lustre等很多种。本文综合分析熊文等的论文和其他一些讨论，发现Moosefs的优点是实施简单，缺点是存在单点故障和性能瓶颈；Ceph的优点是扩展性好，可以很好的与OpenStack集成，发展很快，缺点是部分功能还不够成熟，通过POSIX接口访问CephFS时候，底层不稳定性使得不适合应用于生产环境；Glusterfs的优点是扩展性好，缺点是没有MDS，因此增加了客户端的负载，占用相当的CPU和内存，同时遍历文件目录时，实现较为复杂和低效，需要搜索所有的存储节点；HDFS的优点是适合部署在大量通用、廉价硬件上，缺点是只适合特定应用场景，即一次写入，多次读出，做数据分析类应用；Lustre的优点是成熟，缺点是复杂，同时MDS无法扩展，存在性能瓶颈。从适用场合方面分析：Moosefs适合企业小型应用环境，存储小文件；Ceph适合一般企业使用，如私有云平台应用，存储小文件；Glusterfs适合一般企业中型应用，存储大文件，下文件读写效率很低；HDFS适合存储超大数据集，做数据分析类应用；Lustre是一个并行文件系统，做高性能计算（HPC）类应用，存储大文件，适合大型科研、企业应用，一般HPC具有计算密集型、海量数据处理等特点，在石油勘探、地震预测、气象预报、航天航空、科学研究、机械制造、动漫渲染等领域都有应用。 　　2 基于Ceph的企业分布式存储方案 　　本文给出一种基于Ceph的企业分布式存储解决方案以供参考。方案描述总体设计架构、软硬件设计、性能调优这三个方面。 　　2.1 软硬件设计 　　设计目标：创建一个包含4个存储节点的分布式存储集群。 　　2.1.1 软件配置 　　操作系统建议选择最新的，本文选择CentOS7.1操作系统，将内核升级为4.5版本。由于目前btrfs文件系统还不稳定，因此底层文件系统选择XFS。 　　Ceph发行版本根据目前Ceph发行版本情况，选择最新稳定版9.2.1。 　　存储的访问方式选择块设备方式访问，由于目前CephFS文件系统还不稳定，不建议用于生产环境。 　　2.1.2 硬件配置需要考虑的因素 　　（1） CPU。需要考虑数据存储节点，即OSD节点和监视器节点，即MON节点的CPU消耗量。Ceph的OSD进程利用CRUSH算法计算数据的存放地址，复制数据，维护自身的集群映射，如果使用纠删码的数据池比使用直接复制数据的数据池CPU消耗要多。因此，OSD要根据数据存储的策略预备足够量的CPU资源。监视器只是简单维护集群映射的主拷贝，所以他们一般消耗不了多少CPU资源。 　　（2）内存。对于OSD，常规操作每个进程需要500MB内存，恢复数据适合每个OSD进程需要至少1GB内存每1TB数据。对于MON进程，一般每进程需要至少1GB内存，以实现对集群映射的快速维护，当然多配置些内存会达到更好的效果。 　　（3） 磁盘和网络。对于一个小规模的集群，单台存储服务器不要配置过多的磁盘，这种情况的危险在于单台服务器出现故障需要停机时，将造成集群的存储重心转移，出现数据丢失或大量数据恢复的情况发生。存储节点的数据磁盘无需做任何RAID，直接配置成JBOD模式或直通模式，每块数据盘在系统中看起来是一个磁盘设备，在其上运行一个OSD进程。考虑磁盘空间和价格因素，选择单块4TB大小的磁盘作为数据盘比选择2TB大小的磁盘更经济。网络需要确定对外提供服务的公共网络和存储集群网络。选定公共网络网口带宽为10Gbps，由于Ceph是通过存储多份拷贝保证数据安全的，客户的一个写入请求可能触发多个同样的写操作，这些通信是在集群网络内完成的，集群网络带宽要数倍于