- 1、本文档共9页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于Ceph的企业分布式存储方案.doc
基于Ceph的企业分布式存储方案
摘 要
本文首先通过对比主要的开源分布式存储系统的优缺点和适用场合,确定Ceph是目前适合企业需要的分布式存储系统。之后,提出一套基于Ceph的企业分布式存储解决方案,给出软硬件组件选型、构架设计,并对系统细化调优。在这套方案基础上,企业用户可以很容易构建出一套高效运行的分布式存储系统。
【关键词】分布式存储 Ceph Openstack 构架设计 性能优化
1 分布式存储Ceph
1.1 简介
Ceph是一个开源的、理论上可无限扩展的、具有高可靠性、高性能的分布式存储解决方案。目前很多商业分布式存储解决方案是在开源的Ceph基础上发展来的,如Bigtera的VirtualStor系列产品,Hope Bay的ArkFlex云端大规模数据存储平台产品,SanDisk的InfiniFlash的产品IF500等产品都使用了Ceph。
1.2 Ceph与其他分布式存储方案的对比
分布式存储除了Ceph还有Moosefs(MFS)、Glusterfs、HDFS、Lustre等很多种。本文综合分析熊文等的论文和其他一些讨论,发现Moosefs的优点是实施简单,缺点是存在单点故障和性能瓶颈;Ceph的优点是扩展性好,可以很好的与OpenStack集成,发展很快,缺点是部分功能还不够成熟,通过POSIX接口访问CephFS时候,底层不稳定性使得不适合应用于生产环境;Glusterfs的优点是扩展性好,缺点是没有MDS,因此增加了客户端的负载,占用相当的CPU和内存,同时遍历文件目录时,实现较为复杂和低效,需要搜索所有的存储节点;HDFS的优点是适合部署在大量通用、廉价硬件上,缺点是只适合特定应用场景,即一次写入,多次读出,做数据分析类应用;Lustre的优点是成熟,缺点是复杂,同时MDS无法扩展,存在性能瓶颈。从适用场合方面分析:Moosefs适合企业小型应用环境,存储小文件;Ceph适合一般企业使用,如私有云平台应用,存储小文件;Glusterfs适合一般企业中型应用,存储大文件,下文件读写效率很低;HDFS适合存储超大数据集,做数据分析类应用;Lustre是一个并行文件系统,做高性能计算(HPC)类应用,存储大文件,适合大型科研、企业应用,一般HPC具有计算密集型、海量数据处理等特点,在石油勘探、地震预测、气象预报、航天航空、科学研究、机械制造、动漫渲染等领域都有应用。
2 基于Ceph的企业分布式存储方案
本文给出一种基于Ceph的企业分布式存储解决方案以供参考。方案描述总体设计架构、软硬件设计、性能调优这三个方面。
2.1 软硬件设计
设计目标:创建一个包含4个存储节点的分布式存储集群。
2.1.1 软件配置
操作系统建议选择最新的,本文选择CentOS7.1操作系统,将内核升级为4.5版本。由于目前btrfs文件系统还不稳定,因此底层文件系统选择XFS。
Ceph发行版本根据目前Ceph发行版本情况,选择最新稳定版9.2.1。
存储的访问方式选择块设备方式访问,由于目前CephFS文件系统还不稳定,不建议用于生产环境。
2.1.2 硬件配置需要考虑的因素
(1) CPU。需要考虑数据存储节点,即OSD节点和监视器节点,即MON节点的CPU消耗量。Ceph的OSD进程利用CRUSH算法计算数据的存放地址,复制数据,维护自身的集群映射,如果使用纠删码的数据池比使用直接复制数据的数据池CPU消耗要多。因此,OSD要根据数据存储的策略预备足够量的CPU资源。监视器只是简单维护集群映射的主拷贝,所以他们一般消耗不了多少CPU资源。
(2)内存。对于OSD,常规操作每个进程需要500MB内存,恢复数据适合每个OSD进程需要至少1GB内存每1TB数据。对于MON进程,一般每进程需要至少1GB内存,以实现对集群映射的快速维护,当然多配置些内存会达到更好的效果。
(3) 磁盘和网络。对于一个小规模的集群,单台存储服务器不要配置过多的磁盘,这种情况的危险在于单台服务器出现故障需要停机时,将造成集群的存储重心转移,出现数据丢失或大量数据恢复的情况发生。存储节点的数据磁盘无需做任何RAID,直接配置成JBOD模式或直通模式,每块数据盘在系统中看起来是一个磁盘设备,在其上运行一个OSD进程。考虑磁盘空间和价格因素,选择单块4TB大小的磁盘作为数据盘比选择2TB大小的磁盘更经济。网络需要确定对外提供服务的公共网络和存储集群网络。选定公共网络网口带宽为10Gbps,由于Ceph是通过存储多份拷贝保证数据安全的,客户的一个写入请求可能触发多个同样的写操作,这些通信是在集群网络内完成的,集群网络带宽要数倍于
您可能关注的文档
- 地方高师钢琴专业课考试侧记.doc
- 地方高校“产学研”合作创新供给研究.doc
- 地方高校“信号与线性系统”课程教学方法改革研究.doc
- 地方高校创业教育现状与优化建议探析.doc
- 地方高校工业设计本科专业人才培养策略研究.doc
- 地方高校教学管理队伍专业化建设研究.doc
- 地方高校教师公派留学工作探析.doc
- 地方高校章程比较研究.doc
- 地方高校英语专业人才培养定位的哲学思考解析.doc
- 地源热泵热平衡问题分析与工程应用.doc
- 水利水电工程质量检测员继续教育系统基础考试试题及答案(各种收集).pdf
- 毕业论文设计模板.pdf
- 2025年云南省寻甸县第五中学高三下学期教学质量监测(一)数学试题试卷含解析.doc
- 2025年云南省玉溪市师院附中高三数学试题寒假周考试卷含解析.doc
- 2025年云南省玉溪市新平一中高三第一次教学质量监测(4月)数学试题含解析.doc
- 2025年云南省玉溪市新平一中高三下学期考前模拟考试数学试题含解析.doc
- 2025年云南省宣威市第四中学招生全国统一模拟考试数学试题含解析.doc
- 2025年云南省元江民中高三下学期二模(4月)数学试题含解析.doc
- 2025年云南省元江县民族中学高三质量检查数学试题含解析.doc
- 2025年云南省沾益县第四中学下学期期中考高三试卷数学试题含解析.doc
文档评论(0)