CEPH分布式存储部署.doc

CEPH分布式存储部署 PS：本文的所有操作均在mon节点的主机进行，如有变动另有注释 作者：网络技术部 徐志权 日期：2014年2月10日 VERSION 1.0 更新历史： 2014.2.10:首次完成ceph部署文档，块设备及对象存储的配置随后添加。 一、部署前网络规划 1.1 环境部署 主机名 公网IP（eth0） 私网IP（eth1） 操作系统 运行服务 node1 01 01 CentOS6.5 mon、mds node2 02 02 CentOS6.5 osd node3 03 03 CentOS6.5 osd 操作系统使用CentOS6.5，因为系统已经包含xfs的支持可以直接使用不需要再次编译。 由于CentOS6.5系统的内核为2.6.32，因此要关闭硬盘的写入缓存，若高于此版本不需要关闭。 #hdparm -W 0 /dev/sdb 0 本次部署一共有一个监控节点、一个元数据节点、两个数据节点，每个数据节点拥有两个硬盘作为数据盘。 1.2 网络拓扑 1.3 配置服务器、安装ceph 添加ceph的rpm库key #rpm --import /git/?p=ceph.git;a=blob_plain;f=keys/release.asc #rpm --import /git/?p=ceph.git;a=blob_plain;f=keys/autobuild.asc 添加ceph-extras库 #vi /etc/yum.repos.d/ceph-extras [ceph-extras] name=Ceph Extras Packages baseurl=/packages/ceph-extras/rpm/centos6/$basearch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-noarch] name=Ceph Extras noarch baseurl=/packages/ceph-extras/rpm/centos6/noarch enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=/git/?p=ceph.git;a=blob_plain;f=keys/release.asc [ceph-extras-source] name=Ceph Extras Sources baseurl=/packages/ceph-extras/rpm/centos6/SRPMS enabled=1 priority=2 gpgcheck=1 type=rpm-md gpgkey=/git/?p=ceph.git;a=blob_plain;f=keys/release.asc 添加ceph库 #rpm -Uvh /rpms/el6/noarch/ceph-release-1-0.el6.noarch.rpm 添加epel库 #rpm -Uvh /pub/epel/6/x86_64/epel-release-6-8.noarch.rpm 安装ceph #yum update -y yum install ceph -y 二、部署ceph 2.1创建一个集群 创建一个集群，集群名为ceph，在mon节点，这里是主机node1，执行以下操作 2.1.1获取一个uuid #uuidgen 2.1.2编辑配置文件 #vi /etc/ceph/ceph.conf [global] auth_service_required = cephx #filestore_xattr_use_omap = true #该选项只针对ext4文件系统格式 auth_client_required = cephx auth_cluster_required = cephx auth supported = none fsid = a500528d-fc02-464e-b944-bddacbb5c3d1 #填入刚才获取到的uuid public network = /24 cluster network = /24 osd pool default size = 2 osd pool default min size = 1 max open files = 65535 mon osd full ratio = .95 mon osd nearfull ratio = .85 [mon] mon data = /data/$clus