Ceph安装部署文档.docxVIP

Ceph安装部署文档目录一：简介1二：部署环境介绍1三：集群配置准备工作23.1 :生成SSH证书，节点建立连接23.2 :建立ip地址list, 修改host文件33.3 :网络端口设置33.4 :安装centos的yum源软件包 =全部节点安装43.5 :添加时间同步定时任务43.6 :安装 yum-plugin-priorities.8四：安装ceph软件包84.1、安装ceph部署机 ，使用ceph-deploy方式安装部署84.2、安装ceph存储集群（包括ceph对象网关）8五：搭建ceph集群85.1 :新建ceph集群95.2 :添加mon节点95.3 :添加osd节点9六：安装过程出现的部分错误及解决方法11七：常用命令11一：简介Ceph 生态系统架构可以划分为四部分：1. Clients：客户端：数据用户2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds）3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能4. mon：Cluster monitors，集群监视器：执行监视功能二：部署环境介绍主机名公网IP（eth0）私网IP（eth1）双网卡绑定 bond0运行服务操作系统内核备注anode15mon、osdCentOS6.7　主节点anode26mon、osdCentOS6.7　anode37mon、osdCentOS6.7　三：集群配置准备工作 3.1 :生成SSH证书，节点建立连接所有节点修改hostname vim /etc/sysconfig/network安装SSH (主节点)sudo apt-get install openssh-serverssh登陆证书 （主节点）ssh-keygen将配置完成的证书传输到其它服务器：ssh-copy-id {其他节点用户名}@{其他节点IP}Example:ssh-copy-id root@anode2创建并编辑~/.ssh/config 文件，添加其他HostHost {Hostname} Hostname {} User {Username}Example:Host anode1 Hostname 5 User rootHost anode2 Hostname 6 User rootHost anode3 Hostname 7 User root3.2 :建立ip地址list, 修改host文件创建工作文件夹，建立ip地址list，为文件传输做准备主节点执行mkdir /workspace/cd /workspace/vim cephlist.txt 主机列表写入：anode1anode2anode3修改host文件vim /etc/hosts追加内容如下：5 anode16 anode27 anode3将host文件传输到其它主机for ip in $(cat /workspace/cephlist.txt);do echo $ip;rsync -avp /etc/hosts $ip:/etc/;done3.3 :网络端口设置检查网络设置，确定这些设置是永久生效的，重启之后不会改变。Network设置，所有节点执行vim /etc/sysconfig/network-scripts/ifcfg-{iface}确认ONBOOT 为YES BOOTPROTO 对于静态IP地址来说通常为NONE如果要使用IPV6协议的话，需要设置IPV6{opt} 为YES防火墙设置(Iptables)，所有节点执行端口6789：Monitor 需要通过此端口与OSD通信，因此所有Monitor节点需打开端口6800：7300：用于OSD通信。每个Ceph Node上的每个OSD需要三个端口，一个用于与client和 Monitor通信；一个用于与其他OSD传送数据，一个用于心跳检测。如果一个Ceph Node上有4个OSD，打开12(=3×4)个端口。sudo iptables -I INPUT 1 -i eth0 -p tcp -s 5/ --dport 6789 -j ACCEPT sudo iptables -I INPUT 1 -i eth0 -p tcp -s 5/ --dport 6800:6809 -j ACCEPT配置完成iptable以后，确保每个节点上的改变永久生效，重启以后也能保持有效。/sbin/service iptables savetty 设置, 所有节点执行sudo visudo找到Defaults requiretty，大约在50多行，把它改成Defaults:{User} !requirett