Ceph安装部署文档.docxVIP

Ceph安装部署文档 目录 TOC \o 1-3 \h \z \u 一：简介 1 二：部署环境介绍 1 三：集群配置准备工作 2 3.1 : 生成SSH证书，节点建立连接 2 3.2 : 建立ip地址list, 修改host文件 3 3.3 : 网络端口设置 3 3.4 : 安装centos的yum源软件包 =全部节点安装 4 3.5 : 添加时间同步定时任务 4 3.6 : 安装 yum-plugin-priorities. 8 四：安装ceph软件包 8 4.1、安装ceph部署机 ，使用ceph-deploy方式安装部署 8 4.2、安装ceph存储集群（包括ceph对象网关） 8 五：搭建ceph集群 8 5.1 : 新建ceph集群 9 5.2 : 添加mon节点 9 5.3 : 添加osd节点 9 六：安装过程出现的部分错误及解决方法 11 七：常用命令 11 一：简介 Ceph 生态系统架构可以划分为四部分： 1. Clients：客户端：数据用户 2. mds：Metadata server cluster，元数据服务器：缓存和同步分布式元数据（此文档没有安装mds） 3. osd：Object storage cluster，对象存储集群：将数据和元数据作为对象存储，执行其它关键职能 4. mon：Cluster monitors，集群监视器：执行监视功能 二：部署环境介绍 主机名 公网IP（eth0）私网IP（eth1）双网卡绑定 bond0 运行服务 操作系统 内核 备注 anode1 5 mon、osd CentOS6.7 　主节点 anode2 6 mon、osd CentOS6.7 　 anode3 7 mon、osd CentOS6.7 　 三：集群配置准备工作 3.1 : 生成SSH证书，节点建立连接 所有节点修改hostname vim /etc/sysconfig/network 安装SSH (主节点) sudo apt-get install openssh-server ssh登陆证书 （主节点） ssh-keygen 将配置完成的证书传输到其它服务器： ssh-copy-id {其他节点用户名}@{其他节点IP} Example: ssh-copy-id root@anode2 创建并编辑~/.ssh/config 文件，添加其他Host Host {Hostname} Hostname {} User {Username} Example: Host anode1 Hostname 5 User root Host anode2 Hostname 6 User root Host anode3 Hostname 7 User root 3.2 : 建立ip地址list, 修改host文件 创建工作文件夹，建立ip地址list，为文件传输做准备 主节点执行 mkdir /workspace/ cd /workspace/ vim cephlist.txt 主机列表 写入： anode1 anode2 anode3 修改host文件 vim /etc/hosts 追加内容如下： 5 anode1 6 anode2 7 anode3 将host文件传输到其它主机 for ip in $(cat /workspace/cephlist.txt);do echo $ip;rsync -avp /etc/hosts $ip:/etc/;done 3.3 : 网络端口设置 检查网络设置，确定这些设置是永久生效的，重启之后不会改变。 Network设置，所有节点执行 vim /etc/sysconfig/network-scripts/ifcfg-{iface} 确认ONBOOT 为YES BOOTPROTO 对于静态IP地址来说通常为NONE 如果要使用IPV6协议的话，需要设置IPV6{opt} 为YES 防火墙设置(Iptables)，所有节点执行 端口6789：Monitor 需要通过此端口与OSD通信，因此所有Monitor节点需打开 端口6800：7300：用于OSD通信。 每个Ceph Node上的每个OSD需要三个端口，一个用于与client和 Monitor通信；一个 用于与其他OSD传送数据，一个用于心跳检测。如果一个Ceph Node上有4个OSD，打开 12(=3×4)个端口。 sudo iptables -I INPUT 1