CDH5.14部署手册 _原创文档.pdfVIP

CDH5.14部署手册

CDH大数据集群部署手册

cdh5.14版本

目录

一、概述(3)

二、集群部署准备(3)

1.集群硬件信息(3)

2.集群服务部署规划(4)

3.管理节点到其他节点免密钥配置(5)

4.系统优化(5)

5.时钟同步(6)

6.CDH本地yum源搭建(9)

7.MySQL主从安装配置(9)

8.创建集群各服务的数据库(13)

三、应用部署(13)

1.clouderamanagerserver安装(13)

2.clouderamanagementservice安装(18)

3.hdfs安装(19)

4.zookeeper安装(20)

5.yarn安装(20)

6.hive安装(21)

7.spark安装(21)

8.hbase安装(22)

9.impala安装(23)

10.oozie安装(24)

11.sqoop安装(25)

12.sqoop2安装(25)

13.kafka安装(25)

14.kudu安装(26)

15.hue安装(27)

16.hdfs高可用(28)

17.yarn高可用(30)

18.hiveserver2负载均衡(30)

19.impalad负载均衡(33)

20.hue配置负载均衡的hiveserver2和impala(35)

四、安全部署(35)

1.Kerberos高可用安装(35)

2.集群enableKerberos(41)

3.sentry安装(43)

4.OpenLDAP安装(46)

5.Linux系统集成OpenLDAP(51)

6.hue集成ldap用户同步(54)

7.hive集成LDAP认证(57)

8.impala集成LDAP认证(57)

9.LDAP图形客户端ApacheDirectoryStudio(58)

五、集群参数调优(63)

六、总结(66)

一、概述

针对海尔大数据应用的需求，本文完成了CDH5.12大数据集群的

部署，并记录了详细步骤。

二、集群部署准备

1.集群硬件信息

1.1集群各主机IP与主机名映射表

1.2主机qdcdh00-01内存情况：

主机qdcdh02-09内存情况：

1.3主机逻辑cpu个数：

主机物理cpu个数：

主机单个cpu核心数：

主机单个cpucore线程数：

主机qdcdh00-01的cpu信息：

主机qdcdh02-09的cpu信息：

1.4主机硬盘分区情况查看命令：

主机qdcdh00-04硬盘分区情况：

主机qdcdh05-09硬盘分区情况：

2.集群服务部署规划

2.1集群各主机角色分为四类：边缘节点一台(qdcdh00)、管理节

点一台(qdcdh01)、

主节点三台(qdcdh02-04)和数据节点五台(qdcdh05-09);

2.2各服务在集群主机上的分配：

3.管理节点到其他节点免密钥配置

3.1配置qdcdh01到其他主机的免密钥登录：

4.系统优化

4.1调整swap分区的使用：

4.2关闭透明大页：

将这两句添加到/etc/rc.local中。

5.时钟同步

5.1设置qdcdh01为ntpserver,修改/etc/ntp.conf文件，将红

色部分内容注释，

添加蓝色内容：