大数据平台环境搭建傻瓜式说明书.docxVIP

Cloudera大数据平台环境搭建

（CDH5.13.1版）

版本

版本

作者

发布日期

v1.0

郭维忠2018-03-10

目录

Cloudera大数据平台环境搭建 1

（CDH5.13.1版） 1

基础环境 4

软件环境 4

配置规划 4

所需要的软件资源 4

修改机器名（所有节点） 5

设置防火墙（所有节点） 5

配置免密码登录SSH 6

关闭SELINUX（所有节点） 6

修改Linux内核参数（所有节点） 7

其他安装与配置（所有节点） 8

配置NTP服务 8

安装oracleJDK1.8（所有节点） 10

Mysql安装（主节点） 11

安装CM 12

传包，解包 12

创建数据库 12

创建用户 13

制作本地YUM源 13

拷贝jar包 14

修改cloudera-scm-agent配置 14

启动CMServer和Agent 14

访问CM 15

安装CDH 15

登录后界面 15

选择CM版本 16

指定主机 17

选择CDH版本 18

出现“主机运行状态不良”错误 19

检查主机正确性 19

选择安装的服务 20

角色分配 20

数据库设置 21

测试连接报错： 22

群集设置 23

开始安装 24

安装完成 25

警告信息： 25

常见错误 27

初始化数据库错误： 27

未能连接到HostMonitor 28

基础环境

软件环境

本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下：

NO.

NO.

1.

2.

3.

4.

5.

6.

软件名称

版本

操作系统

JDK

ClouderManagerCDH

数据库

JDBC

Centos7.4

64位

jdk-8u151-linux-x64

5.13.1

5.13.1

Mysql5.7

mysql-connector-java-5.1.43.jar

配置规划

本次安装共5台服务器，服务器配置及用途如下：

NO.

机器名称

内网IP

配置

用途

1.

node168

68

8C/32Gb/1TB

主，CM，MysqlDB

2.

node169

69

8C/32Gb/1TB

从

3.

node170

70

8C/32Gb/1TB

从

4.

node171

71

8C/32Gb/1TB

从

5.

node172

72

8C/32Gb/1TB

从

所需要的软件资源

JDK环境：

JDK版本：1.8.0_151

jdk-8u151-linux-x64.rpm下载地址：

CM包：

CM版本：5.13.1

cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

下载地址：

CDH包

CDH版本：5.13.1，

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json

下载地址：

JDBC连接jar包：

jar包版本：5.1.43，

mysql-connector-java-5.1.43.jar下载地址：

修改机器名（所有节点）

#hostnamectl

#hostnamectlset-hostnamexxx //设置机器名#hostname//查看本机名

这种方式，在Centos7中可以永久性改变主机名称。

#vi/etc/hosts每个节点机器，都要配置hosts

#vi/etc/hosts

内容都改为：

68

node168

69

node169

70

node170

71

node171

72

node172

localhost//建议保留此行

localhost//建议保留此行

#firewall-cmd --state（

#firewall-cmd --state（查询防火墙状态）#systemctlstopfirewalld.service（关闭防火墙）#systemctlstartfirewalld.service（开启防火墙）

#systemctldisablefirewalld.service（禁止firewall开机启动）

设置防火墙策略，在所有节点执行下面脚本（执行前要启动防火墙）：

//集群机器间可以相互访问

//集群机器间可以相互访问

firewall-cmd--permanent--add-rich-r