CDH大数据平台搭建终极版 .pdf

CDH⼤数据平台搭建终极版

经过⽆数次的失败，终于将CDH安装到两台普通的笔记本电脑上，主要失败原因有以下⼏点：

1.不熟悉安装过程，官⽅给出的安装⽅法有三种，所以都尝试了⼀遍，浪费了⼤量时间，所以有时候⽅法多不见得是⼀件好事。

2.安装设备太差，有时会因为占⽤内存或者CPU占⽤过⾼⽽死机。

3.安装⽹络环境太差，导致传输过程可能出现超时失败现象。

4.安装时间过久，导致出错后重新再来时间付出太多。

以下讲的⽅法不是最优的⽅法，但是是我们最后的⽅法，可供参考。

1.搭建环境

两台笔记本电脑A和B，⾃带内存分别为12G和8G，安装VMware12。

A开⼀个虚拟机，2*CPU，8G内存，使⽤桥接⽹卡模式，安装CentOS6.5，充当主机Master。

B开两个虚拟机，1*CPU，2G内存，使⽤桥接⽹卡模式，安装CentOS6.5，充当分机Slave1，Slave2。

两台电脑通过⽹线连接到学校内⽹，使⽤内⽹⽹络环境搭建，三台虚拟机的root密码必须⼀致。

2.安装前的准备

⾸先先下载以下安装包

cloudera-manager-el6-cm5.8.0_x86_64.tar.gz(ClouderaManager安装包，el6代表使⽤的CentOs6.x，cm-5.8.0代表使⽤的Cloudera

Manager版本为5.8.0)

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel(CDH离线资源包)

CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1

manifest.json

cm5.8.0-centos6.tar.gz(⾥⾯有⼀些必要的环境)

mysql-connector-java-5.1.6-bin.jar(JDBC)

下载路径分别为

注意：不要图⽅便少下什么，或者少安装什么，尤其是JDK⼀定要安装官⽅的，要不会导致后⾯Spark配制出错，这个地⽅我们起码失败了

5、6次，⼀定要全部下下来，重来的代价会更⾼

3.安装前的配置

⾸先进⼊root权限：输⼊，再输⼊密码即可

su

3.1.配置主机名

分别修改各节点/etc/sysconfic/network⽂件，设置主机名为Master,Slave1,Slave2。

找到HOSTNAME可进⾏修改,名字以⽅便识别主节点和分节点为标准。

修改完后执⾏重启服务。

servicenetworkrestart

使⽤hostname进⾏验证。

如果没有⽣效，那就重启虚拟机。

3.2.关闭防⽕墙

执⾏命令：serviceiptablesstop

再执⾏：chkconfigiptablesoff

使⽤检查是否全关

chkconfig--list|grepiptables

如果为则说明关完了

iptables0:off1:off2:off3:off4:off5:off6:off

3.3.绑定ip与主机名

先查看三台虚拟机的ip。

ifconfig

分别在三台虚拟机上打开并更改hosts

vi/etc/hosts

输⼊如下

192.168.30.21Master

192.168.30.22Slave1

192.168.30.23Slave2

配置完后，3台虚拟机互pingip和主机名，验证是否配置成功。

3.4.配置ssh免密码登录（默认已安装ssh）

在Master中使⽤⽣成秘钥，⼀路回车.

ssh-keygen-trsa

找到，将其写⼊到中.

cd~/.sshid_rsa.pubauthorized_keys

输⼊.

cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys

输⼊sshMaster看看是否已经