Hadoop集群管控系统分布式安装及应用.docVIP

Hadoop集群管控系统分布式安装及应用 目录 1. 概述 4 2. 系统环境 5 2.1 拓扑结构 5 2.2 服务器配置 7 3. 基础安装及配置 7 3.1 修改网卡为eth0（各个节点） 7 3.2 修改hostname和hosts文件（各个节点） 8 3.3 关闭防火墙和SELinux（各个节点） 9 3.4 配置SSH操作 9 3.5 配置集群NTP服务（各个节点） 11 3.6 安装JDK（各个节点） 13 3.7 安装mysql（主节点namenode1） 14 4. 安装Cloudera Manager 5（cm5） 16 5. 安装CDH5 19 Q&A 20 1. 检查主机报错 20 2. CM安装主机失败 21 3. 数据库无法连接 22 1. 概述 CM:?Cloudera?Manager?（Cloudera公司专有的Hadoop集群管控平台）?。 CDH:?Cloudera?Distributed?Hadoop（Cloudera公司重新打包发布的Hadoop版本） 。 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 ?Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 2. 系统环境 2.1 拓扑结构 节点环境说明： 节点 IP地址 系统 作用 namenode1 0 CentOS6.5 集群主节点，管理集群任务执行，存储 namenode2 1 CentOS6.5 主节点的备份节点，主节点失效，接管服务 datanode1 4 CentOS6.5 数据节点 datanode2 5 CentOS6.5 数据节点 datanode3 6 CentOS6.5 数据节点 datanode4 7 CentOS6.5 数据节点 节点的组件说明： JDK 名称 功能 版本 JDK Java编译运行环境 1.7.0 Mysql 名称 功能 版本 Mysql 创建数据表 5.1.73 2.2 服务器配置 基础安装及配置 前面几个操作，都需要重启，可以先都配置完，然后一起重启一次。 3.1 修改网卡为eth0（各个节点） 虚拟化中，从模板克隆出来的虚拟机网卡都会被命名为eth1，而有些程序或者脚本，涉及到网卡的，默认写的是eth0，这时就存在要将eth1改为eth0的问题，方法如下： #vim /etc/udev/rules.d/70-persistent-net.rules 70-persistent-net.rules中仍然保留了老网卡的内容，新网卡则被识别为eth1。将表示老网卡的行注释掉，然后将表示新网卡的行中eth1改成eth0 #mv /etc/sysconfig/network-scripts/ifcfg-eth1??/etc/sysconfig/network-scripts/ifcfg-eth0 然后编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，将其中的eth1改为eth0即可： #vim /etc/sysconfig/network-scripts/ifcfg-eth0 重启。(注：重启生效) 3.2 修改hostname和hosts文件（各个节点） 修改各个节点的hostname，已便于区分各个节点，同时方便下面配置免密码SSH互信操作。 #vim /etc/sysconfig/network 根据上文2.1中的节点环境，将各个节点的hostname，修改为与上文对应，便于区分。 修改后，重启（注：重启生效） 修改hosts文件。 #vim /etc/hosts 修改如下： 每个节点都需要操作。 3.3 关闭防火墙和SELinux（各个节点） 关闭防火墙，并且设置为开机不启动。 #service iptables stop #chkconfig iptables off 关闭SELinux。 #vim /etc/selinux/config 将SELINUX修改为d