hadoop2.6集群搭建手册.doc

Hadoop2.6 集群安装手册 系统情况 CentOS 7 x64,6G内存，7台机器 2.集群规划 搭建准备 修改Linux主机名 命令：vim /etc/hostname修改后保存退出。 修改IP 命令：vim /etc/sysconfig/network-scripts/ifcfg-en下面#号标识表示要修改的地方，BOOTPROTO=static一定要修改。 DEVICE=eth0 BOOTPROTO=static ### HWADDR=00:0C:29:BF:45:8B IPV6INIT=yes NM_CONTROLLED=yes ONBOOT=yes TYPE=Ethernet UUID=99339c27-0884-46c0-85d5-2612e5c1f149 IPADDR= ### NETMASK= ### GATEWAY=54 ### （3）修改主机名和IP的映射关系 命令：vim /etc/hosts 修改如下： (4)关闭防火墙 查看防护墙状态 service iptables status //centos7 以后版本：firewall-cmd --state 关闭 service iptables stop //centos7 以后版本：systemctl stop firewalld.service 关闭开机启动chkconfig iptables off //centos7 以后版本： 安装JDK，配置环境变量等 rpm -ivh jdk-7u79-linux-x64.rpm 将java添加到环境变量 vim /etc/profile 在文件的末尾添加如下内容 export JAVA_HOME=/usr/java/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin 刷新配置 source /etc/profile 验证：java -version 安装步骤 说明： 1.在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active namenode的状态，以便能够在它失败时快速进行切换。 hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode 这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为standby状态 1安装配置zooekeeper集群（在hadoop05上） zookeeper-3.4.6下载地址：/apache/zookeeper/ 1.1解压 tar -zxvf zookeeper-3.4.6.tar.gz -C /hadoop/ 1.2修改配置 cd /hadoop/zookeeper-3.4.6/conf/ cp zoo_sample.cfg zoo.cfg vim zoo.cfg 修改：dataDir=/hadoop/zookeeper-3.4.6/tmp 在最后添加： server.1=hadoop05:2888:3888 server.2=hadoop06:2888:3888 server.3=hadoop07:2888:3888 保存退出 然后创建一个tmp文件夹 mkdir /hadoop/zookeeper-3.4.6/tmp 再创建一个空文件 touch /hadoop/zookeeper-3.4.6/tmp/myid 最后向该文件写入ID echo 1 /hadoop/zookeeper-3.4.6/tmp/myid 1.3将配置好的zookeeper拷贝到其他节点(首先分别在hadoop06、hadoop07根目录下创建一个hadoop目录：mkdir /hadoop) scp -r /hado