Hadoop1.1.2,ZooKeeper及HBase的安装配置过程(绝对可用).docVIP

Hadoop、ZooKeeper及HBase的安装配置过程（绝对可用） 这两天正在为公司配置一个Hadoop集群（以及HBase），作为存储及计算海量数据的平台。现在将安装的过程贴出来，仅供参考。 Hadoop的配置 集群的物理配置情况 集群IP: 13 ~ 18 (hostname分别为master、slave0、slave1、slave2、slave3、slave4) 用户名/密码：root/123456 其中，master作为jobtracker和namenode，其余节点作为tasktracker和datanode 节点角色分配 修改每个节点的 /etc/hosts文件，追加如下内容 13 master 14 slave0 15 slave1 16 slave2 17 slave3 18 slave4 再修改每个节点自己的hostname，如对于master,将其/etc/sysconfig/network文件改为 ? ? NETWORKING=yes ? ? HOSTNAME=master 然后，运行 ? ? hostname master 退出，再进入输入env | grep hostname发现修改生效 为每个节点设置无密码ssh登录 1、 在master节点上运行 ? ? ssh-keygen –t rsa 2、 在master节点上，首先 ? ? cat ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys 然后 ??? chmod 644 ~/.ssh/authorized_keys?? 3、将master节点上的~/.ssh/id_rsa.pub文件分别scp到每个slave节点上，如 ? ? scp ~/.ssh/id_rsa.pub root@slave0:/home 4、 登录每个slave节点，运行（以slave0为例） ? ? ?cat /home/id_rsa.pub ~/.ssh/authorized_keys 5、 修改文件权限 ? ? chmod 600 ~/.ssh/authorized_keys 6、从第3步开始循环，直至配置好每个slave节点 下载Hadoop 下载hadoop-1.1.2，放在/home/LTE目录下，用命令 tar zxvf hadoop-1.1.2.tar.gz解压，在/home/LTE下生成目录hadoop-1.1.2 修改HADOOP的配置文件 修改conf/core-site.xml文件 configuration ???property ???????name/name ???????valuehdfs://master:54310/value ???/property ???property ???????namehadoop.tmp.dir/name ???????value/home/LTE/hadoop/tmp/value ???/property /configuration 在conf/hadoop-env.xml文件里增加 ? ?export JAVA_HOME=/usr/local/java/jdk1.6.0_32 修改conf/hdfs-site.xml文件： configuration ???property ???????namedfs.replication/name ???????value2/value ???/property ???property ???????namedfs.data.dir/name ???????value/home/LTE/hadoop/data/value ???/property ???property ???????name.dir/name ???????value/home/LTE/hadoop/name/value ??? /property /configuration ? ? 修改conf/mapred-site.xml文件：? ? configuration ???property ???????namemapred.job.tracker/name ???????valuemaster:9001/value ???/property ???property ???????namemapred.local.dir/name ???????value/home/LTE/hadoop/temp/value ???/property /configuration conf/masters文件 master conf/slaves文件 slave0 sla