Hadoop+base+Hive整合安装手册.docVIP

Hadoop+Hbase+Hive整合安装手册 ------------------------Hadoop安装手册---------------- (一).首先是hadoop的下载和安装 hadoop 2.7.0现在是apache官网上的最新stable版本，你可以从：/apache/hadoop/common/stable/来下载hadoop-2.7.0.tar.gz 包。 因为官网上下载的Hadoop为32位，在Linux x64上运行会有问题，因此建议下载源码自己编译或下载别人编译好的。我使用的是别人下载好的。 (二).Linux环境准备及，将tar包传到Linux系统上解压缩 具体的有以下几步： 1.安装jdk，并设置好JAVA_HOME ，我的环境是 export JAVA_HOME=/usr/lib/jdk1.7.0_79 2.设置主机名，一般来说hadoop集群都是多台机器的，得给他们安不同的名字以示区分 ，通过vi /etc/sysconfig/network设置hostname。 本例中我以master.hdfs为主机，也就是HDFS中的nameNode，HBase中的HMaster。 slave1.hdfs, slave2.hdfs为数据节点，是HDFS中的dataNode和HBase中的regionServer和zookeeper.quorum。 master: [hadoop@master ~]$ vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=master.hdfs slave1: NETWORKING=yes HOSTNAME=slave1.hdfs slave2: NETWORKING=yes HOSTNAME=slave1.hdfs 3.设置ip和hostname的映射关系，如果你还有其他的ip，也一并设置，通过 vi /etc/hosts. Master: [hadoop@master ~]$ more /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 00 master.hdfs 01 slave1.hdfs 02 slave2.hdfs Slave1: [hadoop@slave1 ~]$ more /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 00 master.hdfs 01 slave1.hdfs 02 slave2.hdfs Slave2: [hadoop@slave2 ~]$ more /etc/hosts localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 00 master.hdfs 01 slave1.hdfs 02 slave2.hdfs [hadoop@slave2 ~]$ 4.关闭防火墙，如果你要配置的是多个主机集群环境，那么必须将所有主机的防火墙关闭，否则有可能出现如HDFS中的dataNode无法心跳和NameNode同步的情况。 （关闭防火墙，应该注意防火墙关闭是有级别,设置完毕后，查看一下防火墙状态） [root@master ~]# service iptables status iptables：未运行防火墙。 [root@master ~]# 5.创建专门的用户，一般来说，我们不会直接用root来启停hadoop应用，如果是集群环境，建议统一设置的相同的环境变量和专门的用户，这样就不用在集群将同步的时候还考虑不同的环境变量路径问题，比如我们创建hadoop用户。 先创建组：groupadd hadoop， 然后创建用户：useradd -g hadoop hadoop， 然后修改hadoop用户的密码：passwd hadoop 6.设置主机到其他机器的无密码ssh，hadoop会通过s