大数据插件安装.docxVIP

HDFS插件

1.下载编译好的hadoop并解压:tar-xzfhadooop-2.7.3.tar.gz

2.安装jdk并设置JAVA_HOME

vim/etc/profile,增加以下内容:

exportJAVA_HOME=/usr/local/jdk1.7.0_03/

exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

exportPATH=$PATH:$JAVA_HOME/bin

保存profile文件,并执行source/etc/profile让设置立即生效.同时要在conf/hadoop-env.sh中配置jdk

4、配置node1节点conf/core-site.xml

5、node1节点上conf/slaves配置DN,conf/masters配置SNN(尽量和NN不要在一个节点),NN已经在core.site.xml中配置

6、把node1/conf下所有的配置文件复制到node2,node3

7、bin目录下格式化NN并启动

启动成功后通过jps命令查看java进程(需要安装jdk并且在/etc/profile中配置好JAVA_HOME),这时NN的日志提示,全部启动成功,但是去node2,node3通过jps查看Java进程但发现没有启动成功,这是防火墙的原因,在NN执行:serviceiptablesstop关掉防火墙,stop掉hdfs重新启动,就可通过浏览器http://node1:50070可以访问HDFS管理页面

HBASE插件

一、安装zookeeper

1、下载zookeeper

2、解压软件

tarvfxzookeeper-3.4.10.tar.gz

3、创建log和data文件夹

mkdirzookeeper-3.4.10/log

mkdirzookeeper-3.4.10/data

4、修改配置文件

cdzookeeper-3.4.10/conf

touchzoo.cfg

5、填入下面配置项，地址可以根据自己的机器集群环境配置

注：maser、node1、node2为机器名

tickTime=2000

initLimit=10

syncLimit=5

dataDir=/home/hadoop/zookeeper-3.4.10/data

dataLogDir=/home/hadoop/zookeeper-3.4.10/log

clientPort=2181

server.1=master:2888:3888

server.2=node1:2888:3888

server.3=node2:2888:3888

6、用scp命令把配置好的zookeeper程序分发到各个机器上

scpzookeeper-3.4.10hadoop@node1:/home/hadoop

scpzookeeper-3.4.10hadoop@node2:/home/hadoop

7、创建一个myid文件，每个机器的数字不同，根据配置文件对应的数字分别填入myid文件中

cdzookeeper-3.4.10/data

echo1myid

8、到每台集群机器上分别启动zookeeper

cdzookeeper-3.4.10/bin

./zkServer.shstart

9、查看zookeeper运行状态，若没有报错则运行成功

./zkServer.shstatus

二、安装配置Hbase

1、下载hbase

2、解压软件

tarvfxhbase-1.2.5-bin.tar.gz

3、添加环境变量

exportHBASE_HOME=/home/hadoop/hbase-1.2.5

exportPATH=$HBASE_HOME/bin:$PATH

4、应用环境变量

source.bash_profile

5、创建hbase的临时文件tmp文件夹

配置hbase-env.sh

exportJAVA_HOME=/java/jdk1.8.0_101#Java的环境

exportHBASE_CLASSPATH=/home/hadoop/hadoop/etc/hadoop#hadoop配置文件的地址

配置hbase-site.xml

配置regionservers

6、用scp命令把配置好的hbase程序分发到各个机器上

scphbase-1.2.5hadoop@node1:/home/hadoop

scphbase-1.2.5hadoop@node2:/home/hadoop

7、运行hbase

hbase-1.2.5/bin/start-hbase.s