非常实用的hadoop安装手册合编.docx

非常实用的hadoop安装手册  1 说明 本文档里的服务器，目录，账户等都为示范，可以根据各自的需求进行修改，只需所有配置上下文保持一致即可。 文档主要描述了面向处理大数据环境的hadoop+hive+hbase组合的安装配置，目的为减少搭建环境时能少走点弯路和起到点初级阶段的参考作用；大数据的处理博大精深，要深入了解其中精髓，需一起学习探讨。 2 版本准备 下载地址： /cdh5/cdh/5/ 根据cdh的版本号来下载，下载的安装包都同一个cdh版本号，这样确保所有安装包没有版本兼容问题，否则会有各种各样的报错，可少走不少弯路。 如下图： 图 下载页面 最终收集到的所需要的安装版本文件如下图所示： 图 下载后的版本示意 3 环境准备 3.1 环境准备 由于条件有限，物理机器只有2台，就配置基于台2物理机的hadoop集群，用2个节点作为示例： 1个Master，1个Salve， 节点之间局域网连接，可以相互 ping 通。 一台作为hadoop的namenode，一台作为datanode。如下： 0 jskhjfapp01 作为namenode ——master 1 jskhjfapp01 作为datanode ——slaves 操作系统为 Linux Redhat. Master机器主要配置NameNode和JobTracker的角色， 负责总管分布式数据和分解任务的执行；3个Salve机器配置DataNode和TaskTracker的角色， 负责分布式数据存储以及任务的执行。其实应该还应该有1个Master机器，用来作为备用，以防止Master服务器宕机， 还有一个备用马上启用。后续经验积累一定阶段后补上一台备用Master机器。 3.2 目录结构 创建账号： 使用root登陆所有机器后，2台创建xieyt用 户（后面都以该账号作为实验，大家可以根据自己的需要创建），密码也为xieytuseradd xieytpasswd xieyt 此时在/home/下就会生成一个xieyt目录 ，目录路径为/home/xieyt，如图： 创建相关的目录 定义需要数据及目录的存放路：mkdir /home/xieyt/source 定义代码及工具存放的路径：mkdir /home/xieyt/tools 定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目 录需要有足够的空间存放mkdir /home/xieyt/hdfsmkdir /home/xieyt/tmpmkdir /home/xieyt/log 设置可写权限chmod -R 777 /home/xieyt 定 义 java安装程序路径mkdir /home/xieyt/jdk 最后如图所示： 3.3 安装jdk 上传jdk1.6以上版本，建议1.7以上。 这里使用jdk1.8的版本： 解压jdk： tar –xvf jdk-8u11-linux-x64.tar.gz 解压后，配置环境变量： cd ls -a vi .bash_profile 在末尾添加： export JAVA_HOME=/home/xieyt/jdk/jdk1.8.0_11 export CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH 如图： 当然，这几行如果使用root用户，添加在 /etc/profile文件末尾效果也一样。 退出重新登录后即可见生效，可以执行 java –version 来查看是否按照java成功：  如上步骤，在所有参与hadoop集群的集群上都要安装。 3.4 修改主机名 该步骤主要便于理解机器意义，可根据需要进行，后续配置如果使用ip，不使用主机名称，则可以跳过不配置。 1.连接到主节点 0 ，修改 network ， (root用户下执行)执行 vi /etc/sysconfig/network ，修改 HOSTNAME=jskhjfapp01 连接到主节点 1 ，修改 network ， (root用户下执行)执行 vi /etc/sysconfig/network ，修改 HOSTNAME=jskhjfapp02 2.修改hosts文件， (root用户下执行)执行cd /etc 命令后执行vi hosts ，在行末尾添加： 0 jskhjfapp011 jskhjfapp02 执行hostname jskhjfapp01执行exit后重新连接可看到主机名以修改OK 其他节点也修改主机名后添加 Host, 或者host文件可以在后面执行scp覆盖