Hadoop 2.6.0分布式部署参考手册.doc

Hadoop 2.6.0分布式部署参考手册 1.环境说明 2 1.1安装环境说明 2 2.2 Hadoop集群环境说明： 2 2.基础环境安装及配置 2 2.1 添加hadoop用户 2 2.2 JDK 1.7安装 2 2.3 SSH无密码登陆配置 3 2.4 修改hosts映射文件 3 3.Hadoop安装及配置 4 3.1 通用部分安装及配置 4 3.2 各节点配置 4 4.格式化/启动集群 4 4.1 格式化集群HDFS文件系统 4 4.2启动Hadoop集群 5 附录1 关键配置内容参考 5 1 core-site.xml 5 2 hdfs-site.xml 5 3 mapred-site.xml 6 4 yarn-site.xml 6 5 hadoop-env.sh 6 6 slaves 7 附录2 详细配置内容参考 7 1 core-site.xml 7 2 hdfs-site.xml 7 3 mapred-site.xml 8 4 yarn-site.xml 10 5 hadoop-env.sh 12 6 slaves 13 附录3 详细配置参数参考 13 ? conf/core-site.xml 13 ? conf/hdfs-site.xml 13 o Configurations for NameNode: 13 o Configurations for DataNode: 14 ? conf/yarn-site.xml 14 o Configurations for ResourceManager and NodeManager: 14 o Configurations for ResourceManager: 14 o Configurations for NodeManager: 15 o Configurations for History Server (Needs to be moved elsewhere): 16 ? conf/mapred-site.xml 17 o Configurations for MapReduce Applications: 17 o Configurations for MapReduce JobHistory Server: 17 1.环境说明 1.1安装环境说明 本列中，操作系统为Centos 7.0，JDK版本为Oracle HotSpot 1.7，Hadoop版本为Apache Hadoop 2.6.0，操作用户为hadoop。 2.2 Hadoop集群环境说明： 集群各节点信息参考如下： 主机名 IP地址 角色 ResourceManager ResourceManager MR JobHistory Server NameNode NameNode SecondaryNameNode SecondaryNameNode DataNode01 DataNode NodeManager DataNode02 DataNode NodeManager DataNode03 DataNode NodeManager DataNode04 DataNode NodeManager DataNode05 DataNode NodeManager 注：上述表中用””连接多个角色，如主机”ResourceManager”有两个角色，分别为ResourceManager和MR JobHistory Server。 2.基础环境安装及配置 2.1 添加hadoop用户 useradd hadoop 用户“hadoop”即为Hadoop集群的安装和使用用户。 2.2 JDK 1.7安装 ? Centos 7自带的JDK版本为 OpenJDK 1.7，本例中需要将其更换为Oracle HotSpot 1.7版，本例中采用解压二进制包方式安装，安装目录为/opt/。 查看当前JDK rpm包 ? rpm -qa | grep jdk java-1.7.0-openjdk-1-.el7.x86_64 java-1.7.0-openjdk-headless-1-.el7.x86_64 删除自带JDK ? ? rpm -e --nodeps?java-1.7.0-openjdk-1-.el7.x86_64 ? ? rpm -e --nodeps?java-1.7.0-openjdk-headless-1-.el7.x86_64 安装指定JDK ? ? ?进入安装包所在目录并解压 配置环境变量 编辑~/.bashrc或者/etc/profile，添加如下内容： #JAVA export JAVA_HOME=/opt/jdk1.7 e