Hadoop集群部署方案.docVIP

.专业整理. .学习帮手. Hadoop集群部署方案 目 录 TOC \o 1-3 \h \z \u 1. 网络拓扑 1 2. 软件安装 1 2.1. 修改主机名 1 2.2. 修改host文件 1 2.3. 创建Hadoop 用户 2 2.4. 禁用防火墙 2 2.5. 设置ssh登录免密码 2 2.6. 安装hadoop 4 3. 集群配置 5 3.1. 修改脚本 5 3.1.1. hadoop-env.sh 5 3.1.2. yarn-env.sh 5 3.2. 配置文件 5 3.2.1. core-site.xml 5 3.2.2. hdfs-site.xml 7 3.2.3. mapred-site.xml 9 3.2.4. yarn-site.xml 10 3.2.5. 配置datanode 13 3.3. 创建目录 13 4. 启动zk集群 14 5. 启动hadoop 14 5.1. 启动所有节点journalnode 14 5.2. 格式化h1 namenode 14 5.3. 在h1上格式化ZK 15 5.4. 启动h1的namenode，zkfc 16 5.5. 启动h2上namenode 16 5.6. 同步h1上的格式化数据到h2 16 5.7. 启动 HDFS 17 5.8. 启动 YARN 18 5.9. 启动h2 ResourceManager 18 5.10. h4上启动 JobHistoryServer 19 5.11. 查看ResourceManager状态 19 6. 浏览器访问 19 6.1. namenode管理界面 19 6.1.1. 67:50070 19 6.1.2. 68:50070 20 6.2. ResourceManager管理界面 20 6.2.1. 67:8088/ 21 6.2.2. 68:8088/ 21 6.3. JournalNode HTTP 服务 21 6.3.1. 67:8480/ 21 6.4. Datanode HTTP服务 22 6.4.1. 67:50075/ 22 6.5. jobhistory 管理界面 22 6.5.1. 70:19888/jobhistory 22 7. 测试 23 7.1. 上传文件至hdfs 23 7.2. 验证hdfs HA 23 7.3. 验证yarn 24 网络拓扑 h1 h2 h3 h4 IP 67 68 69 70 role matster slaver slaver slaver Namenode 是（active） 是（standby） 否 否 Datanode 是 是 是 是 ResourceManager 是 是 否 否 NodeManager 是 是 是 是 zkfc 是 是 否 否 Journalnode 是 是 是 否 JobHistory 否 否 否 是 软件安装 修改主机名 修改四台机器的主机名，h1，h2，h3，h4 查看是否修改成功 uname -a? 修改host文件 修改三台机器/etc/hosts文件 配置hadoop节点 配置zk节点 创建Hadoop 用户 创建特定的Hadoop 用户帐号以区分Hadoop 和本机上的其他服务。 sudo groupadd hadoop useradd hadoop passwd hadoop usermod -a -G hadoop hadoop 给hadoop用户添加权限，打开/etc/sudoers文件： 在 root ALL=(ALL) ALL 后面添加 hadoop ALL=(ALL) ALL 禁用防火墙 chkconfig iptables off 设置ssh登录免密码 Hadoop 控制脚本(并非守护进程)依赖SSH 来执行针对整个集群的操作。例如，Namenode是通过SSH（Secure Shell）来启动和停止各个datanode上的各种守护进程的 为了支持无缝式工作， SSH 安装好之后，需要允许hadoop 用户无需键入密码即可登陆集群内的机器。最简单的方法是每个机器创建一个无密码公钥/私钥对 生成密钥 id_dsa.pub为公钥，id_dsa为私钥 将公钥文件复制成authorized_keys文件 修改.ssh目录的权限以及authorized_keys