hap大数据应用开发环境配置.doc

Hadoop大数据应用开发环境配置 一、运行环境 计算机名 IP 角色 备注 Kingo-mn 192. 168. 0. 230 主节点(namenode), masters 负责总管分布式数裾的调度。 Kingo - nis 192. 168. 0. 231 副节点(JobTrackor), masters 分解任务的执行。资源控制器 Kingo-dl 192. 168. 0. 232 数据节点1 (Datanodel) Slaves/TaskTracker,负责分布 式数据存储以及任务的执行。 Kingo~d2 192. 168. 0. 238 数据节点2 (Datanode2) Kingo~d3 192. 168.0.239 数据节点 3 (Da.ta.node3) 说明 修改/etc/sysconfig/network文件可以修改主机名；主机名不能含 Ip 主机名 程序 进程 192. 168. 0. 230 Kingo-mn Jdk Hadoop hbase Namenode DFSZKEailoverController Hamster resourceManager 192. 168.0.231 Kingo-ms Jdk Hadoop hbase Namenode SecondaryNamenode JobTracker DFSZKEailoverController Hamster resourccManager 192. 168. 0. 232 Kingo-dl Jdk Hadoop Zookeeper hbase Datanode nodeManager JournalNode QuorumPeerMain IlregionServer TaskTracker 192. 168. 0. 238 Kingo-d2 Jdk Hadoop ZooKeeper hbase Datanode nodeManager JournalNode QuorumPeerMain IlregionServer TaskTracker 192. 168.0.239 Kingo-d3 Jdk Hadoop Zookeeper Hbase Datanode nodeManager JournalNode QuorumPeerMain IlregionServer TaskTracker 二、创建帐号 四台机器均创建king。用户组和bigdata帐号，密码统一为Kingol23o #groupadd kingo # useradd -d /home/bigdata -g kingo bigdata #passwd bigdata //设賈密码为 Kingol23 #cd /home #chgrp -R kingo bigdata //设置 0录所属组 #chmod -R g=nvx bigdata //设置H录所属组的权限为读、写、执行 三、绑定hostname与IP #vi /etc/hosts，增1加内容如下: 192. 168. 0. 230 kingo-mn 192. 168.0.231 kingo-ms 192. 168. 0. 238 kingo-rm 192. 168. 0. 232 ki ngo-dl 192. 168.0. 239 kingo—d2 四、设置节点之间的免密码通信 1、向各节点复制Hosts文件 scp /etc/hosts kingo-ms:/etc/hosts scp /etc/hosts kingo-dl:/etc/hosts scp /etc/hosts kingo~d2:/etc/hosts scp /etc/hosts kingo-d3:/etc/hosts 2、在各节点上生成各自SSH秘钥对 #ssh-keygen —t. dsa -P ’’ -f ?/. ssh/id_dsa #cd V.ssh #cat id_dsa. pub〉＞authorized_keys #chmod 600 authorized_keys 3、 复制公钥到某一节点 #ssh-c()py-id -i ~/. ssh/id dsa. pub kingo-mn 4、 复制密钥到各个节点。在kingo-mn上执行如下命令： #scp /root/, ssh/authorized keys kingo-ms:/root/, ssh/;scp /root/, ssh/authorized keys kingo-dl:/root/, ssh/;scp /root/, ssh/authorized keys kingo-d2:/root/.ssh/; scp /root/.ssh/authorized_keys kingo-d