Hadoop环境搭建——集群篇.doc

流程： ?????? 配置阶段： ??????????????????? 配置一系列文件 ??????????????????? 在所有slave节点上拷贝master和JobTracker的公钥 ??????????????????? 在JobTracker节点上拷贝master的公钥 ? ???????运行阶段： ??????????????????? 启动hadoop ??????????????????? 跑wordcount ? ? 集群搭建准备： ???????? 至少两台已完成单节点搭建的机器 ???????（此例为两台，IP分别是192.168.1.10与192.168.1.11，其中10为master） ? ? ? 配置阶段： ??????????1、配置一系列文件（所有节点上） ?????????????1、配置etc下的hosts文件 ???????????????? sudo gedit /etc/hosts ????????????????（注：打开后将里面的内容全部删除，不删除的话启动时会出现所有slave启动正常，但是master上的DataNode为0，导致系统不能正常运转的情况，全部删除以后添加所有节点的IP和标识符，格式如下 ????????????????? 192.168.1.10 master ????????????????? 192.168.1.11 slave ????????????????? 标识符可以随便写，主要是起到一个映射作用） ? ??????????????2、进入hadoop目录下，配置conf下的masters文件 ????????????????? cd /usr/local/hadoop ????????????????? sudo gedit conf/masters ?????????????????（打开后将里面内容清空，然后添加“master”或者master的IP“192.168.1.10”，此处即是hosts中配置的映射，填master或者直接填IP都是一样的） ? ????????????? 3、配置conf下的slaves文件 ????????????????? sudo gedit conf/slaves ???????????????? （打开后将里面内容清空，然后添加“slave”或者slave的IP“192.168.1.11”，原因同上） ? ??????????????4、配置conf下的core-site.xml文件 ????????????????? sudo gedit conf/core-site.xml ???????????????? （因为已完成单节点配置，因此只需要修改就行了。打开后将第一个property标签中的localhost改为“master”或者master的IP，如下 Xml代码 ? property?? ????namefs.default.name/name?? ????valuehdfs://master:9000/value?? /property?? ??????????????????第二个property 标签，即包含namedfs.replication/name一行的那个，其中的“value”表示 文件上传到dfs上时的备份个数，此数值不能大于slave即datanode的个数） ? ????????????????????? 5、配置conf下的hdfs-site.xml文件（此配置在slave节点上可有可无） ?????????????????? sudo gedit conf/hdfs-site.xml ????????????????? （打开后在空的configuration /configuration中添加如下配置 Xml代码 ? property?? ????namedfs.replication/name?? ????value1/value?? /property?? ?? property?? ????namedfs.name.dir/name?? ????value/home/hadoop/hdfs/name/value?? /property?? ?? property?? ????namedfs.data.dir/name?? ????value/home/hadoop/hdfs/data/value?? /property?? ? ????????????????????? 6、配置conf下的mapred-site.xml文件 ?????????????????? sudo gedit conf/mapred-site.xml ??????????????