Hadoop环境搭建----集群环境搭建.docVIP

在完成单节点环境搭建的基础上进行集群环境搭建 集群搭建准备： 至少两台已完成单节点搭建的机器 ???????（此例为两台，IP分别是192.168.1.10与192.168.1.11，其中10为master） ? ? ? 配置阶段： ??????????1、配置一系列文件（所有节点上） 配置etc下的hosts文件 ???????????????? sudo gedit /etc/hosts ????????????????（注：打开后将里面的内容全部删除，不删除的话启动时会出现所有slave启动正常，但是master上的DataNode为0，导致系统不能正常运转的情况，全部删除以后添加所有节点的IP和标识符，格式如下 ????????????????? 192.168.1.10 master ????????????????? 192.168.1.11 slave ????????????????? 标识符可以随便写，主要是起到一个映射作用）? 进入hadoop目录下，配置conf下的masters文件 ????????????????? cd /usr/local/hadoop ????????????????? sudo gedit conf/masters ?????????????????（打开后将里面内容清空，然后添加“master”或者master的IP“192.168.1.10”，此处即是hosts中配置的映射，填master或者直接填IP都是一样的）? 配置conf下的slaves文件 ????????????????? sudo gedit conf/slaves ???????????????? （打开后将里面内容清空，然后添加“slave”或者slave的IP“192.168.1.11”，原因同上）? 配置conf下的core-site.xml文件 ????????????????? sudo gedit conf/core-site.xml ???????????????? （因为已完成单节点配置，因此只需要修改就行了。打开后将第一个property标签中的localhost改为“master”或者master的IP，如下 Xml代码 ? property?? ????namefs.default.name/name?? ????valuehdfs://master:9000/value?? /property?? property namefs.default.name/name valuehdfs://master:9000/value /property ??????????????????第二个property标签，即包含namedfs.replication/name一行的那个，其中的“value”表示文件上传到dfs上时的备份个数，此数值不能大于slave即datanode的个数）? ?配置conf下的hdfs-site.xml文件（此配置在slave节点上可有可无） ?????????????????? sudo gedit conf/hdfs-site.xml ????????????????? （打开后在空的configuration /configuration中添加如下配置 Xml代码 ? property?? ????namedfs.replication/name?? ????value1/value?? /property?? ?? property?? ????namedfs.name.dir/name?? ????value/home/hadoop/hdfs/name/value?? /property?? ?? property?? ????namedfs.data.dir/name?? ????value/home/hadoop/hdfs/data/value?? /property??property namedfs.replication/name value1/value /property property namedfs.name.dir/name value/home/hadoop/hdfs/name/value /property property namedfs.data.dir/name value/home/hadoop/hdfs/data/value /property ? 配置conf下的mapred-site.xml文件 ?????????????????? sudo gedit conf/mapred-site.xml ??????????????????（打开后将value