完全分布模式Hadoop集群安装配置.doc

HBase入门笔记（三）-- 完全分布模式Hadoop集群安装配置 ?? ? ? ? ? 本来这篇文章该在去年11月底写出来的，被各种繁杂的事情所烦扰，再者网络上也有非常多比较完善的配置的文章，但是依旧是表述不太清晰。依旧写个Step By Step的教程，留待己用。 ?? ? ? ? ?Hadoop的部署环境是经过虚拟化之后的四台主机，OS是Ubuntu Server10.04。（XenServer5.6兼容的OS并不包括Ubuntu，将Ubuntu转成PV也是一个折腾的过程，另文介绍）。Hadoop的版本号依旧是：0.20.2.安装Java环境如上一讲所示。 ?? ? ? ? ? 主机名及其IP地址对应如下： ?? ? ? ? ?Slave&TaskTracker:dm1,IP:7;(datanode) ?? ? ? ? ??Slave&TaskTracker:dm2,IP:8;(datanode) ?? ? ? ? ??Slave&TaskTracker:dm3,IP:;(datanode) ?? ? ? ? ??Master&JobTracker:dm4,IP:0;(namenode) ?? ? ? ?Master是Hadoop集群的管理节点，重要的配置工作都在它上面，至于它的功能和作用请参考 HadoopAPI。 ?? ?具体配置步骤如下： ?? 一.修改各个节点（dm1-dm4）的HostName，命令如下： ? 1 Vi /etc/hostname ?如下图所示例： ?? 二.在host中添加机器的hostname和IP，用以通讯。Master需要知道所有的slave的信息。对应的slave只需要知道Master和自身的信息即可。 ??命令如下： ? 1 vi /etc/hosts Master(dm4)的hosts配置应该如下图所示： ?其它的slave(dm3……）的hosts配置应该如下图所示： ?? ?三.Hadoop核心代码需要配置conf文件夹里面的core-site.xml,hdfs-site.xml,mapread-site.xml,mapred-site.xml，hadoop-env.sh这几个文件。具体各个配置的含义请参考Hadoop 帮助文档。 ?? ?1.首先编辑各个机器节点（包括master和slave）的core-site.xml文件，命令如下：（Hadoop 文件夹放在home下） ? 1 vi /home/hadoop/conf/core-site.xml core-site.xml文件配置，应如下面代码所示： ? 1 2 3 4 5 6 7 8 9 10 11 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ?? <!-- Put site-specific property overrides in this file. --> ?? <configuration> <property> ????<name></name> ????<value>hdfs://dm4:9000</value> ?</property> </configuration> ?? ?2.其次编辑各个机器节点（包括master和slave）的hdfs-site.xml，命令如下： ? 1 vi /home/hadoop/conf/hdfs-site.xml ?? ??hdfs-site.xml文件配置，应如下面代码所示： ? 1 2 3 4 5 6 7 8 9 10 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ?? <!-- Put site-specific property overrides in this file. --> ?? <configuration> ?<property> ?<name>.dir</name> ?<value>/home/hadoop/NameData</value> ?</property> ? 1 2 3 4 5 6 7 8 9 10 <property> ?<name>dfs.permissions</name> ?<value>false</value> ?</property> ?? ?<property> ?<name>dfs.replication</name> ?<value>1</value> ?</property> </confi