配置Hadoop教程.docVIP

配置Hadoop教程 Hadoop是一个分布式系统基础架构，主要是由HDFS、MapReduce和Hbase组成GFS、MapReduce、BigTable的开源实现。具有扩容能力 1.首先将hadoop-0.20.2.tar.gz安装包拷贝到虚拟机中，放于/home/xiami/目录下，用tar命令进行解压： [xiami@dw_mstr ~]$ tar -zvxf hadoop-0.20.2.tar.gz 2.默认的解压路径是在/home/xiami/hadoop-0.20.2下，接着再使用 sudo gedit /etc/profile命令将以下Hadoop的环境变量添加到profile文件中： export HADOOP_HOME=/home/xiami/hadoop-0.20.22 export PATH=$HADOOP_HOME/bin:$PATH 3.然后用source命令使profile文件立即生效： PS：JDK与Hadoop的PATH变量可整合为如下： export PATH=.:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH 二、Hadoop配置 Hadoop的主要配置都在/home/xiami/hadoop-0.20.2/conf目录下进行： 1.配置HDFS (1)修改hadoop-env.sh文件 1)在本文件里设置环境变量JAVA_HOME： export JAVA_HOME=/home/xiami/jdk1.6.0_21 2)并将变量JAVA_HOME与HADOOP_OPTS前面的注释符“#”去掉，使变量生效： (2)修改masters文件（只需在NameNode进行） 这个文件存储备master节点的IP或机器名，建议使用机器名，每行一个机器名： (3)修改slaves文件（只需在NameNode进行） 这个文件存储slave节点的IP或机器名，建议使用机器名，每行一个机器名： (4)修改core-site.xml文件 /home/xiami/hadoop-0.20.2/conf目录下的core-site.xml文件默认是空的，但/home/xiami/hadoop-0.20.2/src/core目录下有一个缺省的配置文件core-default.xml，可将它复制到conf目录下，重命名成core-site.xml并做适当修改即可。 或者直接在/home/xiami/hadoop-0.20.2/conf目录下空的core-site.xml文件添加以下内容做简单配置也行： configuration !--- global properties -- property namehadoop.tmp.dir/name value/home/xiami/tmp/value descriptionA base for other temporary directories./description /property !-- file system properties -- property namefs.default.name/name valuehdfs://192.168.137.2:9000/value /property /configuration PS：1.hadoop.tmp.dir指定了所有上传到Hadoop的文件的存放目录，所以要确保这个目录是足够大的； 2.fs.default.name指定NameNode的IP地址和端口号,缺省值是file:///，表示使用 本地文件系统,，用于单机非分布式模式。 (5)修改hdfs-site.xml文件 configuration property namedfs.replication/name value1/value /property /configuration PS：dfs.replication指定HDFS中每Block被复制的次数，起数据冗余备份的作用。在典型的生产系统中，这个数默认为3，如果不修改，DataNode少于三台就会报错。 2.配置MapReduce 修改mapred-site.xml文件 configuration property namemapred.job.tracker/name value192.168.137.2:9001/value /property /configuration PS：mapred.job.tracker指定 JobTracker的IP地址和端口号。 PS：方便起见，可用scp命令把NameNode机器的/home/xiami/hadoop-0.20.2/conf目录拷