Hadoop环境搭建与WordCount实例浅析.docVIP

Hadoop环境搭建与WordCount实例浅析 hadoop环境的搭建 1、必备资源 （1）linux操作系统环境，如果你是初学者的话，我建议你用虚拟机装操作系统，可以避免很多问题，从而最快的进入正题。至于版本的选择无所谓了，像redhat,suse,或者是fedora都可以，我用的是比较旧的fedora8，自我感觉相当好使，也就没用更新的. ? (2) hadoop 资源包，现在最新的是0.21版本，我用的也是这个，它要求jdk必须的是6.0或以上，至于下载我就不说了，一搜结果太多 ?3）jdk1.6下载：可以去官方网站上下载linux版本的jdk6,大概是70M左右。 ? （4）ftp服务器：主要是用它来向linux上上传一些必要的资源，毕竟是虚拟机，往往咱们要运行命令行方式下的，所以需要从window平台上上传一些资源，这时ftp服务器必不可少。可以选用vsftp，这是个最常用且流行的，可以通过linux中自带的在线安装工具包在线安装也好，可以省去很多事。当然为了linux和windows下文件的共享你也可以采用samba等方式，但ftp是相对较简单的。 ?（5）ssh服务安装：它是namenode和datanode通信的桥梁，必须安装它，当然也可以通过在线安装的方式，简单且版本较新。 2、安装步骤 ?（1）linux安装完成之后，应该首先安装vsftp，这样的话，才能将jdk安装包上传至linux当中，在fedora8下在线安装vsftp的命令是 ?yum install vsftpd就可以了，只要网速可以，安装是相当快速的。安装完成之后，你的首次登陆多数会出现这样或那样的问题，只要在网上搜一下应该就可以搞定，我就不多说了。 ?2）你可以用手工抒写命令的方式将windows下的linux jdk6.0版本通过vsftp上传至linux平台，也可以用ftp软件，比如flash ftp或cute ftp等，当然用软件的话会相对容易一些。然后根据jdk格式安装之，然后需要配置环境变量，JAVA_HOME,JRE_HOME,PATH,CLASSPATH等，这些因不同的linux版而不同，都可以通过网上搜解决。最后要通命令java -version 或 javac -version看一下是不是你安装的那个jdk版本。从而测试出你的jdk安装是否正确。 ?3)ssh服务：一般在linux上自带的有，你可以看一下有没有，用命令service sshd start或service --list sshd等都可以达到此目的。 除此之外，还需要配置namenode和datanode之间无需密码即可通过ssh服务直接登陆这项功能，具体如何做，百度一下即可。 4)要把hadoop资源包通过ftp上传到linux环境下，并修改hadoop对应的配置文件，最后测试运行之。 3、hadoop详细配置。 ?（1）将hadoop资源包放到你指定的目录下，一般是放在你的用户根目录下，然后，将hadoop配置添加进环境变理， export HADOOP_HOME=/home/mingjie/hadoop-0.17.1#这是hadoop的主目录export?HADOOP_CONF_DIR=$HADOOP_HOME/conf#这是hadoop的配置文件目录export ??HADOOP_LOG_DIR=/home/mingjie/hadoop-0.17.1/log＃存放运行日志目录export?? PATH=$PATH:$HADOOP_HOME/bin。Hadoop环境搭建过程中还需要安装SSH。 ?（2）修改hadoop的[conf/masters]、[conf/slaves]这2个文件：??Master设置(HADOOP_HOME/conf/masters):hdfs1（你的namenode的主机名称）??? Slave设置HADOOP_HOME/conf/slaves):hdfs2、hdfs3（你的datanode的主机名称,要竖着写。) ?（3）修改［conf/hadoop-env.sh］： export? JAVA_HOME=/opt/jdk1.6.0_03（个人认为可以不写，但为了合理其鉴还是写上为好）。 ?（4）至于优化配置需要参考hadoop提供的hadoop-default.xml仔细看一下，我还没有仔细学过，就不细说了。 4、集群设置 你如果在虚拟机上的话，经过前三部在一台机器上的设置就已经基本上完成配置了，然后将此台机器上的完整hadoop环境通过克隆的方式，复制到你指定的其它几台datanode就可以了，这样可以节省大量的装linux系统的时间。注意要修改一下，各机器的hostname,以及ip地址，建议用静态ip，因