hadoop的开发.docxVIP

注意：本文的配置环境是：CygWin最新版本2.769下载地址Window7-64bitJDK1.6.0_31-win64 (JRE6)下载地址Eclipse-Indigo..Hadoop 0.20.2 (注意：0.20.203版本不可用，会导致tasktracker无法启动)下载地址-----------------------------------------华丽分割------------------------------------环境安装配置：1.JDK，我的安装目录：C/Java，安装后视图安装好了JDK，然后配置JAVA_HOME环境变量:然后，把JDK下面的BIN目录追加到环境变量PATH后面。2.CygWin，安装过程中记得选择所需的包，这里需要的是:Net Category下的：openssh,opensslBaseCategory下的：sed （若需要Eclipse，必须sed）Devel Category下的：subversion（建议安装）。具体请参考下面的图示：安装完成后，把CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。3.Hadoop把下载的hadoop-0.20.2.tar.gz解压到指定目录。我把解压后的Hadoop程序放到了Cygwin根目录下的hadoop文件夹中。具体如下图示：（不要使用0.20.203版本的Hadoop！！！）下面开始配置Hadoop。需要配置的文件：（hadoop/conf目录下）hadoop-env.shcore-site.xmlhdfs-site.xmlmapred-site.xml第一个文件 hadoop-env.sh把里面的JAVA_HOME改掉，注意export前面的#号要去掉。而且必须要使用linux的路径表达方式。我的jdk路径是 C:\JAVA\jdk1.6.0_31，在CygWin中对应的路径为： /cygdrive/c/java/jdk1.6.0_31第二个文件：core-site.xml首先删除它，然后把hadoop/src/core目录下的core-default.xml文件复制到conf目录下，并命名为core-site.xml。然后修改其中的变量，如下所示。（确保端口号（我的是9100）未被占用）第三个文件：hdfs-site.xml首先把它删除，然后复制src/hdfs目录下的hdfs-default.xml到conf目录下，并改名为hdfs-site.xml然后修改dfs.replication变量，如下图示：该变量意思是文件系统中文件的复本数量。在单独的一个数据节点上运行时，HDFS无法将块复制到三个数据节点上。第四个文件：mapred-site.xml首先删除它，然后复制src/mapred目录下的mapred-default.xml到conf目录下，并改名为mapred-site.xml，然后修改其mapred.job.tracker变量：（同样确保端口号未被占用）----------------------------------华丽分割-------------------------------------配置SSH服务（首先确认安装了OpenSSH,OpenSSL两个包）1.打开CygWin输入SSH-HOST-CONFIG2.系统提示：should privilege ?separation be used ? 回答：no3.系统提示：if sshd should be installed as service?回答：yes4.系统提示：the value of CYGWIN environment variable 输入: ntsec5.成功下面是图示（我自己当时没记录，所以参考的是网络上的图片）下一步，进入Window系统的服务菜单，打开Cygwin的SSHD服务：如下图所示：下面继续回到CygWin环境：执行如下命令：1.ssh-keygen然后一直回车2.cd ~/.ssh3. ? ? cpid_rsa_pubanthorized_keys4.exit 退出cygwin，若不退出，可能出错再次登录时查看一下：5运行 sshlocalhost ?若有提示，则回车。6执行 ps ?若看到 有/usr/bin/ssh 进程，说明成功------------------------------------华丽分割----------------------------------启动Hadoop第0步：为了避免jobtracker，info could only be replicated to 0 node,instead of 1错误，最好把 hadoop/conf目录下面的 mas