在windows上建立hadoop+eclipse开发环境精选.docVIP

在windows上建立hadoop-eclipse开发环境 参见《hadoop开发者》第一期的“在Windows上安装Hadoop教程” 《Windows下基于Eclipse的Hadoop开发环境完全配置jdk-6u11-windows-i586-p.exe安装到d:\jdk1.6下，JRE放在d:\jre1.6下。 2、安装Cygwin 从/setup.exe下载安装文件，运行安装。 弹出Cygwin Net Release Setup Program，在download source页面选择Install from Internet 下一步选择Cygwin的安装目录为“c:\cygwin”，Install For选择“All Users”，Default Text File Type选择“Unix/binary” 下一步设置Cygwin安装包的存放目录 下一步设置“Internet Connection”的方式，选“Direct Connection” 下一步选“Download site”，选163的即可 在“Select Package”对话框中，必须保证“Net Category”下的“OpenSSL”被安装 如果打算在eclipse上编译Hadoop，必须安装“Base Category”下的“sed”： 另外建议将“Editor Category”下的vim安装；“Devel Category”下的subversion。 3、配置环境变量 配置PATH：;d:\jdk1.6\bin; C:\cygwin\bin;c:\cygwin\usr\bin; 配置JAVA_HOME：d:\jre1.6 4、安装sshd服务 启动Cygwin，执行ssh-host-config命令，在出现“Should privilege separation be used？yes/no”时输入no。 如果出现“Have fun”时，一般表示sshd服务安装成功。（见下图） 在本机服务管理器中启动GYGWIN sshd 5、配置ssh登录 执行ssh-keygen命令生成密钥文件，一路回车即可。然后生成authorized_keys文件： cd ~/.ssh/ cp id_rsa.pub authorized_keys exit 退出cygwin窗口，重新打开，执行ssh localhost，在出现“Are you sure you wangt to continue connecting yes/no? 时输入yes 检测是否配置成功： 6、安装hadoop 将安装包hadoop-0.20.2.tar.gz解压到d:\hadoop目录下，修改conf目录下的配置文件： 修改hadoop-env.sh：export JAVA_HOME=/cygdrive/d/jdk1.6 修改core-site.xml：将src\core目录下的core-default.xml的内容全部复制到core-site.xml中代替原先内容，修改的值为：hdfs://localhost:9100 修改hdfs-site.xml：将src\hdfs下的hdfs-default.xml文件内容全部复制到hdfs-site.xml中 修改mapred-site.xml配置，将src\mapred目录下的mapred-default.xml文件内容复制到mapred-site.xml中，修改mapred.job.tracker值为：localhost:9101 7、启动hadoop： $ cd /cygdrive/d/hadoop/hadoop-0.20.2/ //如果格式化namenode $ bin/hadoop namenode –format $ bin/start-all.sh $ jps 5384 JobTracker 3052 NameNode 4432 Jps 如果NameNode没有启动，需要停掉hadoop（bin/stop-all.sh），重新格式化NameNode。 8、安装eclipse插件 hadoop0.20.2版本自带的hadoop-0.20.2-eclipse-plugin.jar包不行，换成下面的：下载地址：/jira/secure/attachment//hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar在Window-》Open Perspective-》other，弹出的窗口中应该有一项Map/Reduce项，代表安装成功了 9、eclipse配置环境 启动eclipse，转到Map/Reduce Perspective,在上图的Map/Reduce Locations里，新建一个Loca