windows下搭建hadoop开发环境(Eclipse).pdfVIP

注：hadoop 是java 编写的，可以通过java 直接编译出hadoop 包。因此，操作系统影响 不大，只是需要剥 linux 这个外壳。 材料： 1. JDK 版本1.7.0_01 2. Cygwin——在线安装 3. Eclipse SDK 版本3.3.2 4. Hadoop 版本 hadoop-0.20.2 5. windows 7 本教程适合以上版本，特别是hadoop 版本和Eclips 版本。如果换别的搭配，不一定成 功。提示：hadoop0.20.2 版本下的Eclips 插件只适合3.3.2 的eclips ，Eclisp 版本高不 能运行。另外，hadoop 0.20.203 版本在和sygwin 搭配上有bug ，不能启动jodtracker 。 实施： 1. 安装JDK 详细步骤略去。要注意的是：jdk 的安装 1. 下载cygwin 的setup.ex 进行在线安装，setup 版本：2.764 1.1 install from Internet 1.2 设置cygwin 最好简短，地址中间不带空格 1.3 Direct Connection 1.4 选择down site ( 网易163： ) 1.5 开始选择需要安装的组件 1.5.1 Net Category 下的两个OpenSSL(重要) 1.5.2 Base Category 下的sed 1.5.3 Editor Category 下的vim 1.5.4 Devel Category 下的subversion 1.5.5 点击下一步开始下载并安装，一气呵成，否则重新安装。 1.6 配置系统环境变量 JAVA_HOME=C:\Java\jdk1.7.0_01 CLASSPATH=.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar PATH=%JAVA_HOME%/bin;%JAVA_HOME%/jre/bin;C:\windows\system32\; 1.7 BINGO 用户中的变量 PATH=D:\study\cygwin\bin;D:\study\cygwin\usr\bin 2. 在cygwin 中安装ssh 2.1 打开cygwin 会提示用户没有权限的问题，按照提示敲入相应两个命令解决，待参数 -l 2.2 敲入命令ssh-host-config 开始配置ssh。遇到问题“should privilege separation be used?” 回答no，其他的按默认，它会询问是否注册为系统服务，回答是。 2.3 在“管理”- “服务”里开启CYGWIN sshd 服务。 2.4 配置SSH 空密码登录 执行以下命令： ssh-keygen 生成本机密钥 cd ~/.ssh/ cp id_rsa.pub authorized_keys 关闭cygwin，重新打开cygwin。尝试ssh localhost 连接。 2.5 但是，在cygwin 中无法执行命令ssh localhost，提示，Connection closed by 1. 这是权 限问题。 解决方案：1、开端——运行——services.msc2 、右键 CYGWIN sshd——属性——登录 选项卡——选择“此账户”——浏览——高级——立即查找——选择你的账户名（必须为 管理员权限）——输进密码（必须 要有，空密码不将不被接受）—