Windows 下配置 Eclipse 连接 Hadoop 开发环境.docVIP

Windows 下配置 Eclipse 连接 Hadoop 开发环境 学习本篇之前，首先需要搭建Hadoop集群环境，具体请参见：Hadoop 三台主机 集群搭建 详解 在上一篇Hadoop 三台主机 集群搭建 详解，已经搭建起Hadoop集群，但是要开发调试MapReduce程序，还是在Windows下比较方便和舒服。成功配置这个环境，花费了我好几个晚上，先记录如下，方便后来学习的人： 环境及配置： Eclipse选择 非常重要，至少我是在这花费了很多时间，几乎试遍了所有的eclipse版本，都不成功，最后选择了SpringSource Tool，真的很好用，下载地址：/downloads/sts Cygwin hadoop是基于Linux平台的，如其启动，关闭 配置需要在Linux命令行中执行，cygwin是用来模拟Linux下的命令行工具。安装地址：/install.html Hadoop Eclipse插件 不建议使用Hadoop自带的，不好用，如果使用SpringSource Tool的话，请使用hadoop-eclipse-plugin-0.20.3-SNAPSHOT，下载地址：/jira/browse/MAPREDUCE-1280 预先配置 1. 安装Cygwin，这个只要一路确定就行了，不过中间千万别停顿。 2. 配置Windows Hosts文件，为了DNS解析寻址用 方法：进入C:\Windows\System32\drivers\etc，找到hosts文件，编辑添加hadoop集群配置的hosts文件相关信息如下： 　　　　master 　　　　slave1#非必须# 　　　　slave2#非必须# 安装配置： ① 解压下载的SpringSource Tool到D:\\STS，将hadoop-eclipse-plugin-0.20.3-SNAPSHOT放到：D:\STS\sts-2.9.1.RELEASE\plugins ② 点击STS.exe，启动SpringSource Tool(一下简称Eclipse)，如果在Project Explorer中出现DFS Locations图标，则说明安装正确，如图： ③ 之后，点击Windows--Preferrence--hadoop map/reduce, Brower 选择下载的hadoop-0.20.2所在的路径： ④ 配置相关参数，点击 Windows--Show View --Other -- Map/Reduce Location，打开Hadoop的MapReduce View 点击Ok之后，出现如下图 ⑤ 上一步你不应该看到hadoopLoc, 应该什么都没有，右键点击空白处--New Hadoop Location, 你会看到一个填写MapReduce Location参数的一个界面： 其中： Location Name： 这个不用在意，就是对这个MapReduce的标示，只要能帮你记忆即可 Map/Reduce Master 部分相关定义： Host：上一节搭建的集群中JobTracker所在的机器的IP地址 port：JobTracker的端口 两个参数就是 mapred-site.xml中mapred.job.tracker的ip和端口 DFS Master部分： Host：就是上一节集群搭建中Namenode所在机器IP Port：就是namenode的端口 这两个参数是在 core-site.xml里里面的ip和端口 User Name： 就是搭建Hadoop集群是所用的用户名，我这里用的是root ⑥ 填写完以上信息以后，关闭Eclipse，然后重新启动。 为什么这么做呢？因为如果不重新启动，Advanced Parameters里，有些重要的选项不能显示，重启后，来配制Advanced Parameters信息： 可看到大部分选项都已经预设值好了，其中有一下几个选项，必须注意填写，其他的选项，要么默认，要么会根据我们填写的以下几个选项自动修改： dfs.replication: 这个这里默认是3，但是要根据你的Datanode的个数来定，如果你仅有2个datanode，那么就写2，如果只有一个，就写1，大于或者等于3个，写3 hadoop.tmp.dir: 这个要跟上节建立的Hadoop集群配置中core-site.xml 中的hadoop.tmp.dir设置一样，上节填写的是/tmp/hadoop-root，这里也如是填写 hadoop.job.ugi: 填成root,Tardis，其中root是我们的用户名，后边的,Tardis一定要这么写，不能改 这些都填写完了之后，点击保存，重新启动Eclipse，会发现，很多Advance