如何运行一个MapReduce程序讲解.doc

如何运行一个Map/Reduce程序 1.执行以下命令启动HDFS和MapReducestart-all.sh 2.用JPS命令检查一下是否正常启动：jps 显示各进程信息则说明HDFS和MapReduce都已正常启动 图1.1 启动HDFS和MapReduce打开Eclipe可以通过图形界面在目录/usr/local/eclipse下双击应用程序，也可以通过linux命令的方式cd /usr/local/eclipse和./eclipse 图1.2 选择工作空间目录 图1.3 Eclipse打开界面 5.在菜单栏依次点击Windows→Open Perspective→Other，选择“Map/Reduce”,点击“OK” 图1.4 图1.5 选择“Map/Reduce” 6.进行完上述步骤后，在eclipse的左边一栏，会出现一个蓝色的大象标志。 7.点击蓝色大象标志会出现如下图所示的界面 图1.7 8.点击右下角的蓝色大象的标志，新建new hadoop location”，定义hadoop的位置，用于运行MapReduce应用，点击完成Finish”。 图1.9 注：图1.9中host一栏可以填“localhost”,也可以填linux虚拟机的IP地址（通过“ifconfig -a”命令查看）。本来我填的是“localhost”，结果DFS连接不上本机，然后我改成了IP地址，就可以连接上了。本来localhost就是本机，这里大家可以先用localhost，不行再填ip地址。 9.点击Windows→Preferences 选择Hadoop Map/Reduce →选择Hadoop的安装目录，点击Apply”，点击“OK”。 图 1.11 12.新建一个Map/Reduce，依次单击File→New→Project 新建一个Map/Reduce选择Map/Reduce下的“Map/Reduce Project ” ,点击Next ” 图 1.13 14.填写你要建立的工程名称，点击“Next”,再点击“Finish”。这样就建好了一个Map/Reduce工程。 图 1.15 图 1.16 新建的工程 15.在你新建的工程，点击“src”→ “New” →“Class ”,新建一个类填写类名，然后“Finish”。 图1.18 填写类名 16.然后开始进行Java编程，这里我使用的是Hadoop的例子程序WordCount.Hadoop的例子程序所在的目录是：/usr/local/hadoop/src/examples/org/apache/hadoop/example/ 直接将代码贴上去即可注意删掉代码的第一行。 图1.20 选择上传到DFS的目录 图2.21 选择上传的输入文件夹 18.刷新后，可以看到“hadoop”下的子目录由1个变成了2个，多出来的那个刚好是“input”目录。 图1.22 成功上传input目录 19.右击“WordCount”→ Run As”→“Run Configurations” 图1.23 运行设置 20.选择“Java Application”下的“New_configuration”,填写你建立的工程名和主类名,然后“Apply”. 配置参数Program arguments”如下，点击“Apply” 图1.25 设置程序参数 注：如果在前面第8步host一栏填写的是localhost，那么配置如下： 图1.26 设置程序参数（2） 22.点击“Run”,在下面的“Console”一栏，可以看到运行结果。如果全部都是红色，则表示正确。有蓝色，则表示有错误。 右击“hadoop”,刷新“Refresh” 可以看到“hadoop”下面增加了“Output”文件 图1.28 新增的output文件 24.点开“Output”,可以看到运行结果。 注：在运行时，如果出现错误，有一种错误提示是： “Syntax?error,?parameterized?types?are?only?available?if?source?level?is?1.5?or?greater ” 说明编译环境不是在5.0,但是MyEclipse中应用的jdk明明是1.5或以上版本。有两种方法处理:一种是Myeclipse对所有项目默认的设置是5.0以下，项目继承了默认设置（在Myeclipse?IDE中的菜单Window/Preferences/Java/Compiler里改为5.0或高于5.0）另一种是单个项目里设置了source?level?5.0以下（在项目属性/Java?Compiler?里改为5.0或高