如何运行一个MapReduce程序教程.docVIP

如何运行一个Map/Reduce程序 1.执行以下命令启动HDFS和MapReduce：start-all.sh 2.用JPS命令检查一下是否正常启动：jps 3.显示如图所示各进程信息，则说明HDFS和MapReduce都已正常启动。 图1.1 启动HDFS和MapReduce 4.打开Eclipe，可以通过图形界面在目录/usr/local/eclipse下双击应用程序，也可以通过linux命令的方式：cd /usr/local/eclipse和./eclipse 图1.2 选择工作空间目录 图1.3 Eclipse打开界面 5.在菜单栏依次点击Windows→Open Perspective→Other，选择“Map/Reduce”,点击“OK” 图1.4 图1.5 选择“Map/Reduce” 6.进行完上述步骤后，在eclipse的左边一栏，会出现一个蓝色的大象标志。 图1.6 蓝色大象标志 7.点击蓝色大象标志会出现如下图所示的界面。 图1.7 8.点击右下角的蓝色大象的标志，新建“new hadoop location”，定义hadoop的位置，用于运行MapReduce应用，点击完成“Finish”。 图1.8 图1.9 注：图1.9中host一栏可以填“localhost”,也可以填linux虚拟机的IP地址（通过“ifconfig -a”命令查看）。本来我填的是“localhost”，结果DFS连接不上本机，然后我改成了IP地址，就可以连接上了。本来localhost就是本机，这里大家可以先用localhost，不行再填ip地址。 9.点击Windows→Preferences 图 1.10 选择Hadoop Map/Reduce →选择Hadoop的安装目录，点击“Apply”，点击“OK”。 图 1.11 12.新建一个Map/Reduce工程，依次单击File→New→Project 图1.12 新建一个Map/Reduce工程 选择Map/Reduce下的“Map/Reduce Project ” ,点击“Next ” 图 1.13 14.填写你要建立的工程名称，点击“Next”,再点击“Finish”。这样就建好了一个Map/Reduce工程。 图 1.14 图 1.15 图 1.16 新建的工程 15.在你新建的工程，点击“src”→ “New” →“Class ”,新建一个类。填写类名，然后“Finish”。 图1.17 新建类 图1.18 填写类名 16.然后开始进行Java编程，这里我使用的是Hadoop的例子程序WordCount.Hadoop的例子程序所在的目录是：/usr/local/hadoop/src/examples/org/apache/hadoop/example/ 直接将代码贴上去即可，注意删掉代码的第一行。 图1.19 java编程 17.在文件系统的/usr/local/hadoop目录下新建一个“input”目录，在里面新建一个文件夹“file”，然后对其进行编辑，在里面输入你想要计数的单词，我输入的是“hello world”。 在“DFS Locations”下的/usr/local/hadoop处右键，选择“Upload directory DFS”，找到“usr/local/hadoop”目录下的“input”目录，点击“OK”。 图1.20 选择上传到DFS的目录 图2.21 选择上传的输入文件夹 18.刷新后，可以看到“hadoop”下的子目录由1个变成了2个，多出来的那个刚好是“input”目录。 图1.22 成功上传input目录 19.右击“WordCount”→ “Run As”→“Run Configurations” 图1.23 运行设置 20.选择“Java Application”下的“New_configuration”,填写你建立的工程名和主类名,然后“Apply”. 图1.24 填写工程名和主类名 21.配置参数“Program arguments”如下，点击“Apply”。 图1.25 设置程序参数 注：如果在前面第8步host一栏填写的是localhost，那么配置如下： 图1.26 设置程序参数（2） 22.点击“Run”,在下面的“Console”一栏，可以看到运行结果。如果全部都是红色，则表示正确。有蓝色，则表示有错误。 图1.27 运行程序23.右击“hadoop”,刷新“Refresh” 可以看到“hadoop”下面增加了“Output”文件。 图1.28 新增的output文件 24.点开“Output”,可以看到运行结果。 图1.29 运行结果 注：在运行时，如果出现错误，有一种错误提示是： “Syntax?