实验二 Hadoop环境下MapReduce并行编程教材.pdfVIP

武汉理工大学《云计算与服务计算》实验指导书 实验二 Hadoop 环境下MapReduce 并行编程 一 . 实验目的 1. 学习MapReduce 编程模型，理解MapReduce 的编程思想。会用MapReduce 框架编写简单的并行程序。 2. 熟悉使用eclipse 编写、调试和运行MapReduce 并行程序。 二 . 实验内容 1. 登录Openstack 云平台，进入搭建好Hadoop 的虚拟机，按照实验指导说明， 在终端启动hadoop 、启动eclipse 。 2. 用MapReduce 编程思想，修改hadoop 自带的例子程序WordCount ，实现如 下功能：统计给定文件 data.dat 中出现频率最多的三个单词，并输出这三个 单词和出现的次数。（注：这里不区分字母大小写，如he 与He 当做是同一 个单词计数） 三 . 实验指导 1. 进入虚拟机，打开终端，切换为root 用户，命令使用： su root 输入密码 2. 进入hadoop 安装目录，本实验中hadoop 安装目录为：/usr/local/hadoop-2.6.0/ ， 使用ls 命令查看该目录中的文件： 3. 所有与hadoop 启动/关闭有关的脚本位于sbin 目录下，所以继续进入sbin 目 录。其中，hadoop2.X 版本的启动命令主要用到start-dfs.sh 和start-yarn.sh 。 关闭hadoop 主要用到stop-dfs.sh 和stop-yarn.sh 。 1 武汉理工大学《云计算与服务计算》实验指导书 执行start-dfs.sh，然后使用jps 命令查看启动项，保证NameNode 和DataNode 已启动，否则启动出错： 执行start-yarn.sh ，jps 查看时，保证以下6 个启动项已启动： 4. 打开eclipse，在右上角进入Map/Reduce 模式，建立eclispe-hadoop 连接 2 武汉理工大学《云计算与服务计算》实验指导书 5. 连接成功后，能够在(1)这个文件夹下再创建文件夹（创建后需refresh ） 6. 建立wordcount 项目，如下步骤： 7. next ，项目名任意（如 wordcount ），finish 。将 WordCount.java 文件复制到 3 武汉理工大学《云计算与服务计算》实验指导书 wordcount 项目下src 文件中，双击打开。并删除代码中的一行包名： package org.apache.hadoop.examples; 8. 如上图已经将WordCount.java 文件复制进src 文件下，在DFS 中wordcount 下建立input 目录，用来存放单词计数程序的输入文件，右键上传data.dat 等 多个文件到DFS 中 上传成功后如下： 4 武汉理工大学《云计算与服务计算》实验指导书 9. 上传文件后，执行WordCount 代码，右键Run as - Run Configurations… 在Arguments 选项下配置MapReduce 程序在hdfs 上的输入文件和输出文件， 根据自己的机器hdfs://localhost:9000/input 和hdfs://localhost:9000/output 10. 以file1.txt 以及file2.txt 为例，统计两个文件中出现单词如下，每次运行前删 除output 文件。 5 武汉理工大学《云计算与服务计算》实验指导书 四 . MapReduce 并行编程理论基础 1 MapReduce 简介 1