实验3 Hadoop-Mapreduce实践—13级计师2班白涵冰.doc

西北师范大学计算机科学与工程学院学生实验报告 学号 201371010201 专业 计算机科学与技术 班级 13级计师2班 姓名 白涵冰 课程名称 云计算 课程类型 专业选修 实验名称 Hadoop -Mapreduce实践 实验目的： 1、搭建Hadoop Mapreduce的Eclipse开发环境； 2、通过Wordcount实例，体会Mapreduce程序的基本思想； 3、体会在Hadoop集群下执行任务的过程。 实验要求及内容： 一、实验要求： 搭建环境； 1）创建Mapreduce工程：WordCount，导入Wordcount Mapreduce程序源码。 2）在Hadoop伪分布集群上执行该任务。 3）查阅资料，大致理解map、reduce函数的逻辑；大致理解提交mapreduce任务的过程（main函数） 4）Hadoop集群（伪分布）运行在虚拟机上。最简单的方法是，Eclipse也在虚拟机上。下一步，Hadoop集群将分布部署。 二、搭建Hadoop Mapreduce的Eclipse开发环境 1、安装并启动eclipse 解决jdk路径问题： 2、安装Eclipse Hadoop插件 (1)下载Hadoop-Eclipse-Plugin-1.2.1.jar并拷贝到Eclipse安装目录下的plugins文件夹下 (2)重启Eclipse 3、配置Eclipse （1）Window-Open Perspective （2）选择Map/Reduce （3）在对话框中选择hadoop的安装路径（bin的上级目录） 4、在Eclipse中配置Hadoop集群HDFS的URL （1）window-Show View （2）选择Map/Reduce Locations （3）New Hadoop location 在Map/Reduce Locations视图中单击右键，选择New Hadoop location （4）输入Hadoop HDFS基本信息 三、环境测试 1、启动Hadoop 2、在工程中会看到DFS Locations 3、HDFS的内容与命令看到的是一致的（所连接Hadoop集群的HDFS）。 HDFS创建文件夹、上传文件后要刷新或者重新连接。（右键） 四、MapReduce编程，通过Wordcount实例，体会Mapreduce程序的基本思想 1、New- Mapreduce Project 2、导入WordCount.java 3、运行准备 创建一个文本文件（可在Eclipse工程中创建），如：word.txt，上传至HDFS（可以使用HDFS命令，也可以在Eclipse中做） 4、运行配置 (1)在Project视图中，选择WordCount.java，右键选择如下： (2)输入运行参数：输入文件，输出文件夹 说明：输出文件夹可以不事先建立。文件是在HDFS上。 结果显示： 实验总结: 通过这次实验学习到了HDFS与MapReduce的关系：HDFS在集群生实现了分布式文件系统，MapReduce在集群上实现了分布式计算和任务处理；.HDFS在MapReduce任务处理过程中提供了对文件操作和存储的支持，使得MapReduce有更好的运行环境。MapReduce在HDFS的基础上实现任务的分发、跟踪、执行等工作，并收集结果。 实验评语： 实验成绩 教师签名