大数据技术与应用基础第5章MapReduce应用开发.pptxVIP

能力 CAPACITY 要求 了解Mapreduce的定义、功能和发展历程。 理解Map过程与Reduce过程的工作模式与任务调度。 掌握使用Hadoop进行分布式运算的方法与技能。 编写和运行第一个MapReduce程序之前的准备 配置Hadoop MapReduce开发环境 MapReduce应用案例 一、配置Hadoop MapReduce开发环境 Windows 7 64位操作系统 hadoop2.6.0 Eclipse hadoop-eclipse-plugin-2.6.0.jar 系统环境及所需文件 安装Eclipse 安装配置时所用的Eclipse版本是Eclipse IDE for Java EE Developers，其下载地址如下： /downloads/download.php?file=/technology/epp/downloads/release/neon/R/eclipse-jee-neon-R-win32-x86_64.zipmirror_id=448 一、配置Hadoop MapReduce开发环境 安装Eclipse 将下载好的Eclipse压缩包解压，即完成安装配置。 向Eclipse中添加插件 插件包hadoop-eclipse-plugin-2.6.0.jar充当的作用是使Eclipse连接Hadoop集群，方便在Eclipse上面进行hadoop mapreduce方面的开发。 该插件包可以在网上搜索关键字进行下载，将下载下来的插件包复制进Eclipse安装目录中的plugins文件夹中，再重启Eclipse即可。 在Eclipse中添加map/reduce Locations窗口的方式： 依次选择“Window”→“Show View”→“Other”，打开MapReduce Tools选择Map/Reduce Locations然后单击“OK”按钮。这样就能在Eclipse上通过Map/Reduce Locations窗口进行Hadoop location添加删除和配置等操作。 一、配置Hadoop MapReduce开发环境 通过Eclipse来管理Hadoop HDFS 修改集群中namenode节点的hdfs-site.xml，添加如下内容: property namedfs.permissions/name valuefalse/value /property 在Map/Reduce Locations窗口中 添加一个名为hadoop的Hadoop location 然后重启Hadoop集群，即可在Eclipse中管理 HDFS，进行一些增删改查看等操作。 配置Hadoop MapReduce开发环境 编写和运行第一个MapReduce程序之前的准备 MapReduce应用案例 一、编写和运行第一个MapReduce程序之前的准备 Windows 7 64位操作系统 hadoop2.6.0 Eclipse hadoop.dll winutils.exe java jdk1.8.0 系统环境及所需文件 建立运行MapReduce程序的依赖 （1）下载安装Hadoop （2）下载hadoop.dll winutils.exe并将其添加到windows下的Hadoop安装目录中的bin目录里。 （3）在Eclipse中设置Windows中Hadoop安装目录的绝对路径。 “Window”→“Preferences”→“Hadoop Map/Reduce”。 一、编写和运行第一个MapReduce程序之前的准备 在Eclipse中新建一个maven工程； 建立编写MapReduce程序的依赖包 （1）在Eclipse Project Explorer窗口右击，选择“New”→“Other”； （2）选择“Maven Project” →“Next”； （3）选择相应的maven架包→“Next”； （4）根据实际情况进行配置→“Finish”； 在新建的maven工程里，找到pom.xml。在这里可以添加编写MapReduce程序所需要的依赖包。进入/，在搜索栏上查找你所需要添加的依赖包，选择对应的Hadoop版本号，然后单击进入。将其中Maven选项栏里的内容复制粘贴到pom.xml中保存，即可自动下载。 一、编写和运行第一个MapReduce程序之前的准备 下载完成后的结果 建立编写MapReduce程序的依赖包 编写和运行第一个MapReduce程序之前的准备 MapReduce应用案例 配置Hadoop MapReduce开发环境 三、MapReduce应用案例 MapReduce应用案例 三、MapReduce应用案例 在HDFS根目录下 有一文件words，