MapReduce经典例子WordCount运行详解.docxVIP

创建时间：2012/3/1 创建时间：2012/3/1 修改时间：2017/3/1修改次数：0 PAGE PAGE # 创建时间：2012/3/1 创建时间：2012/3/1 修改时间：2017/3/1修改次数：0 PAGE PAGE # Hadoop MapReduce 经典例子 WordCou nt运行详解 1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用“分而治之”的思想，把对大规模数据集的操作，分发给一个主节点 管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地 说，MapReduce就是任务的分解与结果的汇总”。 在Hadoop中，用于执行 MapReduce任务的机器角色有两个：一个是 JobTracker；另一 个是 TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个 Hadoop 集群中只有一台 JobTracker。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负 载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个函数： map和reduce, map负责把任务分解成多个任务，reduce负责把分解后多任务处理的结果汇 总起来。 需要注意的是，用 MapReduce来处理的数据集(或任务)必须具备这样的特点：待处 理的数据集可以分解成许多小的数据集，而且每一个小数据集都可以完全并行地进行处理。 1.2 MapReduce处理过程 在Hadoop中，每个 MapReduce任务都被初始化为一个 Job,每个Job又可以分为两种 阶段：map阶段和reduce阶段。这两个阶段分别用两个函数表示，即 map函数和reduce函 数。map函数接收一个＜key,value＞形式的输入，然后同样产生一个 ＜key,value＞形式的中间输 岀，Hadoop函数接收一个如＜key,(list of values)〉形式的输入，然后对这个 value集合进行处 理，每个reduce产生0或1个输岀，reduce的输岀也是＜key,value＞形式的。 Input Mappers Middle ResultReducersOutput Input Mappers Middle Result Reducers Output MapReduce处理大数据集的过程 2、运行WordCou nt程序 单词计数是最简单也是最能体现 MapReduce思想的程序之一，可以称为 MapReduce版 “Hello World”，该程序的完整代码可以在 Hadoop安装包的src/examples ”目录下找到。 HeloWorl(L_Helo HeloWorl(L_ Helo Hadoop HHo 2 World 1 Hadocp 1 二 2.1准备工作 现在以hadoop”普通用户登录Master.Hadoop ”服务器 1）创建本地示例文件 首先在/home/hadoop”目录下创建文件夹file ”。 [hadoopOMa?t?r ] $ 1 [hadoopOMa?t?r ] $ 11 总岡董1斗1372 -rw-r—r——.1 hadoop hadoop 5946878^ _rw—r—r—. 1 hadoop hadooc [hadoo?Master J j mkdi r */file [hadQQp^Master $ II 总同還1413 drwxrwxr*xr 2 hadoou hadoop 4(/9 -r^-r—r——.1 hadoop hit doop 5^468784 -rw-r—r—*. 1 hadoop hadoop 8^292206 [hadooo^Master _!$ 2月 27 03:31 2月 27 03:29 jdk-6u31-hnjK-iSS6. bir 3月 2 05:31 2月 27 03:31 2月 27 03:29 jdk-6u31 -1 inu)(-i 5W, bin 接着创建两个文本文件 和， 内容为使“ Hello World”而， 接着创建两个文本文件 和， 内容为使“ Hello World”而， 的内容为Hello Hadoop。 [hadoop^Master [hadoop^Master [badooD^MiiSter [hadooo?Master 总用量8 ]$ cd file ■f He]$ echo Hello Id ft lek txt ■f i le]$ echo HeI Io Hadoop- f r Ie2. txt ■f Hc]$ 1 I [hadoo