hadoop应用及原理培训课件.pptVIP

写MapReduce程序的步骤： 1.把问题转化为MapReduce模型 2.设置运行的参数 3.写map类 4.写reduce类 例子：统计单词个数 MapReduce模型 1.Map端 一行行读文件，程序转化为中间Key/Value. My name is liu gang -My 1,name 1, is 1, liu 1, gang 1 What is your name -What 1, is 1, your 1 name 1 2.Reduce端 相同的key肯定会在一起。经过Reduce方法处理后， 形成最终的key/Value. name 1,name 1-name 2; 运行步骤 1）打成jar包。 2）创建一个word.txt文件 3）把word.txt文件传到HDFS上面 hadoop fs –copyFromLocal localsrc HDFS 4)执行hadoop jar jar名 完整的类名 5）查看执行结果 hadoop fs –text /path MapReduce执行流程 MapReduce基本流程 JobTracker(JT)和TaskTracker(TT)简介 再论JobTracker(JT)和TaskTracker(TT) JobTracker：协作作业的运行 taskTracker：运行作业划分后的任务 Mapreduce原理 1）一个文件file.txt 2）存储file.txt文件 3) 统计file.txt文件里面”Refund”个数 JobTracker失败 1）JobTracker失败在所有的失败中是最严重的一种。 2）hadoop没有处理jobtracker失败的机制。--它是一个单点故障。 3）在未来的新版本中可能可以运行多个JobTracker。 4）可以使用ZooKeeper来协作JobTracker。 TaskTracker失败 1）一个TaskTracker由于崩溃或运行过于缓慢而失败，它会向JobTracker发送“心跳”。 2）如果有未完成的作业，JobTracker会重新把这些任务分配到其他的TaskTracker上面运行。 3）即使TaskTracker没有失败也可以被JobTracker列入黑名单。 Hadoop Job Scheduler 1）Hadoop默认的调度器是基于队列的FIFO调度器。 所有用户的作业都被提交到一个队列中，然后由JobTracker先按照作业的优先级高低，再按照作业提交时间的先后顺序选择将被执行的作业。优点: 调度算法简单明了，JobTracker工作负担轻。缺点: 忽略了不同作业的需求差异。 2）还用两个多用户调度器 --Fair Scheduler(公平调度器) --Capacity Scheduler(计算能力调度) Fair Scheduler(公平调度器) 多个Pool，Job需要被提交到某个Pool中 每个pool可以设置最小 task slot，称为miniShare FS会保证Pool的公平 Pool内部支持Priority设置 支持资源抢占  mapreduce的类型与格式 Hadoop 0.20.x之前的API Hadoop的MapReduce中，map和reduce函数遵循如下常规格式： map: (K1, V1) → list(K2, V2) reduce: (K2, list(V2)) → list(K3, V3) Mapper的接口： public interface MapperK1, V1, K2, V2 extends JobConfigurable, Closeable { void map(K1 key, V1 value, OutputCollectorK2, V2 output, Reporter reporter) throws IOException; } Reduce的接口： public interface ReducerK2, V2, K3, V3 extends JobConfigurable, Closeable { void reduce(K2 key, IteratorV2 values, OutputCollectorK3, V3 output, Reporter reporter) throws IOException; } //outputCollector 是为了输出key/value对， //Repo