hadoop简介培训_下午_hadoop主要产品介绍.pdfVIP

Hadoop基础培训 提纲 1 MapReduce模型及框架 2 Pig介绍 3 Hive介绍 4 HBase介绍 5 Zookeeper介绍 MapReduce 简介 为什么要MapReduce ？ 源于磁盘驱动器的发展趋势。寻址时间的提高速度远远慢于传输 速率的提高速度。（寻址就是将磁头移动到特定位置进行读写操 作的工序，它的特点是磁盘操作有延迟，而传输速率对应于磁盘 的带宽） 移动计算比移动数据划算的多 MapReduce都能做什么？ lo处理海量数据（ 1TB ） 上百/上千CPU实现并行处理 简单 MapReduce的特性: 自动实现分布式并行计算 容错 提供状态监控工具 模型抽象简洁，程序员易用 源于函数式编程，支持 Java/C++/Python等等 MapReduce 发展历程 MapReduce 模型 • 利用 key-value 作为输入输出 • 定义 map 和 reduce 方法 map: (K1,V1) → list (K2,V2) reduce: (K2,list(V2)) → list (K3,V3) 1. Map方法会作用于每个输入的 key-value对 2. Map方法产生中间结果key-value对 3. 中间结果key-values被进行排序并按 key进行分组 4. Reduce作用于排过序的并分组的中间结果key-value 5. Reduce输出结果 key-value MapReduce 模型 MapReduce示例 MapReduce 框架 • 负责分布式计算和协调 • 负责调度 –框架将Job会依据配置和数据量分解成小块任务，这些分解和调度 由框架负责 • 任务本地化 –框架尽量将任务分派到要处理数据的节点 –即移动代码到数据所在节点 • 错误处理 –失败情况会很常见，框架会在其它机器上进行重试 • 数据同步 –Shuffle 和Sort 层会在节点之间移动数据并重新排列 –输入和输出由框架负责协调 MapReduce 1.0 MapReduce 2.0——YARN Yet Another Resource Negotiator (YARN) MapReduce 1.0 vs. YARN MapReduce 1.0 YARN 基于 JobTracker 和TaskTracker运行 YARN 解决MapReduce 1.0 的问题 – JobTracker调度任务，向 TaskTracker – JobTracker被拆分成 2模块 分派 – JobTracker管理MapReduce Job、监控 • ResourceManager – 管理集群上的 进度 资源 – JobTracker修复错误，重启失败和进度 • ApplicationMaster – 管理像 慢的任务 MapReduce这样的应用 基于槽位形式的内存管理模型，不灵活