Hadoop大型应用开发实战培训.docx

Hadoop 大型应用开发实战培训 各有关单位： 2013 年 04 月 26 日至 04 月 28 日（25 日报到）北京 2013 年 06 月 21 日至 06 月 23 日（20 日报到）青岛 2013 年 08 月 29 日至 08 月 31 日（28 日报到）珠海 2013 年 10 月 26 日至 10 月 27 日（25 日报到）杭州 互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验，传统的关系型数据库已经无法满足大数据量高并发的要求，何以解忧？ Hadoop！我中心针对目前企事业单位信息技术研发人员对 Hadoop 大数据处理技术的紧迫需求，设计推出了 Hadoop 大型应用开发实战课程。具体课程事宜如下： 一、课程目标 全面掌握 Hadoop 的架构原理和使用场景； 全程项目实战训练； 彻底掌握使用 Hadoop 进行 MapReduce 程序开发； 熟悉分布式计算领域的常用算法； 二、学习对象 软件工程师、数据库开发人员、网络后台开发人员、运维人员等。学员要求有一定的 Java 编程基础。 四、授课师资 王老师 国内最早从事于 Hadoop 框架应用程序软件开发以及 Hadoop 解决方案专家。业界知名资深 IT 技术培训讲师、多家著名公司的技术顾问。 【主办单位】中国电子标准协会【协办单位】深圳市威硕企业管理咨询有限公司六、培训费用 4500 元/人（含培训费、考试费、证书费、资料费、午餐） 食宿统一安排，费用自理。（请 学员带二寸彩照 2 张—背面注明姓名，身份证复印件一张）。七、具体课程安排 日程 模块单元 模块单元 第一 天 第 1 个主题：Hadoop MapReduce 1. Hadoop JobTracker 剖析2.Hadoop TaskTracker 剖析3.Hadoop 任务提交流程剖析 第 2 个主题： Hadoop MapReduce Streaming 编程 Hadoop Streaming 和 Java MapReduce Api 差异 使用 MapReduce 实现数据库功能第 3 个主题：MapReduce 分布式程序 MapReduce 流程 剖析一个 MapReduce 程序3.基本 MapReduceAPI 概念4.驱动代码 5.Mapper 6.Reducer API 使用 Eclipse 进行快速开发 新 MapReduce API 第 4 个主题：Hadoop 核心代码剖析 Hadoop Mapper 类核心代码剖析 Hadoop Reducer 类核心代码剖析 第 5 个主题：HDFS 分布式文件系统编程 Hadoop HDFS 剖析 Hadoop NameNode 剖析 Hadoop DataNode 剖析 hadoop I/O 操作 使用 Hadoop HDFS API 对 HDFS 编程 第二 天 第 1 个主题：Hadoop Mapreduce 高级编程1.ToolRunner 介绍 使用 MRUnit 进行测试 利用 Combiners 来减少中间数据 使用 Configure 和 Close 方法来进行 Map/Reduce 设置和关闭5.编写 Partitioner 来优化负载平衡 6.直接访问 Hadoop 分布式文件系统（HDFS） 7.使用分布式缓存（Distributed Cache） 第 2 个主题：MapReduce 的优化 map 优化 reduce 优化 小文件优化 第 3 个主题：MapReduce 的任务调度 Queue 调度的使用 公平调度的使用 能力调度的使用 第 4 个主题：MapReduce 编程实战 Hadoop 的 join 操作 Hadoop 的二次排序 Hadoop 的海量日志分析 第 5 个主题：flume+hadoop 日志收集实战 flume 介绍 flume 核心组件讲解 flume 自带的组件分析 flume 二次开发实战 第三 天 第 1 个主题：Hadoop 的来源和动机 传统大规模系统存在的问题 对一种新的解决方案的需求 第 2 个主题：Hadoop 安装和部署准备 Hadoop 系统模块组件概述 Hadoop 试验集群的部署结构 Hadoop 安装依赖关系 Hadoop 生产环境的部署结构 第 3 个主题：Hadoop 集群安装和部署 Red hat Linux 基础环境搭建 上机实验 Hadoop 单机系统版本 安装配置 上机实验 Hadoop 集群系统版本 安装和启动配置 上机实验 Hadoop 集群异常 Debug 方法 Hadoop 集群简单测试方法 使用 Hadoop MapReduce Streaming 快速测试系统第 4 个主题：Hadoop 组件详解