“大数据处理Hadoop实战”大纲.docVIP

附件一：“大数据处理Hadoop实战”大纲 课程模块 课程主题 主要内容 模块一 Hadoop的来源和动机 传统大规模系统存在的问题 ●对一种新的解决方案的需求 模块二 Hadoop基本概念 Hadoop概述 Hadoop分布式文件系统 上机实验 MapReduce工作原理 上机实验 Hadoop机群剖析 Hadoop生态系统 模块三 编写MapReduce程序 MapReduce流程 剖析一个MapReduce程序 基本MapReduceAPI概念 驱动代码 Mapper Reducer Hadoop流 ●API使用Eclipse进行快速开发 上机实验 新MapReduceAPI 模块四 集成Hadoop到现有工作流 关系数据库管理系统●存储系统 利用Sqoop从关系型数据库系统中导入数据到Hadoop 上机实验 利用Flume导入实时数据到Hadoop 使用FuseDFS和Hoop访问HDFS 模块五 HadoopAPI深入探讨 ToolRunner介绍 ●使用MRUnit进行测试 利用Combiners来减少中间数据 使用Configure和Close方法来进行Map/Reduce设置和关闭 编写Partitioner来优化负载平衡 上机实验 直接访问Hadoop分布式文件系统（HDFS） 使用分布式缓存（DistributedCache） 上机实验 模块六 常见