王家林云计算分布式大数据Hadoop征服之旅：HDFSMapReduceHBaseHive集群管理.docxVIP

一：课程简介：作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生，使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序，从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储，而且Hadoop的运算和存储是可靠的、高效，的、可伸缩的，能够使用普通的社区服务器出来PB级别的数据，是分布式大数据处理的存储的理想选择。本课程会助你深入浅出的掌握Hadoop开发（包括HDFS、MapReduce、HBase、Hive等），并且在此基础上掌握Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，理论结合实际案例；助你轻松驾驭Hadoop以满足大数据的分布式处理与存储。二：课程特色一次性贯通Hadoop开发和集群管理；掌握Hadoop四大焦点：MapReduce、HDFS、HBase、Hive涵盖Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题强调动手实战三：适合对象：软件工程师；数据库开发人员；网络后台开发人员；运维人员；四：基础要求了解Linux系统；了解网络；了解Java；五：讲师简介Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一，Hadoop的狂热爱好者，不断的在实践中用Hadoop解决不同领域的大数据的高效处理和存储，现在正负责Hadoop在搜索引擎中的研发中国电信的多次Hadoop培训，花旗银行的Hadoop内训，金立手机的Hadoop内训等，著有《云计算分布式大数据Hadoop实战高手之路---从零开始》《云计算分布式大数据Hadoop实战高手之路---高手崛起》《云计算分布式大数据Hadoop。实战高手之路---高手之巅》等；Android架构师、高级工程师、咨询顾问、培训专家；通晓Android、HTML5、Hadoop，迷恋英语播音和健美；致力于Android、HTML5、Hadoop的软、硬、云整合的一站式解决方案；国内最早（2007年）从事于Android系统移植、软硬整合、框架修改、应用程序软件开发以及Android系统测试和应用软件测试的技术专家和技术创业人员之一。HTML5技术领域的最早实践者（2009年）之一,成功为多个机构实现多款自定义HTML5浏览器，参与某知名的HTML5浏览器研发；超过10本的IT畅销书作者；六：培训内容时间内容备注第一天第1个主题：Hadoop思考1.Hadoop的设计目标和适用场景2.Hadoop架构解析3.MapReduce工作原理和案例说明第2个主题： Hadoop安装和配置实战1.安装和配置单机版Hadoop实战2.安装和配置伪分布式Hadoop实战3．安装和配置分布式Hadoop集群实战第3个主题：HDFS1.HDFS命令行操作实战2. HDFS的配置管理3. NameNode的工作机制第4个主题：HDFS案例实战1.HDFS案例的分析和设计2.环境搭建3.使用Hadoop Java API实现对HDFS写入、读取、删除文件等操作第5个主题：MapReduce剖析1.MapReduce的原理和运行过程2.构建MapReduce的开发环境第6个主题：MapReduce案例实战1.使用MapReduce的Java接口实现经典的WordCount2.wordcount运行过程解析3. MapReduce实现数据去重操作4. MapReduce实现数据排序5. MapReduce实现数据平均数据的计算时间内容备注第二天第1个主题：HBase架构设计和实现剖析1. HBase架构设计2. HBase中的表结构等3. HBase：Master、Region、Region Server第2个主题：HBase案例实战1---使用HBase实现微博系统1.项目架构和设计2.开发环境搭建3.实现用户登录和注销4.“关注”功能的设计和实现5.“发微博”功能的设计和实现6.发布和运行整个基于HBase的微博系统第3个主题：HBase与MapReduce1. HBase与MapReduce的关系2.HBase如何使用MapReduce第4个主题：HBase案例实战2---话单查询与统计1. 项目架构设计2. 开发环境搭建3. 话单入库和查询的设计与实现4.统计功能的设计与实现第5个主题：MapReduce高级实战1. Split实现剖析2. 自定义输入的实现3. Reduce的partition?4. 案例实战第6个主题：安装和使用Hive1. Hive剖析2. 安装Hive3.Hive的基本使用第7个主题：Hive与HDFS、MapReduce1. Hive向HDFS存入结构化数据2. 使用MySQL作为Hive的元数据库3.