《深入浅出Hadoop实战开发.docVIP

Hadoop是什么，为什么要学习Hadoop? Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。 Hadoop带有用Java 语言编写的框架，因此运行在 Linux 生产平台上是非常理想的。本课程的讲解是采用linux平台进行模拟讲解，完全基于真实场景进行模拟现实 亮点一:技术点全面,体系完善 本课程在兼顾Hadoop课程知识体系完善的前提下，把实际开发中应用最多、最深、最实用的技术抽取出来，通过本课程，你将达到技术的新高点，进入云计算的美好世界。在技术方面你将彻底掌握基本的Hadoop集群；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作机制；HDFS基本配置管理；MapReduce原理； HBase的系统架构；HBase的表结构；HBase如何使用MapReduce；MapReduce高级编程；split的实现详解；Hive入门；Hive结合MapReduce；Hadoop的集群安装等众多知识点。 亮点二:基础+实战=应用,兼顾学与练 课程每阶段都安排了实战应用项目,以此方便学生能更快的掌握知识点的应用，如在第一阶段,课程结合HDFS应用,讲解了图片服务器的设计、以及如何利用Java API去对HDFS操作、在第二阶段;课程结合HBase实现微博项目的各种功能，使学员可以活学活用。在第三阶段:HBase和MapReduce结合时下了实现话单查询与统计系统，在第四阶段，Hive实战部分，通过实战数据统计系统，使学员在最短的时间内掌握Hive的高级应用。 亮点三:讲师丰富的电信集团云平台运作经验 讲师robby拥有丰富的电信集团工作经验，目前负责云平台的各方面工作，并拥有多年的企业内部培训经验。讲课内容完全贴近企业需求，绝不纸上谈兵。 更多技术亮点参考课程大纲: 341310133了解，欢迎大家进群学习交流。 第1章节: Hadoop背景 HDFS设计目标 HDFS不适合的场景 HDFS架构详尽分析 MapReduce的基本原理 第2章节 Hadoop的版本介绍 安装单机版Hadoop 安装Hadoop集群 第3章节  HDFS命令行基本操作 Namenode的工作机制 HDFS基本配置管理 第4章节 HDFS应用实战：图片服务器(1) - 系统设计 应用的环境搭建 php + bootstrap + java 使用Hadoop Java API实现向HDFS写入文件 节 HDFS应用实战：图片服务器(2) 使用Hadoop Java API实现读取HDFS中的文件 使用Hadoop Java API实现获取HDFS目录列表 使用Hadoop Java API实现删除HDFS中的文件 第6章节 MapReduce的基本原理 MapReduce的运行过程 搭建MapReduce的java开发环境 使用MapReduce的java接口实现WordCount 第7章节 WordCount运算过程分析 MapReduce的combiner 使用MapReduce实现数据去重 使用MapReduce实现数据排序 使用MapReduce实现数据平均成绩计算 第8章节 HBase详细介绍 HBase的系统架构 HBase的表结构，RowKey，列族和时间戳 HBase中的Master，Region以及Region Server 第9章节 使用HBase