Hadoop大数据开发基础 第2版 配套课件.pptx

Hadoop大数据开发基础 第2版 配套课件;第1章 Hadoop介绍 第2章 Hadoop集群的搭建及配置 第3章 Hadoop基础操作 第4章 MapReduce编程入门 第5章 MapReduce进阶编程 第6章 Hive数据仓库 第7章 HBase分布式数据库 第8章 项目案例：电影网站用户影评分析;第1章 Hadoop介绍;大数据时代下，针对大数据处理的新技术也在不断地开发和运用中，并逐渐成为数据处理挖掘行业广泛使用的主流技术之一。在大数据时代，Hadoop作为处理大数据的分布式存储和计算框架，在国内外大、中、小型企业中已得到了广泛应用。学习Hadoop技术是从事大数据行业工作必不可少的一步。 本章将主要介绍Hadoop分布式框架的理论知识。 首先介绍Hadoop框架及其发展历史、特点，并重点讲解Hadoop的3大核心组件HDFS、YARN和MapReduce。 接着对Hadoop生态系统中的组件进行简单的介绍，包括组件的特点和应用。 最后简要介绍Hadoop的应用场景。 ;;在使用Hadoop的核心组件之前，首先需要对Hadoop框架的理论知识有一定的了解。 本小节的任务是了解Hadoop框架及其发展历史、特点，带领读者走进Hadoop。 ; Hadoop由Apache基金会开发， 、 、 、 的分布式系统基础架构或框架。 ;什么是Hadoop;了解Hadoop发展历史;了解Hadoop的特点;;Hadoop有3大核心组件，分别是分布式文件系统HDFS、分布式计算框架MapReduce和集群资源管理器YARN。 本小节的任务是介绍Hadooop的3大核心组件，了解不同核心组件的架构和工作原理，为后续深入学习Hadoop奠定基础。;HDFS是以分布式进行存储的文件系统，主要负责集群数据的存储与读取。 HDFS是一个主/从（Master/Slave）体系架构的分布式文件系统。 HDFS架构如图所示。;了解分布式文件系统——HDFS;HDFS作为一个分分布式系统可以划分成多个子系统或模块，各自运行在不同的机器上，子系统或模块之间通过网络通信进行协作，实现最终的整体功能。利用多个节点共同协作完成一项或多项具体业务功能的系统即为分布式系统。 分布式文件系统，主要体现在3个方面。;数据存储在文件系统中，如果某个节点宕机了，那么很容易造成数据流失。;了解分布式文件系统——HDFS;了解分布式文件系统——HDFS;了解分布式文件系统——HDFS;了解分布式文件系统——HDFS;MapReduce是Hadoop的核心计算框架，是用于大规模数据集（大于1TB）并行运算的编程模型，主要包括Map（映射）和Reduce（规约）两个阶段。 MapReduce的核心思想是，当启动一个MapReduce任务时，Map端将会读取HDFS上的数据，将数据映射成所需要的键值对类型并传至Reduce端。Reduce端接收Map端键值对类型的中间数据，并根据不同键进行分组，对每一组键相同的数据进行处理，得到新的键值对并输出至HDFS。;一个完整的MapReduce过程包含数据的输入与分片、Map阶段数据处理、ShuffleSort阶段数据整合、Reduce阶段数据处理、数据输出等阶段。;了解分布式文件系统——HDFS;了解分布式文件系统——HDFS;了解分布式文件系统——HDFS;MapReduce的本质 将一组键值对K1,V1经过Map阶段映射成新的键值对K2,V2，接着经过Shuffle/Sort阶段进行排序和整合，最后经过Reduce阶段，将整合后的键值对组进行规约处理，输出新的键值对K3,V3。;MapReduce映射实例;YARN是Hadoop的资源管理器，提交应用至YARN上执行可以提高资源在集群的利用率，加快执行速率。 Hadoop YARN的目的是使得Hadoop数据处理能力超越MapReduce。 YARN的另一个目标就是拓展Hadoop，使得YARN不仅可以支持MapReduce计算，而且还可以很方便地管理如Hive、HBase、Pig、Spark/Shark等组件的应用程序。;YARN的基本组成结构 YARN主要由ResourceManager、NodeManager、ApplicationMaster和Client Applicat