大数据技术与应用基础第3章Hadoop础述.pptxVIP

能力 CAPACITY 要求 了解什么是Hadoop。 理解Hadoop的基本原理。 了解Hadoop社区各攻击的作用。 掌握Hadoop单机和集群的安装配置。 Hadoop原理 Hadoop概述 Hadoop安装与配置 Hadoop生态系统简介 一、Hadoop概述 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储[2]。 现将各个主流的发行版本介绍如下; Cloudera：最成型的发行版本，拥有最多的部署案例 Hortonworks：100%开源的Apache Hadoop唯一提供商。 MapReduce：与竞争者相比，它使用了一些不同的概念，特别是为了获取更好的性能和易用性而支持本地UNIX文件系统而不是HDFS（使用非开源的组件）。 Amazon Elastic Map Reduce（EMR）：区别于其他提供商的是，这是一个托管的解决方案，其运行在由Amazon Elastic Compute Cloud（Amazon EC2）和AmzonSimple Strorage Service（Amzon S3）组成的网络规模的基础设施之上。 Hadoop概述 Hadoop原理 Hadoop安装与配置 Hadoop生态系统简介 二、Hadoop原理 Hadoop HDFS原理 Hadoop MapReduce原理 Hadoop YARN原理 二、 Hadoop原理 Hadoop HDFS原理 HDFS采用了主从(Master/Slave)架构，一个集群有一个Master和多个Slave，前者称为名字节点 (NameNode)，后者称为数据节点 (DataNode)。 （1）Client端发送一个添加文件到HDFS的请求给NameNode； （2）NameNode告诉Client端如何来分发数据块以及分发的位置； （3）Client端把数据分为块（block），然后把这些块分发到DataNode中； （4）DataNode在NameNode的指导下复制这些块，保持冗余。 二、 Hadoop原理 Hadoop Mapreduce原理 MapReduce是Google公司于2004年提出的能并发处理海量数据的并行编程模型，其特点是简单易学、适用广泛，能够降低并行编程难度。 MapReduce将复杂且运行在大规模集群上的并行计算过程抽象到两个函数：Map和Reduce。Map和Reduce处理数据的主要思想是：将待处理数据集分解成许多小的数据集，所有小的数据集可以完全并行的进行处理。 MapReduce框架包括一个主节点（ResourceManager）、多个子节点（NodeManager）和MRAppMaster（每个任务一个）共同构成。 二、 Hadoop原理 Hadoop Mapreduce原理 Map阶段： （1）InputFormat根据输入文件产生键值对，并传送到Mapper类的map函数中； （2）map输出键值对到一个没有排序的缓冲内存中； （3）当缓冲内存达到给定值或者map任务完成，在缓冲内存中的键值对就会被排序，然后输出到磁盘中的溢出文件； （4）如果有多个溢出文件，那么就会整合这些文件到一个文件中，且是排序的； （5）这些排序过的、在溢出文件中的键值对会等待Reducer的获取。 二、 Hadoop原理 Hadoop Mapreduce原理 Reduce阶段 Reducer获取Mapper的记录，然后产生另外的键值对，最后输出到HDFS中； shuffle相同的key被传送到同一个的Reducer中； 当有一个Mapper完成后，Reducer就开始获取相关数据，所有的溢出文件; 会被排序到一个内存缓冲区中； 当内存缓冲区满了后，就会产生溢出文件到本地磁盘； 当Reducer所有相关的数据都传输完成后，所有溢出文件就会被整合和排序； Reducer中的reduce方法针对每个key调用一次； (7)Reducer的输出到HDFS。 二、 Hadoop原理 Hadoop YARN原理 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。 YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）进行分离，主要方法是创建一个全局的ResourceManager（RM）和若干个针对应用程序的ApplicationMaster（AM）。这里的应用程序是指传统的MapReduce作业或作业的DAG（