Hadoop架构简介82课件讲解.pptxVIP

Hadoop架构简介

1.了解Hadoop生态系统的组成

2.了解Hadoop的各组件的功能

Hadoop生态系统

●Hadoop—HDFSHDFS(HadoopDistributedFileSystem)Hadoop分布式文件系统，是Hadoop项目的核心组件，对海量数据进行存储与管理，实现将文件分布式存储在很多的服务器上。●NameNode负责存储和管理文件系统的元数据，比如文件名、文件属性、文件目录结构、节点信息等。●SecondaryNameNode用于同步元数据信息，减轻NameNode工作负载。●DataNode在本地文件系统存储文件块数据，以及块数的校验。

●Hadoop—MapReduceMapReduce是一个分布式计算框架，主要负责分布式并行计算，可以将用户编写的业务逻辑代码和自带默认组件整合成一个完整的的分布式运算程序，并发运行在一个Hadoop集群上。●Map（映射）并行加载数据源，并对数据按照特定逻辑进行切分。●Reduce（规约）对Map阶段结果进行汇总。

●Hadoop—YarnYarn是一个资源调度管理框架，负责将系统资源分配给在Hadoop集群中运行的各种应用程序，并调度在不同集群节点上执行的任务。●ResourceManager负责整个系统的资源管理和分配。●NodeManager单物理节点上的资源管理。●ApplicationMaster数据切分、为应用程序申请资源。●Container封装了内存、CPU等资源以及环境变量、启动命令等任务运行相关的信息。

●Hadoop—HBaseHbase（HadoopDatabase）是一个分布式的、面向列的开源数据库，也是一款比较流行的NoSQL数据库。HBase在Hadoop之上提供了类似Bigtable的能力，主要解决非关系型数据库的数据存储问题。

●Hadoop—HiveHive是基于平面文件构建的分布式数据仓库，管理存储在HDFS中的数据，提供了基于SQL的查询语言HQL，用于查询和分析存储在Hadoop中的大规模数据。

●Hadoop—FlumeFlume是Cloudera提供的一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的软件。Flume的功能是把数据从数据源收集过来，将收集到的数据进行简单处理，再送到指定的目的地。

●Hadoop—SqoopSqoop（SqltoHadoop）是数据接口，主要用于关系型数据库（MySQL、Oracle等）和Hadoop之间数据的传输。它可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS中的数据导出到关系型数据库。

●Hadoop—PigPig是一个基于Hadoop的大规模数据分析平台，定义了一种类似于SQL的数据流语言-PigLatin，提供了各种操作符，程序员可以利用它们开发自己的用于读取、写入和处理数据功能的程序。

●Hadoop—MaboutMahout是机器学习和数据挖掘的一个分布式框架，它是基于Hadoop上的，用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。

●Hadoop—ZooKeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，主要是用来解决分布式应用中经常遇到的一些数据管理问题，提供的功能包括：配置维护、域名维护、分布式同步、组服务等。

Hadoop架构简介

1.Hadoop生态系统

2.Hadoop相关组件