项目4 Hadoop平台及组件部署.pptxVIP

大数据分析与挖掘

Hadoop平台及搭建步骤

01Hadoop是什么02Hadoop生态的核心03HDFS的架构及特点04YARN的架构CONTENTS目录05Hadoop特点

Hadoop是什么？Hadoop是一个由Apache基金会所开发的分布式系统基础架构

HDFSHadoopDistributedFileSystem分布式文件系统YARNYetAnotherResourceNegotiator资源管理调度系统MapReduce分布式运算框架Hadoop生态的核心

HDFS的架构 主从结构主节点namenode从节点：datanodeSecondaryNameNode

HDFS的优缺点优点缺点高可靠性不适合低延迟数据访问高扩展性高效高容错性无法高效存储大量小文件不支持多用户写入及任意修改文件

YARN的架构主从结构主节点ResourceManager（RM）从节点NodeManager(NM)

能可靠的存储和处理海量数据可以通过普通机器组成的服务器集群来分发以及处理数据。hadoop能自动的维护数据的多份副本，并且在任务失败之后能自动重新部署计算任务Hadoop特点扩容能力强成本低效率高

Hadoop平台搭建操作下面我们进入Hadoop部署步骤详解

Hive组件及搭建步骤

01什么是HIVE02HIVE的特点03HIVE的架构04Hive与传统数