Hadoop大数据平台部署与应用.pptx

Hadoop大数据平台部署与应用主讲：吕震宇主要内容1、Hadoop 生态系统概述以及版本演化2、Hadoop 发行版介绍（开源版）3、Hadoop 安装4、HDFS 上机操作5、HBASE 上机操作6、YARN 上机操作7、MapReduce 上机操作8、SPARK 概述1、Hadoop 生态系统概述以及版本演化Hadoop 1.0 与 Hadoop 2.0HADOOP 1.0HADOOP 2.0MapReduce(data processing)Others(data processing)MapReduce(cluster resource management data processing)YARN(cluster resource management)HDFS(redundant, reliable storage)HDFS(redundant, reliable storage)分布式存储系统 HDFS（Hadoop Distributed File System）提供了高可靠性、高扩展性和高吞吐率的数据存储服务分布式计算框架 MapReduce具有易于编程、高容错性和高扩展性等优点资源管理系统 YARN（Yet Another Resource Negotiator）负责集群资源的统一管理和调度HDFS 架构HDFSClientNameNodeSecondary