Hadoop生态系统基本介绍课件.ppt

Hadoop生态系统基本介绍;第一章 课程简介;课程介绍;第二章Hadoop发展历程;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop生态系统 总结;我们处在一个海量数据的时代;我们处在一个海量数据的时代;淘宝双11当天的营业额？;淘宝双11全记录;数据就是价值;数据处理的可扩展性受限;Why Hadoop？ Hadoop简史 Hadoop版本;Hadoop的史前;早期Hadoop;Hadoop 大事记;Hadoop 大事记;Why Hadoop？ Hadoop简史 Hadoop版本;Hadoop版本;CDH版本;HDP版本;第二章Hadoop各组件介绍;第二章Hadoop各组件介绍;核心 Hadoop组件;Hadoop 生态系统;HDFS 特性;经典 HDFS 架构;传统的HDFS架构概述;基于QJM的HDFS HA架构概述;写文件流程;读文件流程;Hadoop 生态系统;如何理解mapreduce过程？;MapReduce是什么?;MapReduce是什么？(cont’d);MapReduce v1架构概述;MapReduce：流程图;;;;MapReduce 2 —— YARN;MRv2 系统架构(cont’d);Hadoop 生态系统之Hive; Hive;;Hadoop 生态系统之zookeeper;Zookeeper简介;Zookeeper角色;Zookeeper同步流程;Hadoop生态系统之Flume;Flume;Flume架构 ;Kafka分布式消息系统?;Kafka架构?;Hadoop 生态系统之Hbase;HBase 简介;HBase的体系架构;Client： HBase Client使用HBase的RPC机制与HMaster和HRegionServer进行通信，对于管理类操作，Client与HMaster进行RPC；对于数据读写类操作，Client与HRegionServer进行RPC Zookeeper Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。此外，Zookeeper也避免了HMaster的单点问题，见下文描述 Hmaster： HMaster没有单点问题，HBase中可以启动多个HMaster，通过Zookeeper的Master Election机制保证总有一个Master运行，HMaster在功能上主要负责Table和Region的管理工作： 1. 管理用户对Table的增、删、改、查操作 2. 管理HRegionServer的负载均衡，调整Region分布 3. 在Region Split后，负责新Region的分配 4. 在HRegionServer停机后，负责失效HRegionServer 上的Regions迁移 ;Hbase的存储结构;QA？;谢谢！