Hadoop生态系统概述以及版本演化1.pdf

LOGO Hadoop生态系统概述以及版本演化 讲师：董西成 议程 1. Hadoop生态系统特点 2. Hadoop介绍 3. Hadoop生态系统 4. Hadoop生态系统版本衍化 5. 总结 小象科技 2 让你的数据产生价值 Hadoop生态系统 特点  源代码开源（免费）  社区活跃、参与者众多  涉及分布式存储和计算的方方面面  已得到企业界验证 小象科技 让你的数据产生价值 Hadoop 1.0与2.0 1. Hadoop生态系统特点 2. Hadoop介绍 3. Hadoop生态系统 4. Hadoop生态系统版本衍化 5. 总结 小象科技 4 让你的数据产生价值 议程 1. Hadoop生态系统特点 2. Hadoop介绍 3. Hadoop生态系统 4. Hadoop生态系统版本衍化 5. 总结 小象科技 5 让你的数据产生价值 Hadoop介绍 概述 分布式存储系统HDFS （Hadoop Distributed File System ） 分布式存储系统 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 资源管理系统YARN （Yet Another Resource Negotiator ） 负责集群资源的统一管理和调度 分布式计算框架MapReduce 分布式计算框架 具有易于编程、高容错性和高扩展性等优点 小象科技 让你的数据产生价值 Hadoop介绍 概述 MapReduce （分布式计算层） YARN （集群资源管理层） HDFS （分布式存储层） 小象科技 让你的数据产生价值 Hadoop构成 HDFS （分布式文件系统）  源自于Google的GFS论文  发表于2003年10月  HDFS是GFS克隆版  HDFS特点  良好的扩展性  高容错性  适合PB级以上海量数据的存储 小象科技 让你的数据产生价值 Hadoop构成 HDFS （分布式文件系统）  基本原理  将文件切分成等大的数据块，存储到多台机器上  将数据切分、容错、负载均衡等功能透明化  可将HDFS看成一个容量巨大、具有高容错性的磁盘  应用场景  海量数据的可靠性存储  数据归档 小象科技 让你的数据产生价值 Hadoop构成 HDFS （分布式文件系统） 小象科技 让你的数据产生价值 Hadoop构成 YARN （资源管理系统）  YARN是什么  Hadoop 2.0新增系统