hadoop20架构设计与原理.pptxVIP

;主要内容;主要内容;Hadoop概述;Hadoop的起源;什么是大数据;什么是大数据;大数据VS传统数据;大数据处理流程;Hadoop生态圈;主要内容;HDFS-分布式文件系统;数据块：文件被划分为固定大小的数据块进行存储 数据块缺省为64M，远大于一般文件系统数据块大小 减少元数据的量 有利于顺序读写（在磁盘上顺序存放） 可靠性：数据通过副本的方式保存在多个数据节点上 默认3个副本 副本选择会考虑机架信息以防止整个机架同时掉电 系统设计优化：用单个管理节点来保存文件系统元数据和管理/协调 数据缓存：DataNode没有数据缓存 由于文件的访问是扫描式的，不具有局部性 访问方式 读、写、文件改名、删除等 文件内容不允许覆盖更新 提供一个特殊的访问接口：追加append ;HDFS体系结构;HDFS写文件流程;HDFS读文件流程;什么是MapReduce编程模型？;MapReduce计算框架;MapReduce运行机制;MapReduce原理;MapReduce实例分析;主要内容;Hadoop YARN产生背景;Hadoop 1.0和2.0;主要内容;Hadoop YARN基本架构;Hadoop YARN各模块组成;Hadoop YARN运行流程分析;Hadoop YARN容错;Hadoop YARN调度框架;Hadoop YARN资源调度器;Hadoop YARN资源隔