HADOOP初级培训选编.pptx

Hadoop初级培训;自我介绍;自我介绍;大家互相认识;培训对象;培训安排;第一章 简介;课程介绍;第二章Hadoop解决的问题;课程章节;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop基本概念 总结;Why Hadoop？;我们处在一个海量数据的时代;我们处在一个海量数据的时代;数据就是价值;数据处理的可扩展性受限;磁盘容量和价格都是有利因素;磁盘容量对应的传输性能提升有限;数据访问存在瓶颈;整体式计算扩展性受限;面对这种现状我们应该怎么办;分布式计算兴起;经典分布式计算处理模式;存在数据处理瓶颈;复杂性过高;理想分布式解决方案的属性;理想分布式解决方案的系统需求;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop基本概念 总结;Hadoop的发展简史？;Hadoop的史前;早期Hadoop;Hadoop 成为主流;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop基本概念 总结;核心 Hadoop组件;Hadoop 生态系统;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop基本概念 总结;Hadoop:一个激进的解决方案;Hadoop具有可扩展性;Hadoop如何解决数据访问瓶颈;Hadoop如何解决磁盘性能瓶颈;Hadoop如何解决复杂性;Hadoop如何进行容错;Why Hadoop？ Hadoop简史 Hadoop核心组件 Hadoop基本概念 总结;总结;第三章Hadoop安装;课程章节;Hadoop安装;Hadoop安装练习;Hadoop安装准备;Hadoop安装准备;Hadoop安装;Hadoop安装配置;Hadoop安装配置;Hadoop安装配置;Hadoop安装配置;Hadoop启停;Hadoop安装验证;Hadoop常用起停脚本;Hadoop练习;笑一笑~;第四章HDFS及基本操作;课程章节;HDFS;HDFS;HDFS 特性;HDFS;HDFS设计中的假定;HDFS;;HDFS复制;练习;经典 HDFS 架构;传统的HDFS架构概述;主节点;从节点;Secondary NameNode：注意！;单点故障;当前HDFS架构;;HDFS高可用性;HDFS;写文件流程;写文件流程;机架识别;机架识别;HDFS块复制策略;副本存放与机架关系练习;读文件流程;读文件流程(cont’d));数据损坏处理;数据可靠性与恢复;HDFS;NameNode不是瓶颈;NameNode：内存分配;NameNode:内存分配(cont’d);HDFS;HDFS 文件权限;Hadoop安全概述;HDFS;HDFS操作命令参考;Hdfs操作命令练习;HDFS;总结;笑一笑;第五章MapReduce;课程章节;MapReduce;提问时间：红豆绿豆黑豆;MapReduce;MapReduce是什么?;MapReduce：流程图;MapReduce是什么？(cont’d);MapReduce练习;MapReduce是什么?(cont’d);MapReduce;MapReduce的特性;MapReduce;MapReduce: 基本概念;;;;;;MapReduce;MapReduce概念;架构概述;MapReduce作业提交;MapReduce作业提交(cont’d);MapReduce作业提交(cont’d);MapReduce;MapReduce 故障恢复;MapReduce 故障恢复(Cont’d);MapReduce 练习;MapReduce;山东经分云化系统hadoop mapreduce参数配置;MapReduce;MapReduce 2 —— YARN;MRv2 系统架构;MRv2 系统架构(cont’d);MapReduce;总结;同一个问题：mapreduce怎么工作的;第六章Hadoop 任务调度;课程章节;如何管理和调度任务;管理和调度任务;;;查看所有任务(cont’d);显示一个任务的状态;结束一个任务;;练习;管理和调度任务;任务调度基础;FIFO调度;FIFO 调度的优先级;FIFO 调度的问题;管理和调度任务;公平调度的目标;公平调度：基本概念;创建池;添加新池重新调整共享槽位;公平的规则;最小份额分配示例;分配示例2：生产队列为空;分配示例3：MinShares超过槽位数量;分配示例4: minShare 共享槽位数;池子的权重;示例: 权重是2的池子对比;池子中存在多个任务如何处理;池内任务调度;公平调度中的抢占;minShare抢占;Fair Share抢占;管理和调度任务;公平调度步骤配置;启用公平调度;mapred-site.xml基本调度参数;mapred-site.x