大数据平台简介课件.pptx

大数据平台简介;;Hadoop生态系统;Hadoop 1.0 V 2.0;Hadoop生态系统;HDFS－Hadoop Distributed File System;Yarn－资源管理器;MapReduce－分布式并行计算框架;Spark－新一代大数据处理计算引擎;HBase－NoSQL数据库;Hive－hadoop的数据仓库;Pig－大规模数据分析平台;Mahout－机器学习算法库;Zookeeper－分布式协调服务;Sqoop－Hadoop与关系数据库间的数据同步工具;Flume－分布式日志采集工具;Amari－Hadoop集群安装部署监控工具;Hadoop主流厂商;大数据领域的三驾马车;Cloudera Distribution Hadoop(CDH) ;Hortonworks Data Platform (HDP) ;MapR Converged Data Platform;Hadoop主流厂商比较;云服务集团;HDFS;相关背景资料;Hadoop和HDFS的关系;HDFS背景介绍;集群;HDFS是什么;HDFS特点;HDFS的局限性;HDFS现在遇到的主要问题;;总体架构图-Client;HDFS的基本结构之?NameNode;HDFS元数据持久化;HDFS元数据持久化;HDFS的基本结构之?DataNode;数据组织;数据复制;副本策略;DataNode;HDFS稳??性;HA架构解决的问题;HA架构图;HA架构-快速failover;两种HA方案对比;HA方案-NFS;HA方案-QJM;HA方案-QJM;HDFS可访问性;读文件;写文件;回收存储空间;HDFS常用shell;ls 使用方法：hadoop fs -ls args 查看目录下文件 lsr 使用方法：hadoop fs -lsr args 递归查看文件 mkdir 使用方法：hadoop fs -mkdir [-p] paths 创建目录，-p参数是创建各级父目录 touchz 使用方法：hadoop fs -touchz URI [URI …] 创建一个0字节的空文件。 ;HDFS常用shell;HDFS常用shell;HDFS常用shell;HDFS常用shell;HDFS常用shell;hdfs fsck命令;MapReduce;来源;MapReduce是什么;MapReduce计算框架;MapReduce编程模型;MapReduce-纸牌游戏;MapReduce-基本思想;MapReduce-基本思想;MapReduce-工作原理;MapReduce-工作原理;MapReduce-适用场景;MapReduce程序－ wordcount;wordcount概述;MapReduce工作过程;Input－Mapper;Mapper阶段;Combine阶段;Reducer阶段;Hadoop MapReduce工作过程;Yarn;Hadoop MapReduce V1架构;Hadoop MapReduce V1组成;Hadoop MapReduce V1问题;Yarn架构原理;Yarn架构原理;Yarn架构原理;Yarn工作流程;Yarn工作流程;Hive;Hive简介-Hive是什么？;Hive简介-Hive的历史由来;;Hive体系结构-Hive设计特征;Hive体系结构;Hive体系结构;Hadoop;Hive的应用场景-Hive的优势;Hive的优势-上百行MR程序与一条HQL的对比;Hive的应用场景-Hive的缺点;Hive的应用场景;Hive开发使用-Hive的连接;Hive开发使用-Hive的数据模型;;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据模型;Hive开发使用-Hive的数据存储模型;Hive开发使用-Hive创建数据表命令;Hive开发使用-Hive加载数据命令;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-Hive创建数据表命令示例;Hive开发使用-数据导出命令;Hive开发使用-数据导出命令;Hive开发使用-数据导出命令;Hive开发使用-数据查询命令;Hive开发使用-数据表连接命令;Hive开发使用-数据