大数据平台简介幻灯片课件.pptx

大数据平台简介;;Hadoop 1.0 V 2.0;Hadoop生态系统;HDFS－Hadoop Distributed File System;Yarn－资源管理器;MapReduce－分布式并行计算框架;Spark－新一代大数据处理计算引擎;HBase－NoSQL数据库;Hive－hadoop的数据仓库;Pig－大规模数据分析平台;Mahout－机器学习算法库;Zookeeper－分布式协调服务;Sqoop－Hadoop与关系数据库间的数据同步工具;Flume－分布式日志采集工具;Amari－Hadoop集群安装部署监控工具;Hadoop主流厂商;大数据领域的三驾马车;Cloudera Distribution Hadoop(CDH) ;Hortonworks Data Platform (HDP) ;MapR Converged Data Platform;Hadoop主流厂商比较;云服务集团;HDFS;相关背景资料;Hadoop和HDFS的关系;HDFS背景介绍;集群;HDFS是什么;HDFS特点;HDFS的局限性;HDFS现在遇到的主要问题;;总体架构图-Client;HDFS的基本结构之?NameNode;HDFS元数据持久化;HDFS元数据持久化;HDFS的基本结构之?DataNode;数据组织;数据复制;副本策略;DataNode;HDFS稳健性;HA架构解决的问题