hadoo教材p大数据平台部署与应用.ppt

Hadoop大数据平台部署与应用 主讲：吕震宇 主要内容 1、Hadoop 生态系统概述以及版本演化 2、Hadoop 发行版介绍（开源版） 3、Hadoop 安装 4、HDFS 上机操作 5、HBASE 上机操作 6、YARN 上机操作 7、MapReduce 上机操作 8、SPARK 概述 1、Hadoop 生态系统概述以及版本演化 Hadoop 1.0 与 Hadoop 2.0 分布式存储系统 HDFS（Hadoop Distributed File System） 提供了高可靠性、高扩展性和高吞吐率的数据存储服务 分布式计算框架 MapReduce 具有易于编程、高容错性和高扩展性等优点 资源管理系统 YARN（Yet Another Resource Negotiator） 负责集群资源的统一管理和调度 HADOOP 1.0 HADOOP 2.0 HDFS (redundant, reliable storage) MapReduce (cluster resource management data processing) MapReduce (data processing) Others (data processing) YARN (cluster resource management) HDFS (redundant, reliable storage) HDFS 架构 Local Disk NameNode Secondary NameNode HDFS Client Local Disk Local Disk Local Disk Local Disk 心跳、均衡负载、复制等 HDFS 架构 Active Namenode 主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息 配置副本策略；处理客户端读写请求 Secondary NameNode NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode； 当 Active NameNode 出现故障时，快速切换为新的 Active NameNode。 Datanode Slave（有多个）；存储实际的数据块；执行数据块读 / 写 Client 与 NameNode 交互，获取文件位置信息； 与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。 MapReduce 源自于 Google 的 MapReduce 论文 发表于 2004 年 12 月 Hadoop MapReduce 是 Google MapReduce 克隆版 MapReduce特点 良好的扩展性 高容错性 适合 PB 级以上海量数据的离线处理 词频统计的 MapReduce 处理过程 Deer Bear River Car Car River Deer Car Bear Deer，1 Bear，1 River，1 Car，1 Car，1 River，1 Deer ，1 Car，1 Bear，1 Deer Bear River Car Car River Deer Car Bear Bear，1 Bear，1 Car，1 Car，1 Car，1 Deer ，1 Deer ，1 River，1 River，1 Bear，2 Car，3 Deer ，2 River，2 Bear，2 Car，3 Deer ，2 River，2 Input Splitting Mapping Reducing Shuffling Final result Hadoop 构成：YARN（资源管理系统） Application Run Natively IN Hadoop BATCH (MapReduce) YARN (Cluster Resource Management) HDFS2 (Redundant, Reliable Storage) InterActive (Tez) ONLINE (HBase) STREAMING (Storm,S4,…) GRAPH (Giraph) IN-MEMORY (Spark) HPC MPI (OpenMPI) OTHER (Search…) YARN是什么 Hadoop 2.0 新增系统 负责集群的资源管理和调度 使得多种计算框架可以运行在一个集群中 YARN的特点 良好的扩展性、高可用性 对多种类型的应用程序进行统一管理和调度 自带多种多用户调度器，适合共享集群环境 Hadoop 生态系统：1.0 时代 Flume （日志收集） Zookeeper （分布式协调服务） Mahout （数据挖掘库） Hive （数据仓库） Oozie （作业流调度系统） M