Hadoop基础知识培训课件.pptVIP

企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 简介： 江西电信Hadoop批处理平 台共由62台PC服务器构成， 形成物理上独立的3个RACK ，按照功能角色分组，主控 节点、数据节点、Hive接入 节点、元数据节点、监控告 警节点和ETL节点。 主控节点6台 (2台Namenode、1台 Jobtracker、3台 Zookeeper) 数据节点56台 江西电信物理部署的Hadoop集群 。 12 企业信息化部 。 把信息化打造成为中国电信企业核心竞争力之一 第二篇HDFS 一： HDFS简介 二： HDFS 架构 三： 漫画HDFS之读写机制 四： 漫画HDFS之容错性 五： 漫画HDFS之复制策略 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 1 HDFS简介 HDFS(HADOOP DISTRIBUTED FILE SYSTEM)，是一个分布式文件系统。它 是谷歌的GFS提出之后出现的一种用户级文件系统。有一定的容错性， 能提供高吞吐量的数据访问，适合大规模数据集上的应用。 HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解决方案 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 2 HDFS 架构 Block：大文件的存储会被分割为多个block进行存储。默认64MB，每一个 blok会在多个datanode上存储多份副本，默认3份 基 本 概 念 Namenode：主要负责存储一些metadata信息，主要包括文件目录、block 和文件对应关系，以及block和datanote的对应关系 Datanode：负责存储数据，数据以block的形式存在 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 3 HDFS 之漫画读写 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 3 HDFS 之漫画读写（续） 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 3 HDFS 之漫画读写 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 3 HDFS 之漫画读写 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 4 HDFS 之漫画容错 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 4 HDFS 之漫画容错 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 4 HDFS 之漫画容错 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 4 HDFS 之漫画容错 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 5 HDFS 之漫画复制策略 。 24 企业信息化部 。 把信息化打造成为中国电信企业核心竞争力之一 第二篇 MapReduce 一：MapReduce基础 二：MapReduce优劣 三：MapReduce工作原理 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 1 MapReduce基础 MapReduce是一种编程模型，用于大规模数据集的并行计算。核心操作 由Map(映射)和Reduce(归约)组成，极大地方便了编程人员在不会分 布式并行编程的情况下，将自己的程序运行在分布式系统上 典型的MapReduce过程可以细分为Input(Split)、Mappers、(Shuffle/Partition/Sort)、 Reducers和Output等阶段 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 1 MapReduce示例 1.输入端根据输入文本大小进行切片形成适合Map处理的数据片 2.分片后的数据申请Map资源,执行本地单词映射操作 3.通过交换将map生成的结果按照单词进行归并重组 4.重组后的结果，申请Reduce资源，进行单词的合并统计 5.对Reduce的结果进行记录合并生成输出文件 MapReduce 过程示例 ? 对输入的文 本进行单词 统计 ? 对输入的文 本进行单词 统计 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 2 MapReduce 执行过程 从MapReduce在整个Hadoop框架 的位置可以看出作为Hadoop最成熟 的批处理框架，MapReduce起到承 上启下的作用，一方面可以操作 HDFS中的数据，另一方面可以被封 装，提供Hive、Pig这样的上层组件 的调用 。 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 MapReduce优劣 MapReduce的缺点 ? 通过MapReduce这个分布式处理框架，不仅能用于处理大规模数据， 而且能将很多繁琐的细节隐藏起来，比如，自动并行化、负载均衡和 灾备管理等，这样将极大地简化开发者工作 ? MapReduce的伸缩性