Hadoop基础知识培训经典版.pptVIP

企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 2 MapReduce 执行过程 从MapReduce在整个Hadoop框架 的位置可以看出作为Hadoop最成熟 的批处理框架，MapReduce起到承 上启下的作用，一方面可以操作 HDFS中的数据，另一方面可以被封 装，提供Hive、Pig这样的上层组件 的调用 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 MapReduce优劣 MapReduce的缺点 ? 通过MapReduce这个分布式处理框架，不仅能用于处理大规模数据， 而且能将很多繁琐的细节隐藏起来，比如，自动并行化、负载均衡和 灾备管理等，这样将极大地简化开发者工作 ? MapReduce的伸缩性非常好，也就是说，每增加一台服务器，其就 能将差不多的计算能力接入到集群中，而过去的大多数分布式处理框 架，在伸缩性方面都与MapReduce相差甚远。 MapReduce的缺点 ? MapReduce最大的不足则在于，其不适应实时应用的需求，目前还 无法满足用户交互式的需求。 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 3 MapReduce+YARN 精品文档 30 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 第四篇 Hadoop常用组件简介 ：Hadoop常用组件——Hbase简介 ： Hadoop常用组件——Hive简介 ： Hadoop常用组件——Pig简介 ：Hadoop常用组件——Zookeeper简介 ：Hadoop常用组件——Sqoop简介 ：Hadoop常用组件——Hue简介 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 1 Hbase简介 HBase是一个分布式的、多版本的、面向列的开源数 据库 · 利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列 存储、可伸缩、实时读写的数据库系统 利用Hadoop MapReduce来处理HBase中的海量数据 利用Zookeeper作为协同服务 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 HBase 简介（续） ? 大：一个表可以有上亿行，上百万列 ? 面向列：面向列(族)的存储和权限控制， 列(族)独立检索 ? 稀疏：对于为空的列，并不占用存储空 间，因此，表可以设计的非常稀疏 ? 多版本：每条记录中的数据可以有多个 版本 ? 无类型：存在HBase中的数据都是字符 串，无其他类型 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 HBase与RDBMS对比 Hbase的优点 y1 列的可以动态增加，并且列为空就不存储数据,节省存储空间. y2 可以自动切分数据，使得数据存储自动具有水平扩展. y3 可以提供高并发读写操作的支持 Hbase的潜在缺点 y1 不能支持条件查询，只支持按照Row key来查询 y2 暂时不能支持Master server的故障切换,当Master宕机后,整个存储系统就会挂掉 精品文档 HBase RDBMS 数据类型 只有字符串 丰富的数据类型 数据操作 简单的增删改查 各种各样的函数，表连接 存储模式 基于列存储 基于表格结构和行存储 数据保护 更新后旧版本仍然会保留 替换 可伸缩性 轻易的进行增加节点，兼容性高 需要中间层，牺牲功能 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 2 HBase 体系结构 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 Hadoop基础知识培训 江西电信大数据支撑团队 2014年中国电信大数据技术与应用培训 精品文档 2 企业信息化部 精品文档 把信息化打造成为中国电信企业核心竞争力之一 主要内容 第一篇 Hadoop综述 · 第二篇 HDFS 分布式文件系统 第三篇 MapReduce 分布式计算框架 · 第四篇 常用Hadoop组件介绍 3 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 第一篇Hadoop综述 ： 什么是Hadoop ： Hadoop生态系统 ： Hadoop的厂商 ： Hadoop的部署 精品文档 企业信息化部 把信息化打造成为中国电信企业核心竞争力之一 Hadoop是什么? Hadoop是Apache基金会下的一个开源分布式计算平台，以分布式 文件系统(HDFS)和分布式计算框架(MapReduce)为核心，为用户 提供了底层细节透明的分布式基础设施。 yHDFS的高容错性、高伸缩性等优点，允许用户将Hadoop部署 在廉价的硬件上，构建分布式系统。 yM