HBase-简介.pdf

HBase 简介 数据部：桂宇 目录 1. HBase 简介 2. HBase 体系结构 3. HBase 数据模型 4. HBase 提供的接口 5. HBase 优化 6. HBase 用途 7. 使用技巧 8. 运维技巧 HBase简介 • Hadoop生态系统 成员名 用途 Hadoop Hadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配 Common 置文件和日志操作等。 Avro Avro是doug cutting主持的RPC项目，有点类似Google 的protobuf和Facebook的 thrift 。avro用来做以后hadoop的RPC，使hadoop的RPC模块通信速度更快、数 据结构更紧凑。 Chukwa Chukwa是基于Hadoop的大集群监控系统，由yahoo贡献。 HBase 基于Hadoop Distributed File System，是一个开源的，基于列存储模型的分布 式数据库。 HDFS 分布式文件系统 Hive hive是基于hadoop分布式计算平台上的提供data warehouse 的sql功能的一套 软件。使得存储在hadoop里面的海量数据的汇总，即席查询简单化。hive提 供了一套QL的查询语言，以sql为基础，使用起来很方便。 MapReduce 实现了MapReduce编程框架 Pig Pig是SQL-like语言，是在MapReduce上构建的一种高级查询语言，把一些运算 编译进MapReduce模型的Map和Reduce中，并且用户可以定义自己的功能。 ZooKeeper Zookeeper是Google 的Chubby一个开源的实现。它是一个针对大型分布式系统 的可靠协调系统，提供的功能包括：配置维护、名字服务、分布式同步、组 服务等。ZooKeeper 的目标就是封装好复杂易出错的关键服务，将简单易用的 接口和性能高效、功能稳定的系统提供给用户。 HBase 简介 • HBase是一个分布式的、多版本的、面向列 的开源数据库 – 利用Hadoop HDFS作为其文件存储系统，提供 高可靠性、高性能、列存储、可伸缩、实时读 写的数据库系统。 – 利用Hadoop MapReduce来处理HBase中的海量 数据 – 利用Zookeeper作为协同服务。 HBase 简介 • HBase中表的特点 – 大：一个表可以有上亿行，上百万列（列多时，插入变慢） – 面向列：面向列(族)的存储和权限控制，列(族)独立检索。 – 稀疏：对于为空(null)的列，并不占用存储空间，因此，表 可以设计的非常稀疏。 – 每个cell中的数据可以有多个版本，默认情况下版本号自动 分配，是单元格插入时的时间戳； – HBase中的数据都是字符串，没有类型； HBase 特点 • 强一致性 – 同一行数据的读写只在同一台Region Server上进行 • 水平伸缩 – Region的自动分裂以及Master的balance ； – 只用增加Datanode机器即可增加容量； – 只用增加Region Server机器即可增加读写吞吐量 HBase 特点 • 行事务 – 同一行