Hadoop生态系统(Part10-HBase)V2.0.pdf

Hadoop生态系统 (第十部分 HBase) 浪潮通信信息系统有限公司 2 HBase的位置 3 目录 1 Hbase概述 2 Hbase逻辑模型 3 Hbase系统架构及实现 4 Hbase编程 5 Hbase数据导入 6 Hbase调优 4 HBASE是什么？ 是Google Bigtable(基于Google File System)的开源山寨版本。是一个建立的Apache HDFS 之上的NoSQL分布式数据库系统具有高可靠性、高性能、列存储、可伸缩、实时读写的特点. 能够利用Hadoop MapReduce来处理HBase中的海量数据. Hbase能干什么 • 存储非结构化数据 • 快速定位查询可伸缩的数据库系统 Hbase适用哪种环境 • Hbase能满足大数据量的随机访问需求 • 与HDFS同属一系能够很方便的以hdfs文件系统 5 HBASE特点 大量数据，高并发随机查询 内存Hold住热数据 • Facebook: 收件箱 水平扩展以提高性 能 • Alipay: 交易记录 海量数据，低并发区段查询 日志数据有序存储 • Facebook ：实时ETL 水平扩展以提高容 量 • Trend Micro ：日志存储 实时统计 原子计数器 • Facebook ：分享插件统计 高并发写入 • StumbleUpon ：广告平台 6 VS 关系数据库 对比项 HBase 关系型数据库 数据类型 HBase只有bytes类型 拥有丰富的数据类型 数据操作 只有很简单的操作，如插入 ，删除等， 各种各样的连接操作，函数。 表跟表是分离的 ，之间没有复杂的关系 数据维护 更新操作时，会将原有数据保留，所以它 直接修改原数据 实际上是插入了新数据 存储方式 基于列存储的，每个列族都有自己的文件 基于表结构和行来存储的 ，不同的列族是分开的