HBase技术平台概述.pdf

技术创新，变革未来 HBase技术平台概述 内容 HBase介绍 HBase在hadoop生态中的位置 HBase优缺点 HBase体系结构 HBase表逻辑结构 HBase是什么 HBase——Hadoop Database 建立在HDFS之上的数据库系统 分布式 存储松散数据 HBase是Google Bigtable的开源实现 HBase特点 大：单表可以数十亿行，数百万列 无模式：同一个表的不同行可以有截然不同的列 面向列：存储、检索均面向列 稀疏：空列不占用存储，表可以设计的非常稀疏 多版本：每个单元中的数据可以有多个版本，默 认情况下版本号是单元格插入时的时间戳 数据类型单一：数据都是字节，没有类型 HBase在hadoop生态体系中的位置 HBase在hadoop生态体系中的位置 HBase VS HDFS 两者都具有良好的容错性和扩展性，都可 以扩展到成百上千个节点 HDFS适合批处理场景 不支持随机查找 不支持数据更新 HBase是对HDFS很好的补充 HBase VS Hive 两者都有表、数据库等概念 两者都依赖HDFS做存储支持 Hive为统计分析而生 HBase要满足实时查询需求 Hive面向计算层面 HBase面向存储需求 HBase优点 高可靠 面向列 （列存储） 高性能 可伸缩 （自动切分、迁移） 可扩展，增加计算和存储能力 HBase缺点 通过行键和行键序列来检索数据最高效 仅支持单行事务 HBase列存储 列存储较适用于： 海量数据中只需要访问某几个列 的数据 海量数据中某几列的统计计算 需要经常对表结构新增字段 列中有较多的重复数据，可以提 高压缩率 HBase体系结构 HBase体系结构 遵从主从服务器架构，由RegionServer和 Master构成 Master负责管理所有的RegionServer 所有服务器通过Zookeeper协调，并处理 服务器运行期间可能遇到的错误 HBase体系结构——重要概念 HBase Client Master RegionServer Zookeeper HBase Client Client使用RPC与Master和RegionServer通信 管理类操作，Client与Master通信 数据读写类操作，Client与RegionServer通信 Client读写HBase上数据不需要与Master交互， 只需要寻址访问Zookeeper和RegionServer Client维护着Region的位置信息加快对HBase的 访问 Master 为RegionServer分配Region 负责RegionServer的负载均衡 在Region Split后，负责新Region的分配 发现失效的RegionServer，并重新分配其 上的Region 仅仅维护Table和Region的元数据信息，负 载很低 RegionServer 管理Master分配给它的Region 处理Client的I/O请求，数据保存在HDFS中 负责切分在运行过程中变得过大的Region Zookeeper 保证任何时候，集群中只有一个Active Master 存储所有Region的寻址入口 实时监控RegionServer的状态，将 Reg