HBase Coprocessor优化与实验.pdf

HBase Coprocessor 优化与实验 郭磊涛 2012 年 12月 1 HBase 简介 • HBase是在Hadoop之上构建的非关系型、面向列存储的开源分布式结构化 数据存储系统 • HBase表分区与索引管理 • 将Table 中的数据根据rowKey字段划分为 多个HRegion • HRegion分配给RegionServer管理 三级元数据 ： - MetaTable ：Region与RegionServer的映 射信息 Zookeeper file - RootTable ：MetaTable与RegionServer 的映射信息 HBase元数据信息 - Zookeeper file ： RootTable的存储位置 2 HBase 系统架构 Hmaster管理元数据（表分区， 管理该分区的RegionServer） 通过client读写数据 RegionServer负责Region 数据的存储和读取 HBase的所有数据(Hlog 和Hfile)均存储到HDFS上 HDFS将文件划分为64MB的block，并存储多个副本 3 HBase Coprocessor 简介 • HBase Coprocessor受启发于Google的Jeff Dean在LADIS’09 上的报告 – Google BigTable的Coprocessor特点 • 在每个表服务器的任何tablet上均可执行用户代码 • 提供客户端调用接口 （coprocessor客户端lib将可定位每个row/range的位置；多行读写将自 动分片为多个并行的RPC调用） • 提供可构建分布式服务的灵活的编程模型 • 可以自动扩展，负载均衡等 – 与Google Bigtable Coprocessor相比 • Bigtable coprocessor 以独立的进程执行，可以更好的控制CP计算所需资源 • HBase coprocessor是一个在Master/RegionServer进程内的框架，通过在运行时执行用户的 代码，在HBase内实现灵活的分布式数据处理功能 • HBase Coprocessor的主要应用场景 – secondary indexing – complex filtering – access control 4 Coprocessor 在以下将简称为CP HBase Coprocessor 的实现类型 • HBase Coprocessor的实现分为Observer和Endpoint两种 – Observer类似于触发器，工作在服务器端。可以实现权限管理、监控等