HBase源码分析-趋势科技.pdfVIP

HBase 源码分析 1-RPC 机制 HBase 采用了和Hadoop 相同的RPC 机制,作为它的主要通信手段. 这是一个轻量的,不同于Java 标准的RMI 的一种方式.所以它的实现必须克服一些问题.如: 1) 如何分配RPC 角色和通信信道,使得RPC 通信可以实现. 2) 通信接口或协议的内容 3) 如何传输对象(Object),即序列化. 4) 传输,并发及会话控制 5) 其它的保障,如出错,重试等. Question1: RPC 角色 对于第一个问题,首先要确定RPC 通信的角色.请参看下表. HBase 通信信道 HBase 的通信接口 客户端 服务端 HBase Client Master Server HMasterInterface HBase Client Region Server HRegionInterface Region Server Master Server HMasterRegionInterface HMaster Server HMasterInterface HBase Client HMasterRegionInterface HRegionInterface HRegion Server HBase RPC 有明显的客户端和服务端之分. 由 HBase Client,Region server(HRegionServer), Master server (HMaster)三者组成了三个信道.最右边的一列是通信两端之间约定的通信接口.客户端调用这个接口,而服 务端实现这个接口. 所以最基本的工作流程就是 1) 客户端取得一个服务端通信接口的实例. 2) 客户端调用这个实例中的方法 3) 客户端向服务端传输调用请求 4) 服务端接口实现被调用 5) 服务端向客户端传输结果 Client Server RPC 那么除此之外的通信是不存在的吗?比如 Master 向 Region server 发出请求.答案是—否,原因很简单,一个 Master server 的实例也可以以HBase Client 的角色来访问Region Server, 即调用它的HRegionInterface 接口.事实上确实如此,Master 必须调用Region server 的接口来完成它的工作. 但是有一点可以确定的,没有Master server 向Region server 主动发布命令的接口, 而只有Region server 主动向Master server 报告和获取命令的接口,即HMasterRegionInterface. Question2: 通信协议 HBase 解决第二个问题,要参考三个通信接口.这三者可以说是HBase 架构的基因 HMasterInterface 1) HMasterInterface 由Master server(HMaster)实现, 相当于是总管,所以它提供的方法归纳为 a) 对表的增删改(CUD)的操作,及对表上线(enable),下线(disable,delete)的操作 b) 对表的列的增删改(CUD)操作 c) 关闭这个HBase 集群(shutdown)和取得集群的状态(getClusterStatus)的方法. 说到底,Master server 在前两项任务上充当了HBase Client 的角色. 只是它比较特别一点,因为它主要操作的是Root 和Meta 表. 这两个表是HBase 数据架构的元数据表 对于HBase Client 来说是如何获得这个实例呢? 请参考o.a.h.hbase.client.HConnection.getMaster()这个方法. HConnectionM