云计算之Hadoop3学习课件.pptVIP

Hbase实现：region数据结构 Hlog 预写日志，记录提交的region更新操作 Memcache regionserver对region更新的缓存 Store集合 Region的持久化存储，一个store集合对应一个列族 Memcache达到阈值就刷一个索引文件到store集合中 Hbase实现:系统结构 Hbase访问：客户端 Java客户端 通过Hbase提供的java API 非Java客户端 通过Thrift server和REST server Shell（类SQL shell）：通过HQL MR通过TableInput/OutputFormat接口 Hbase访问：元数据 客户端通过ZK获取root表信息 访问root表获取meta region的信息 访问meta region，获取用户region的信息 客户端直接访问用户region所在的region server 客户端缓存元数据信息 缓存失效则重新获取元数据 Hbase访问：读写 写请求 写请求首先提交到预写日志Hlog 同一region服务器上所有region的写请求提交到同一Hlog 数据写入region服务器的memcache Cache满则将其内容持久化到文件系统 Hlog存储在HDFS上，为了容错 读