厦大大数据技术原理与应用第四章分布式数据库HBase.ppt

4.4.3 Region的定位客户端访问数据时的“三级寻址”为了加速寻址，客户端会缓存位置信息，同时，需要解决缓存失效问题寻址过程客户端只需要询问Zookeeper服务器，不需要连接Master服务器4.5 HBase运行机制4.5.1 HBase系统架构4.5.2 Region服务器工作原理4.5.3 Store工作原理4.5.4 HLog工作原理4.5.1 HBase系统架构图4-9HBase的系统架构4.5.1 HBase系统架构1.客户端客户端包含访问HBase的接口，同时在缓存中维护着已经访问过的Region位置信息，用来加快后续数据访问过程2.Zookeeper服务器Zookeeper可以帮助选举出一个Master作为集群的总管，并保证在任何时刻总有唯一一个Master在运行，这就避免了Master的“单点失效”问题Zookeeper是一个很好的集群管理工具，被大量用于分布式计算，提供配置维护、域名服务、分布式同步、组服务等。4.5.1 HBase系统架构3.Master主服务器Master主要负责表和Region的管理工作：管理用户对表的增加、删除、修改、查询等操作实现不同Region服务器之间的负载均衡在Region分裂或合并后，负责重新调整Region的分布对发生故障失效的Region服务器上的Region进行迁移4.Region服务器Region服务器是HBase中最核心的模块，负责维护分配给自己的Region，并响应用户的读写请求4.5.2 Region服务器工作原理图4-10Region服务器向HDFS文件系统中读写数据1.用户读写数据过程2.缓存的刷新3.StoreFile的合并4.5.2 Region服务器工作原理1.用户读写数据过程用户写入数据时，被分配到相应Region服务器去执行用户数据首先被写入到MemStore和Hlog中只有当操作写入Hlog之后，commit()调用才会将其返回给客户端当用户读取数据时，Region服务器会首先访问MemStore缓存，如果找不到，再去磁盘上面的StoreFile中寻找4.5.2 Region服务器工作原理2.缓存的刷新系统会周期性地把MemStore缓存里的内容刷写到磁盘的StoreFile文件中，清空缓存，并在Hlog里面写入一个标记每次刷写都生成一个新的StoreFile文件，因此，每个Store包含多个StoreFile文件每个Region服务器都有一个自己的HLog文件，每次启动都检查该文件，确认最近一次执行缓存刷新操作之后是否发生新的写入操作；如果发现更新，则先写入MemStore，再刷写到StoreFile，最后删除旧的Hlog文件，开始为用户提供服务4.5.2 Region服务器工作原理3.StoreFile的合并每次刷写都生成一个新的StoreFile，数量太多，影响查找速度调用Spact()把多个合并成一个合并操作比较耗费资源，只有数量达到一个阈值才启动合并4.5.3 Store工作原理图4-11StoreFile的合并和分裂过程Store是Region服务器的核心多个StoreFile合并成一个单个StoreFile过大时，又触发分裂操作，1个父Region被分裂成两个子Region4.5.4 HLog工作原理分布式环境必须要考虑系统出错。HBase采用HLog保证系统恢复HBase系统为每个Region服务器配置了一个HLog文件，它是一种预写式日志（WriteAheadLog）用户更新数据必须首先写入日志后，才能写入MemStore缓存，并且，直到MemStore缓存内容对应的日志已经写入磁盘，该缓存内容才能被刷写到磁盘4.5.4 HLog工作原理Zookeeper会实时监测每个Region服务器的状态，当某个Region服务器发生故障时，Zookeeper会通知MasterMaster首先会处理该故障Region服务器上面遗留的HLog文件，这个遗留的HLog文件中包含了来自多个Region对象的日志记录系统会根据每条日志记录所属的Region对象对HLog数据进行拆分，分别放到相应Region对象的目录下，然后，再将失效的Region重新分配到可用的Region服务器中，并把与该Region对象相关的HLog日志记录也发送给相应的Region服务器Region服务器领取到分配给自己的Region对象以及与之相关的HLog日志记录以后，会重新做一遍日志记录中的各种操作，把日志记录中的数据写入到MemStore缓存中，然后，刷新到磁盘的StoreFile文件中