HBase专题分析及Hbase-JAVA-API详解.PPT

Client 包含访问HBase的接口，并维护cache来加快对HBase的访问 Zookeeper 保证任何时候，集群中只有一个master 存贮所有Region的寻址入口 实时监控Region server的上线和下线信息。并实时通知给Master 存储HBase的schema和table元数据 Master 为Region server分配region 负责Region server的负载均衡 发现失效的Region server并重新分配其上的region 管理用户对table的增删改查操作 Region Server Region server维护region，处理对这些region的IO请求 Region server负责切分在运行过程中变得过大的region ?HBase 依赖ZooKeeper默认情况下，HBase 管理ZooKeeper 实例比如，启动或者停止ZooKeeper。 Master与RegionServers 启动时会向ZooKeeper注册Zookeeper的引入使得Master不再是单点故障 。 HBase容错性 ?Master容错：Zookeeper重新选择一个新的Master ?无Master过程中，数据读取仍照常进行； ?无master过程中，region切分、负载均衡等无法进行； ?RegionServer容错：定时向Zookeeper汇报心跳，如果一旦时 间内未出现心跳Master将该RegionServer上的Region重新分配到其他RegionServer上； ?失效服务器上“预写”日志由主服务器进行分割并派送给新的RegionServer ?Zookeeper容错：Zookeeper是一个可靠地服务一般配置3或5个Zookeeper实例。 Hbase简介 Hbase特点 基本原理 Hbase架构 应用场景 Hbase Java API应用 * hbase其主要特点是仿照bigtable的列势存储，对于大型的数据的存储，查询比传统数据库有巨大的优势 hbase：适合大型数据存储，其作用可以类比于传统数据库的作用，主要关注的数据的存取。 首先分析一下IO性能。HBase写入有memstore作为缓存，写入时可以忽略LSMT的处理，如果开启WAL，写入操作效率近似于hdfs性能。顺序读取的话，有block catch，它每次加载一个Store file的block，因此这个策略对于顺序读取具有独特的优势，测试的时候单机能有几万的QPS。但是这个策略是随机读取的噩梦，因为当读取足够随机的话，一方面缓存内容会被频繁置换，无法达到缓存的目的，并频繁引发GC； 另一方面，缓存读取过程是读取整个block，然后从block中选出记录，从这一层次来看，每次get实际上并非单纯的key value查找，而是相当于多次二分查找。基于以上两方面，增大内存无法解决根本问题，而用SSD作为二级缓存的话，会浪费较多的io，测试时单机QPS最高25000左右(与之前的测试基于相同的数据特征)。一般的做法是在前端加入memcache这样的纯key value缓存。 综上，我们分析一下HBase的应用场景。 ???????? 首先从数据特征来看适合存储于的数据类型：HBase适合结构化(单纯的、海量的key value)或半结构化的(基于key索引的图片、音乐、二进制文件等)非关系型的数据。举例来说，网页搜索相关数据、软件下载站、各种快照信息、非关系型业务二维表等。 ???????? 然后，从IO来看适合做什么样的处理：HBase适合大规模写入、扫库的业务，对于随机读取，需要特殊处理。举例来说在线业务适合分页的、单表的、无基于列族做排序和分组处理的查询和展现，少量随机查询和展现；离线业务适合更灵活的统计分析处理和报表导出等。 增加hbase节点 具体操作见FAST之hadoophbase分布式集群安装部署手册第五节集群扩展 Hbase其集群同步复制特性：当主集群故障不能提供服务时，就会切换请求到备集群，保障系统整体高可用，备集群的数据能达到和主集群完全一致，业务可以无感知的切换到备集群。 Agenda * * 架构服务部 2017年3月 FAST之HBase专题分析 * Hbase简介 Hbase特点 基本原理 Hbase架构 应用场景 Hbase Java API应用 hbase利用Hadoop HDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。 利用Zookeeper作为协同服务。 Hbase是hadoop的生态系统的一个组成部分 Hbase简介 Hbase简介 HBase