HBASE 数据库入门级教程.docxVIP

HBASE 数据库入门级教程 2021-06-02 一、Hbase简介 1、什么是Hbase Hbase是一个高牢靠性（存储在hdfs上，有副本机制），高功能，面对列，非关系型的数据库（类似redis），可伸缩的分布式存储系统（由于是存储在hdfs上），hbase的目标是存储并处理大型的数据，仅需使用一般的硬件，就能够处理由成千上万行和列所组成的大型数据。 Hbase是基于hdfs构建的分布式存储框架，但是Hbase在hdfs上实现随机的读写改，处理了hdfs不支持的东西 它的的特点如下： A、海量存储 B、列式存储 这里的列式存储其实说的是列族存储，Hbase是依据列族来存储数据的，列族下面可以有格外多的列，列族在创建表的时候必需指定 Hbase中的列和mysql的列不是一个东西，Hbase的列就是他的数据 C、极易扩展 Hbase的扩展性次要体现在两个方面，一个是基于上层的梳理力量的扩展（RegionServer，相当于datanode，处理读写恳求），一个是基于存储的扩展（hdfs） 通过横向添加RegionServer的机器，进行水平扩展，提升Hbase上层的处理力量，提升Hbase服务更多的Region的力量。 备注：RegionServer的作用是管理Region）（类似mysql中的表的概念），承接客户端的读写恳求的访问，这个后面会具体的引见通过横向添加datanode的机器，进行存储层的扩容，提升Bhbase的存储力量和提升后端存储的读写力量 D、稀疏 稀疏次要是针对于hbase列的机警性，在列族中，你可以指定任意多的列，在列数据为空的情况下，是不会占用存储空间的，这里和mysql等数据库不一样，mysql假如每个字段没有值，那这个字段的值为null，不为空，且会占用存储空间 2、Hbase的架构 Hbase的架构示意图 Hbase由HMaster和HRegionServer组成，HMaster的高可用也依靠于zk，类似于hdfs中的Namenode; HRegionServer相当于hdfs中的datanode，实际处理读写恳求的节点; a、Zookeeper HBase通过zk来做Hmaster的高可用，RegionServer的监控，元数据的入口以及集群配置的维护等工作，具体工作入下 通过zk来保证集群中只要一个master在运转，假如master特别，会通过竞争机制产生新的master供应服务 通过zk来监控RegionServer的形态，当RegionServer有特别的时候，通过回调的方式通知master,RegionServer上下线的信息 通过zk存储元数据的统一入口地址； b、HMaster 为RegionServer安排Region 维护集群的负载均衡，就是安排Region 维护集群的元数据信息 发觉失效的Region，并将失效的Region安排到正常的RegionServer上 当RegionServer失效的时候，协调对应的Hlog和hdfs的block进行数据恢复 C、HRegionServer HRegionServer直接对接用户的读写恳求，是真正的干活的节点，他的功能概括如下 管理master为其安排的Region 处理来自客户端的读写恳求 担任和底层hdfs的交互，存储数据到hdfs中 担任Region变大后的拆分 担任Storefile的合并工作 D、HDFS Hdfs为hbase供应最终的底层数据存储服务 供应元数据和表数据的底层分布式存储服务 数据的多副本，保证高牢靠和高可用 E、Hlog 一个HRegionServer中只要一个Hlog，Hlog相当于hdfs中的edits文件，保存Hbase的修改记录，当对Hbase写数据的时候，数据不是直接写进磁盘，他会在内存中保留一段时间（时间i将数据量的阈值可以设定）。但把数据保存在内存中可能有更高的概率引起数据丢失，为了处理这个问题，数据会先写在一个叫做Hlog的文件中，Hlog存储在磁盘上，也位于hdfs上，然后在写入内存，所以在系统消灭毛病或者内存丢失的时候，数据可以通过这个日志文件进行重建 F、Region Region相当于mysql中的表，一个HRegionServer可以有多个Region，一个HRegionServer会有多个Region；假如表的数据太大，会进行拆分，依据数据量平均切分，全部HBase中的一张表会对应一个或者多个Region，当表的内容很小，一张表就对应一个Region，假如表很大的话，则这个Region会切分，切分Region会同时拆分这个Region的全部Store。 G、Store Store相当于列族，通俗的讲就是列的家族，在hbase中，想创建一个列，必需要指定列族，也就