课件hbase高级特性之集群.pptxVIP

HBase高级特性之集群复制

HBase高级特性之集群复制—课程概要集群复制简介集群复制的配置集群复制的管理

HBase高级特性之集群复制集群复制简介

集群复制简介—集群复制集群复制 —HBase提供了跨集群之间的数据同步复制 —通过write-aheadlog(WAL)实现 —可以复制主集群中的某些表，或者某些表的某些列族 —主从集群之间采用的是异步同步的方式集群复制提供的功能包括： —备份与灾难恢复 —数据集成 —跨地域的数据分布 —读写分离WAL

集群复制简介—集群复制的原理集群复制采用主集群推送的方式，主集群将数据的修改信息通过WAL日志传送到从集群

HBase高级特性之集群复制集群复制的配置

集群复制的配置—配置前的准备工作准备两套HBase的集群，版本都在0.90以上，最好一致 —./hbaseversion主从集群的机器之间网络是互通的 —ping在主集群的的所有hbase-site.xml中配置集群复制

propertynamehbase.replication/namevaluetrue/value/property

集群复制的配置—配置集群复制在主集群中添加复制点，配置主从集群的复制关系 —./hbaseshell —add_peerIDCLUSTER_KEY —ID：唯一的字符串，尽量不要包含特殊字符 —CLUSTER_KEY:集群键，格式如下： hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent（参数可以参考后面的解释）

示例：add_peer1,master,slave1,slave2:2181:/hbase

集群复制的配置—参数解释hbase.zookeeper.quorum —Zookeeper集群的地址列表 —默认是localhost,是给伪分布式用的 —可以在hbase-site.xml中找到 —如果在hbase-env.sh设置了HBASE_MANAGES_ZK，这些ZooKeeper节点就会和Hbase一起启动。

集群复制的配置—参数解释hbase.zookeeper.property.clientPort —zookeeper客户端连接的端口 —在ZooKeeper的zoo.conf中的配置 —默认:?2181

集群复制的配置—参数解释zookeeper.znode.parent —ZooKeeper中的Hbase的根ZNode。 —默认:/hbase如何查看： —zkCli.sh-serverhost:port2181 —ls/

集群复制的配置—测试集群复制在主集群节点上 —./hbaseshell —createrep7,{NAME=cf1,REPLICATION_SCOPE=1}在从集群节点上 —createrep7,{NAME=cf1’}在主集群节点上 —putrep7,row1,cf1:v1,foo‘ —scan‘rep7’在从集群节点上 —scan‘rep7’

HBase高级特性之集群复制集群复制的管理

集群复制的管理—与集群复制相关的命令add_peer —配置集群复制关系list_peers —查看当前集群的所有复制关系disable_peerID —暂停集群复制，但是会继续跟踪数据的改变日志enable_peerID —启用复制关系

集群复制的管理—与集群复制相关的命令remove_peerID —删除集群复制关系，HBase不再跟踪需要复制的数据enable_table_replicationTABLE_NAME —打开某张表所有列族的复制disable_table_replicationTABLE_NAME —关闭某张表所有列族的复制

集群复制的管理—与集群复制相关的命令append_peer_tableCFslist_replicated_tables,remove_peer_tableCFsset_peer_tableCFsshow_peer_tableCFs

集群复制的管理—查看复制状态监控复制状态 —statusreplication‘校验复制 —./hbaseorg.apache.hadoop.hbase.mapreduce.replication.VerifyReplication1reptable1

集群复制的管理—可用于调优的参数主集群对于同步的数据大小和个数采用默认值会比较大，容易导致备集