- 1、本文档共2页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
18.HBase快照简介
18.1快照的概念
HBase中的快照就是一份元信息的合集。Snapshot的实现不涉及到table实际数据的拷贝,仅仅拷贝一些元数据,比如组成table的region info,表的descriptor,还有表对应的HFile的文件的引用。
可以对table进行Snapshot,也可以利用快照Restore到Snapshot。
Snapshot可以在线做,也可以离线做。
快照是基于文件系统级别的。
快照与表的备份区别:
HBase中存在的备份或克隆表的方法就是使用复制/导出(export/import)表或者在关闭表之后拷贝(distcp)HDFS中的所有HFile。
复制或导出是通过一系列工具调用MapReduce来扫描并复制表,这样会对RegionServer有直接的影响。关闭表会停止所有的读写操作,实际环境中往往无法接受。
相比之下HBase快照允许管理员不拷贝数据,而直接克隆一张表,这对region server产生的影响最小。将快照导出至其他集群不会直接影响到任何服务器;导出只是带有一些额外逻辑的群间数据同步。
18.2快照的优势
导出快照与复制/导出表除了更好地保持一致性外,主要的不同在于导出快照是在HDFS的层面操作的。 这意味着HMaster和域服务器与操作无关。因此不需要为不必要的数据创建缓存空间,也不会有扫描过程。
因为大量对象创建引起的GC暂停,对于HBase 来说主要性能影响就是DataNode额外的网络和磁盘负载。
18.3快照的原理
1.离线快照
离线方式是disabletable,由HBase Master遍历HDFS中的table metadata和hfiles,建立引用。
图18-1 离线快照原理
2.在线快照
在线方式是enabletable,snapshot的过程类似于两阶段提交,prepare和commit阶段。
HMaster收到snapshot命令后,作为coordinator,从meta region中取出表的region和对应的region server的信息,这些region server就作为第二阶段提交的participant,prepare阶段对region server本地表的region做快照存入HDFS的临时目录,commit阶段把HMaster把临时目录改成正确的目录。在此期间,HMaster和region server的数据共享通过ZK来完成。
图18-2 在线快照原理
您可能关注的文档
- 大豆栽培技术 苗期、分枝期田间管理 大豆小地老虎发生及防治措施技术手册.docx
- 大气环境治理技术 大气环境治理技术 教案 第09周.docx
- 移动应用开发基础实训-2017 输入密码对话框图形化界面 输入密码对话框图形化界面实训(实 验) 报 告.doc
- 大食品微创业 拓展训练 国内饮品店经营模式分析.doc
- 移动应用软件开发(基于Android平台)-2017 ListView列表组件 ListView 的使用.docx
- 大数据技术应用 甘特图实现数据可视化 甘特图实现数据可视化电子教案.doc
- 移动应用软件开发(基于Android平台)-2017 申请密钥 申请百度地图密钥-v2.0.docx
- 大数据技术应用(国家) 知识点2:Hadoop核心组件简介 Hadoop核心组件简介.docx
- 移动应用软件开发(基于iOS平台)-2017 系统优点 macOS系统优点 文档.docx
- 大数据技术应用(国家) 知识点2:Region管理 Region管理.docx
文档评论(0)