[HiC]Clover A NameNode Cluster Version of HDFS(马灿)英文资料.pdf

下载文档 降价啦

5
0
约1.09万字
约 16页
2018-12-09 发布于福建
举报
版权申诉
保障服务

[HiC]Clover A NameNode Cluster Version of HDFS(马灿)英文资料.pdf

1、本文档共16页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

Clover: A NameNode Cluster Version of HDFS 马灿中科院计算所集成应用中心 HiC 2011 @ 12/2/2011 HDFS中NN的问题  现状  单一NN  冷启动过程缓慢，可用性低  元数据服务的扩展性  受制于CPU、内存和网络  随着系统规模扩展，单节点服务压力大  元数据服务的可用性  单一故障点，需要外部HA组件 HiC 2011 已有的NN改进方法  HDFS Federation  多个NN，分离独立的名字空间  共享DN存储池 x 缺乏全局名字空间，互相共享数据困难  HDFS-DNN  使用HBase存储元数据 x 原型系统，无详细信息  HDFS2  分离名字空间与块管理  分布式文件管理，集中式名字空间 x 名字空间服务的扩展性受限，不支持目录rename HiC 2011 Clover的NN Cluster方案  分拆名字空间与块管理到集群上  提供全局名字空间  使用分布式日志确保mkdir, rename, delete等操作的一致性  DN块汇报分流  元数据共享存储池  提供基于多副本的元数据高可靠存储  在NN和BackupNode之间共享元数据文件  支持分布式事务的日志  高可用方法  元数据集群的多机互相热备  全局检查点，缩短冷启动时间 HiC 2011 Bird's-eye View /foo/bar/... /bar/... /foo Checkpointer Shared, Replicated Metadata Storage Pool Metadata Server Metadata Server Metadata Server s p O a BackupNode t a d a t e M t t t Client r r r