Hadoop 2.x HDFS高可用架构与双实例机制.pdfVIP

  • 0
  • 0
  • 约2.62千字
  • 约 2页
  • 2026-10-14 发布于北京
  • 举报

Hadoop 2.x HDFS高可用架构与双实例机制.pdf

反正大家之前也看到了,hadoop1.x的时代,基本就是一个namenode,然后挂一个secondary

namenode,就这意思,namenode就是接收元数据变更操作,比如创建目录,创建文件,给

写入文件的数据划分block,给block映射到datanode,类似这些活儿是吧

namenode说白了,就是在自己内存里搞一份元数据,有任何修改就在内存里改改,然后写

一份变更日志到editslog文件里去,不停追加,如果重启,那么就fsimage文件和editslog,

然后editslog与fsimage合并,然后写一份新的fsimage,同时清空editslog,就这原理

所以为了保证editslog不要太大,下次重启时间过长,就会搞一个secondarynamenode,一

般,不停执行checkpoint操作,在另外一台机器上合并fsimage和editslog,然后更新

namenode上的fsimage,清空editslog

同时其实secondarynamenode之前也一直相当于是namenode的冷备份,因为有fsimage的

快照,如果namenode上的元数据破损了,你可以拷贝seco

文档评论(0)

1亿VIP精品文档

相关文档