分布式文件系统中图片与读取机制及高可用架构设计.pdfVIP

  • 2
  • 0
  • 约1.4千字
  • 约 2页
  • 2026-08-05 发布于北京
  • 举报

分布式文件系统中图片与读取机制及高可用架构设计.pdf

文件的上传都给搞定了,假设一个,先从NameNode获取两台机器作为多副本的

机器,得根据机器的资源排序,优先选择那些资源数据量最少的机器,可以保持机

器之间的量的平衡

接下来就可以依次通过NIO跟两台机器来通信,把文件给上传上去

两台机器需要主动去NameNode说自己收到了这个文件,每个文件有几个副本,每个

副本是在哪台机器上。DataNode突然重启,快速重启,此时不需要管;如果NameNode自

己突然重启,会要求各个DataNode重新上报;如果是集群从0开始重启,NameNode

优雅关闭,接下来自然重启,就会重建所有的元数据

NameNode会fsimage和editlog重建自己的内存文件目录树,各个DataNode还会上报自己

的信息上去,NameNode就知道这个分布式文件系统的完整文件目录树,有哪些目录和

哪些文件,每个文件有几个副本,每个副本在哪些机器上

NameNode都是知道的

创建目录、上传文件-元数据管理机制+多副本分布式机制

文件

(1)首先当然是应该找NameNode去获取这个文件某个副本所在的机器,其实比如说有两

台机器有两个副本,此时NameNode只要告诉人家客户

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档