HDFS架构:数据容错机制与管理.pdfVIP

  • 1
  • 0
  • 约1.36千字
  • 约 1页
  • 2026-07-03 发布于北京
  • 举报

所以聊到这里,就有一个问题了,你想啊,比如说一个文件拆分成了10个block,分布在10

台机器上,每个机器1个block,看起来还挺美的,但是问题在于说,如果某台机器故

障了呢?那台机器啥故障都可能有,比如说啊,常见的,磁盘故障,网络故障,内存耗尽,

CPU耗尽,或者干脆机器自己宕机了,防不上防啊

所以呢,如果说一个文件少了一个block,就9个block了,那数据了,坑爹,这样人

家文件都没法弄了,咋整呢?所以为了对集群中的各种机器的故障进行容错,有一个关

键的机制,就是副本机制

所以说呢,你可以设置一个关键性的参数,叫做replicationfactor,号称是叫做因子,其

实谁知道什么鬼因子的,说白了就是你的每个block要几份副本到其他的机器上去,那

么如果某台机器挂了,这样好了啊,其他机器上有一模一样的block副本。这个replication

factor可以整体设置一下,也可以对每个文件设置一下,然后后续还可以修改

那么在写文件的时候,假如说默认的每个block就是3副本,此时namenode会先根据一个

算法挑选出来3个datanode,每个datanode放一个block,返回给客户端了。客户端先

第一

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档