Hadoop HDFS中DataNode向NameNode报告ock机制分析.pdfVIP

文件上传

‑

datanode

接收到一个

block

后如何报告给

namenode

的

namenode

必须知道各个

datanode

上的

block

namenode可以检查各个

block的副本数量，例如如果有一个

datanode突然失效了，会导

致它的

block副本丢失，从而导致某些

block只剩下了

2个副本，namenode需要感知到有

些

block的副本数量可能不足

3个

它就可以指示某个

datanode一个

block给另一个正常的

datanode，确保每个

block的

副本数量为

3

数据冗余机制主要依赖于

datanode上报

block

HDFS文件的，如果你要一个

1TB的大文件，你需要询问

namenode，

namenode会

HDFS

客户端从哪些

datanode

block，这些

block组合成一个大的

1TB文件

datanode在上传一个block，BlockScanner组件会定期扫描并检查这个

block是否损坏

文件上传-datanode收到一个block是如何上报给namenode知道的