Hadoop集群中DataNode重启后全量上报存储信息机制设计.pdfVIP

NameNode先启动，然后DataNode来启动，此时一定会执行一个全量上报；如果是DataNode

自己重启，但是NameNode可能还没感知到他故障了，此时就可以直接让DataNode重启之

后上报自己全量的信息过去

NameNode又要一个专门的接口，用来接收全量上报的逻辑

第一个情况，NameNOde先启动，然后DataNode再启动：扫描自己本地目录下所有的文件，

根据文件所在的目录反向拼接出来他对应的相对路径，而且计算所有文件加起来所占的磁盘

空间大小，收集好，上报给NameNode

NameNode收到全量上报的请求，直接往自己的对应的数据结构里去塞就可以了

第二个情况，DataNode他突然重启了，重启的时间间隔很短，此时NameNode还没判定这

个DataNode宕机什么的，此时DataNode他突然全量上报自己的信息，你觉得NameNode

要怎么来处理呢？NameNode本身内存里还着DataNode重启之前的的数据

第三个情况，DataNode突然宕机，此时NameNode感知到了，要做一系列的事情，然后

DataNode又重启了，全量上报，此时NameNode要做一系列的复杂的事情，我们要跟着后

面的高可用架构的实现

第四种情况，NameNode自己突然重启，DataNode们在一段时间