数据节点文件接收后如何Master节点及心跳机制优化.pdfVIP

假设数据节点接收完了文件，他应该让master节点可以感知到说他这里存放了某个文

件的一个副本这样子，每次datanode接收完毕了文件，就应该走一个RPC接口调用去

请求master节点

让master节点知道说，某个文件在哪台机器上有一个副本

如果master节点重启了，他只能从自己的元数据里恢复出来有哪些目录和文件，但是

恢复不出来到底每个文件的副本在那些机器上的，就是应该还要在每个数据节点在心跳

的时候就需要去上报自己这里的所有的文件的信息给master节点

master节点每次收到心跳就知道datanode上当前了哪些文件，就是如果说每次心跳就

传递全量的当前自己管理的文件的信息的话，可能涉及到了几万个文件？几十万个文件这样

子？心跳的数据量会很大

正常来说如果master正在运行中，datanode就直接上报自己受到的文件即可，master在内

存中就可以文件的每个副本在哪台机器上了。如果说master重启了，第一次收到

datanode的心跳，发现datanode此时不在自己的内存数据局结构里

此时master应该指示datanode重新进行一次，在的时候才会带过来全量的文件存

储的信息，包括da