基于NIO实现HDFS fsimage传输与checkpoint机制网络通信.pdfVIP

我们可以参考之前的NIO网络通信那块的代码来做一下

在editslog、fsimage、checkpoint这块机制里，完全是两个进程之间自己在做一些低频率的

写磁盘，网络通信的事情，这块东西不涉及到什么特别复杂的技术难点，一般出问题的概率

很低，所以说直接基于我们之前的那套最简单的NIO代码也可以来实现

分布式文件的上传，传文件的时候，所有文件分散在多台机器上，分布式的，上传

文件的量很大，每天可能都是几万个文件，每个文件还要在集群里自动传输多个文件的副本，

那块网络通信就比较复杂了

很多NIO里，网络通信这块，很多高阶的技术，参数，要考虑的点，网络故障和异常，都需

要在那里来考虑到，对于hadoophdfs，在editslog、fsimage、checkpoint那块的写磁盘和网

络通信的机制，都是非常简单的

checkpoint做文件上传的时候，HTTP协议，namenode启动一个httpserver，backupnode就

是发送一个httpput请求，把文件传输过去了，在文件上传和的时候，量很大，基于NIO

来做的，很多复杂的参数，机制，设计，故障，那块代码就是非常的复杂

在文件上传和的过程中，来实战和演练NIO复杂的网络通信高阶的一些技术

分成两块来写，第一块就是先写服务