HDFS读写流程详解：从调用到数据块处理.pdfVIP

HDFS读流程

第一步：客户端通过调用DistributedFileSystem的API中的open方法。

第二步：open方法发送请求到NameNode，获得Block的位置信息（位置信息只有源数据才知

道），将Block的全部位置信息返还给客户端。

第三步：客户端收到Block后开始读，通过FSDataInputStream这个API的read方法进行

读。

第四步：通过FSDataInputStream这个API进行并发的读各个block，也就是一起读；在读的

过程中只读其中一个副本就可以了。

第五步：关闭

第六步：在客户端形成一个统一的文件。

HDFS写流程

第一步：客户端通过调用DistributedFileSystem的API中的create方法,可以去创建一个文件。

第二步：NameNode可以收到你的文件名，文件大小，用户是谁；NameNode

根据你的文件大小来去计算需要切多少个block，返回block在哪些DataNode上

面。

第三步：客户端开始读，通过FSDataInputStream这个API中的write方法进行写。

第四步：这个方法只将一个block写在DataNode上，由当前的DataNode去创建一个线程往

其它的DataNode上按照当前的副本规则去其他副本。

第五步：返回一个回馈信息。（表示当前的上传操作已经完成）

第六步：关闭

第七步：汇报给NameNode一个上传完的一个信息。