HDFS读写流程详解.pdfVIP

HDFS读流程

第itileSystem的API中的open方法。

一步：客户端通过调用DistrbuedF

第二步：open方法发送请求到NameNode，获得Block的位置信息（位置信息只有源数据

才知道），将Block的全部位置信息返还给客户端。

第三步：客户端收到Block后开始，通过FSDataInputStream这个API的read方法进

行。

第四步：通过FSDataInputStream这个API进行并发地各个block，也就是同时；

在过程中只需要其中一个副本即可。

第五步：关闭

第六步：在客户端形成一个统一的文件。

HDFS写流程

第第一步：客户端通过调用DistributedFileSystem的API中的create方法，可以去创建一个文件。。

第二步：NameNode可以收到你的文件名，文件大小，用户是谁；NameNode

HDFS读流程

第一步：客户端通过调用DistributedFileSystem的API中的open方法。

第二步：open方法发送请求到NameNode，获得Block的位置信息（位置信息只有源数据才知

道），将Block的全部位置信息返还给客户端。

第三步：客户端收到Block后开始读，通过FSDataInputStream这个API的read方法进行

读。

第四步：通过FSDataInputStream这个API进行并发的读各个block，也就是一起读；在读的

过程中只读其中一个副本就可以了。

第五步：关闭

第六步：在客户端形成一个统一的文件。

HDFS写流程

第一步：客户端通过调用DistributedFileSystem的API中的create方法,可以去创建一个文件。

第二步：NameNode可以收到你的文件名，文件大小，用户是谁；NameNode

根据你的文件大小来计算需要切多少个block，并返回这些block在哪些

DataNode上。

第三步：客户端开始，并通过FSDataInputStream这个API中的write方法进行写入。

第四步：这个方法仅将一个block写入到DataNode上，由当前的DataNode创建一个线程，

根据当前的副本规则向其他DataNode其他副本。

第五步：返回一个反馈信息。（表示当前的上传操作已经完成）

第六步：关闭。

第七步：向NameNode报告上传完成的信息。

根据你的文件大小来去计算需要切多少个block，返回block在哪些DataNode上

面。

第三步：客户端开始读，通过FSDataInputStream这个API中的write方法进行写。

第四步：这个方法只将一个block写在DataNode上，由当前的DataNode去创建一个线程往

其它的DataNode上按照当前的副本规则去其他副本。

第五步：返回一个回馈信息。（表示当前的上传操作已经完成）

第六步：关闭

第七步：汇报给NameNode一个上传完的一个信息。