HDFS数据节点写入流程详解.pdfVIP

  • 0
  • 0
  • 约小于1千字
  • 约 2页
  • 2026-08-27 发布于北京
  • 举报

我刚才重新仔细研读了这段源码,发现当初规划课程时低估了其复杂度,原以为一节课就能讲

完。

处理那个写入区块

操作的时候_

(1)通过socket输入流从hdfs客户端空block

(2)将空block到本地,每个block对

应本地磁盘文件,此时是否需要初始化磁盘文件?即便不初始化也应执行某些操作

(3)首

个datanode需将block发送至第二个datanode,第二个datanode再转发给第三个datanode

(4)若三个datanode均完成block传输接收,则标志着由这三个datanode构建的pipeline数据

管道建立成功

接下来,hdfs客户端才能开始将属于一个block的packet源源不断地写入第一个datanode。

第一个datanode接收到packet后,会将其在本地的磁盘文件中,然后将packet发送给

第二个datanode,依此类推。第二个datanode会继续发送给第三个datanode。

我刚才把这块源码又仔细看了一下,我发现我之前规划课程的时候,低谷了这块的复杂度,

所以还以为一讲可以讲完

处理那个write_block操作的时候

(1)通过socket输入流,从hdfs客户端那个空的block

(2)将空的block到本地,每

文档评论(0)

1亿VIP精品文档

相关文档