HDFS大文件核心流程与ockReceiver源码.pdfVIP

  • 0
  • 0
  • 约小于1千字
  • 约 2页
  • 2026-11-18 发布于北京
  • 举报

回顾了大文件上传到

hdfs集群分布式的原理

把这个里面的关键的源码再重新读一下,BlockReceiver接收到一个个的

packet然后写入

到本地磁盘文件里的过程

启动一个包响应器

无限

while循环,不停地接收一个

block的各个

packet

(1)将packet

放入一个PacketResponder

的

ackQueue

里

(2)将packet

推送给下一个

datanode(3)将

packet

写入本地blk

磁盘文件里去

一个块的所有

数据包接收完毕,就会关闭

PacketResponder

最终确定的块

文件,在分析一个

块上传过程时,最初会出现在

rbw目录下,表示该

块的

数据正在上传中。最终化则将一个已完成上传的

块

文件从rbw目录移动到

finazlied目录。

回顾了大文件上传到hdfs集群分布式的原理

把这个里面的关键的源码,重新再来读一下,BlockReceiver接收到一个一个的packet然

后写入到本地磁盘文件里去的这个过程

启动一个PacketResponder

无限while循环,不停的接收一个block的各个packet

(1)将packet放入一个PacketResponder的ackQueue里

(2)将packet推送给下一个dat

文档评论(0)

1亿VIP精品文档

相关文档