- 0
- 0
- 约小于1千字
- 约 2页
- 2026-11-18 发布于北京
- 举报
回顾了大文件上传到
hdfs集群分布式的原理
把这个里面的关键的源码再重新读一下,BlockReceiver接收到一个个的
packet然后写入
到本地磁盘文件里的过程
启动一个包响应器
无限
while循环,不停地接收一个
block的各个
packet
(1)将packet
放入一个PacketResponder
的
ackQueue
里
(2)将packet
推送给下一个
datanode(3)将
packet
写入本地blk
磁盘文件里去
一个块的所有
数据包接收完毕,就会关闭
PacketResponder
最终确定的块
文件,在分析一个
块上传过程时,最初会出现在
rbw目录下,表示该
块的
数据正在上传中。最终化则将一个已完成上传的
块
文件从rbw目录移动到
finazlied目录。
回顾了大文件上传到hdfs集群分布式的原理
把这个里面的关键的源码,重新再来读一下,BlockReceiver接收到一个一个的packet然
后写入到本地磁盘文件里去的这个过程
启动一个PacketResponder
无限while循环,不停的接收一个block的各个packet
(1)将packet放入一个PacketResponder的ackQueue里
(2)将packet推送给下一个dat
原创力文档

文档评论(0)