HDFS源码:文件流程与实现机制.pdfVIP

  • 0
  • 0
  • 约小于1千字
  • 约 1页
  • 2026-05-12 发布于北京
  • 举报

文件,要比文件上传简单很多,而且很多东西都是非常的类似的,讲的时候,我们会稍

微快一些,而且会稍微简化一些,不会讲的那么的细。比如说你之前上传了一个1TB的大文

件到HDFS上去,拆分成了很多个block在

所以你1TB的大文件的时候,其实是从各个datanode所在的机器上,这个文件对

应的各个block文件,最后组合成一个大文件

文件的这个,其实是在Fiystem.open()方法,会返回一个输入流,你只要不断的

从输入流里数据,就可以不断的拿到这个大文件的数据然后写入本地磁盘文件

DFSInputStream-HDFSDataInputStream-FSDataInputSream

DFSInputStream在构造和初始化的时候,有一个很关键的操作,其实是去从namenode加载

我们需要的那些blocks

文档评论(0)

1亿VIP精品文档

相关文档