HDFS客户端与NameNode功能分析及文件源码.pdfVIP

之前我们花了很多的时间来研究，通过一个创建目录的一个场景来驱动，我们搞清楚了hdfs

是如何管理元数据的，内存元数据，editslog，HA架构下如何同步editslog流，checkpoint，

启动时如何合并fsimage和editslog

一般来说会干的下一件事情，就是说上传文件了，这个过程是非常复杂的，而且里面的东西

特别的多，我们应该好好来研究一下，一周的课都讲不完，差不多得2周，才能把上传文件

的全过程的源码分析完毕

hdfs客户端干很多很多复杂的事儿，namenode也要干不少事儿，datanode那块涉及到复杂

的block管理，很多事儿，都很复杂，这周的课程，把hdfs客户端和namenode干哪些

事情分析清楚，就不错了

举个例子，比如说在java系统中，你需要将一个1GB的大文件，一边大文件的输入流，

一边获取一个针对hdfs的输出流，流对拷的方式，一边从本地的1GB大文件里数据，

一边将到的数据写入hdfs输出流

输出流就会将数据通过一大套极为复杂的机制，将一个1GB的大文件分散在集群中的

多台datanode机器上，可能会比如说10台机器上，每台机器上一个128MB的文

件，一部分，每个12