二零二三年 优质公开课HDFS的写入过程.pptx

HDFS的写入过程 1、了解 HDFS的写入过程 01目录 HDFS的写入过程 HDFS的写入过程 1)客户端通过在DistributedFileSystem中调用create()来创建文件。 HDFS的写入过程 2)DistributedFileSystem 使用RPC去调用namenode,在文件系统的命名空间创一个新的文件,没有块与之相联系。  namenode执行各种不同的检查(这个文件存不存在,有没有权限去写,能不能存的下这个文件)以确保这个文件不会已经存在,并且在client有可以创建文件的适当的许可。  如果检查通过,namenode就会生成一个新的文件记录;否则,文件创建失败并向client抛出一个IOException异常。  分布式文件系统返回一个文件系统数据输出流,让client开始写入数据。就像读取事件一样,文件系统数据输出流控制一个DFSOutputStream,负责处理datanode和namenode之间的通信。 HDFS的写入过程 3)在client写入数据时,DFSOutputStream将它分成一个个的包,写入内部的队列,成为数据队列。数据队列随数据流流动,数据流的责任是根据适合的datanode的列表要求这些节点为副本分配新的块。  这个数据节点的列表形成一个管线——假设副本数是3,所以有3个节点在管线中。

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档