物联网技术导论课件解析.ppt

6.3 海量数据存储 HDFS的数据组织与操作 – 文件写入 1）首先，客户端调用DistributedFileSystem中的create()方法创建文件。 2）DistributedFileSystem通过RPC调用名称节点，在文件系统的命名空间里创建新文件，实际上此时并为给该文件分配单元块。名称节点通过检查确认该文件以前不存在，并且客户端有权创建该文件，如果检查通过，名称节点就生成新文件记录，否则文件创建失败并抛出IOException。DistributedFileSystem向客户端返回FSDataOutStream开始写数据。类似于文件读取操作，FSDataOutputStream封装DFSOutputStream来处理与名称节点和数据节点的通讯。 6.3.1 基于文件的数据存储技术 - HDFS 6.3 海量数据存储 HDFS的数据组织与操作 – 文件写入 3）客户端写入数据时，DFSOutputStream把数据分成一些数据包，把这些数据包写入内部数据队列供DataStreamer使用，它还负责询问名称节点选择合适的存储副本的数据节点列表，并分配新的单元块。该数据列表组成一个管道，如图3所示，如果副本级别是3，管道中就有三个数据节点。 4）FSDataOutputStream向管道的第一个数据节点传送数据，该数据节点写入完成后，管道将数据包转发给第二个数据几点，完