二零二三年 优质公开课hdfs放置策略.pptx

hdfs副本放置策略;掌握hdfs副本放置策略;1、副本放置策略 2、流水线复制3、机架感知4、网络拓扑;副本放置策略;; 当客户端向 HDFS 文件写入数据的时候，一开始是写到本地临时文件中。 假设该文件的副本系数设置为 3 ，当本地临时文件累积到一个数据块的大小时，客户端会从 Namenode 获取一个 Datanode 列表用于存放副本。然后客户端开始向第一个Datanode传输数据，第一个 Datanode 一小部分一小部分 (4 KB) 地接收数据，将每一部分写入本地仓库，并同时传输该部分到列表中第二个 Datanode 节点。第二个 Datanode 也是这样，一小部分一小部分地接收数据，写入本地仓库，并同时传给第三个 Datanode 。最后，第三个 Datanode 接收数据并存储在本地。因此，Datanode 能流水线式地从前一个节点接收数据，并同时转发给下一个节点，数据以流水线的方式从前一个Datanode复制到下一个Datanode。 ; ApplicationMaster负责：向调度器索要适当的资源容器，运行任务，跟踪应用程序的状态和监控它们的进程，处理任务的失败原因。;; 有了机架感知，NameNode就可以画出上图所示的datanode网络拓扑图。D1,R1都是交换机，最底层是datanode。 则H1的rackid=/D1/R1/H1，