【大数据作业02】HDFS中的名称节点和数据结点的具体功能.pdfVIP

【⼤数据作业02】HDFS中的名称节点和数据结点的具体功能 试述 HDFS中的名称节点和数据结点的具体功能 名称节点负责管理分布式⽂件系统的命名空间，记录每个⽂件中各个块所在的数据节点的位置信息； 数据节点是分布式⽂件系统HDFS的⼯作节点，负责数据的存储和读取，会根据客户端或者名称节点的调度来进⾏数据的存储和检索，并向 名称节点定期发送⾃⼰所存储的块的列表。 在分布式⽂件系统中，中⼼节点的设计⾄关重要，请阐述HDFS是如何减轻中⼼节点的负担的 在客户端需要访问⼀个⽂件时，名称节点并不参与数据的传输，⽽是只将数据节点位置发给客户端，因此实现了⼀个⽂件的数据能够在不同 的数据节点上实现并发访问，⼤⼤提⾼了数据访问速度并减轻了中⼼服务器的负担，⽅便了数据管理。 试述 HDFS的冗余数据保存策略 采⽤了多副本⽅式多数据进⾏存储。即先在集群内挑选⼀台磁盘不太满、CPU不太忙的数据节点作为第⼀个副本存放点；选取不同的机架的 数据节点作为第⼆副本存放点；选择与第⼀副本存放点同机架的不同节点作为第三副本存放点；第四副本存放点从集群中随机挑选节点。 请阐述 HDFS在不发⽣故障 的情况下读⽂件的过程 1） 客户端打开⽂件，创建输⼊流 ； 2） 输⼊流通过远程调⽤名称节点，获得⽂件开始部分数据块的保存位置； 3） 客户端得到位置后开始读取数据，输⼊流选择距离客户端