第10章分布式文件系统HDFS.pptVIP

10.5 HDFS 存储原理 10.5.1 10.5.2 10.5.3 冗余数据保存 数据存取策略 数据错误与恢复 ? ? ? 10.5.1 冗余数据保存 作为一个分布式文件系统，为了保证系统的容错性和可用性， HDFS 采用 了多副本方式对数据进行冗余存储，通常一个数据块的多个副本会被分布到不 同的数据节点上，如图 3-5 所示，数据块 1 被分别存放到数据节点 A 和 C 上，数 据块 2 被存放在数据节点 A 和 B 上。这种多副本方式具有以下几个优点： （ 1 ） 加快数据传输速度 （ 2 ） 容易检查数据错误 （ 3 ） 保证数据可靠性 名称节点 （只保存元数据） 元数据 /usr/aaron/foo:1,2,4 /usr/arron/bar:3,5 数据节点 B （保存数据块） 2 5 3 数据节点 C （保存数据块） 3 4 1 数据节点 A （保存数据块） 2 4 1 5 图 10-5 HDFS 数据块多副本存储 10.5.2 数据存取策略 1. 数据存放 ? 第一个副本：放置在上传文件的数据节点；如果是集群外提交，则随 机挑选一台磁盘不太满、 CPU 不太忙的节点 ? 第二个副本：放置在与第一个副本不同的机架的节点上 ? 第三个副本：与第一个副本相同机架的其他节点上 ? 更多副本：随机节点 Block 的副本放置策略 3.5.2 数据存取策略 2. 数据读取