HDFS数据复制大数据离线分析31课件讲解.pptxVIP

HDFS数据复制

大数据离线分析

教学目标

1.掌握HDFS数据复制机制

2.理解纠删码对存储开销的作用

1.复制概述

HDFS数据复制是Hadoop分布式文件系统的核心机制，用于确保数据的可靠性和高可用性。通过将文件拆分为固定大小的块（默认128MB或256MB），每个块会被复制多个副本，默认复制因子为3，这意味着每个块在集群中存在三个拷贝，分布在不同的DataNode上。这种复制策略不仅提供了故障容错能力，当一个节点失效时，系统可以从其他副本中恢复数据，还支持并行读取以提高吞吐量。复制过程由NameNode管理，它负责选择合适的节点放置副本，同时考虑机架感知（rackawareness）以避免单点故障。

2.块复制策略

HDFS将文件分割成块后，会根据复制因子（dfs.replication）创建多个副本。这些副本的放置遵循机架感知策略：第一个副本通常放置在写入客户端所在的节点上（如果客户端在集群内），第二个副本放置在同一机架的不同节点上，第三个副本则放置在不同机架的节点上。这种策略最大化了数据的局部性，减少了跨机架网络传输，同时提升了故障容错能力。

3.管道复制

I管道复制是HDFS写入数据的关键过程，用于高效地将数据块复制到多个节点。当客户端写入文件时，NameNode首先分配块并返回一个DataNode列表（按管道顺序排列）

户端将数据包发送到第一个DataNode