《大数据离线分析技术》课件——13.HDFS文件系统的健壮性.pptxVIP

HDFS文件系统的健壮性大数据离线分析

教学目标1.了解HDFS健壮性2.理解高可用性HA3.掌握故障转移4.掌握Router-basedFederation

1.健壮性概述HDFS的健壮性主要体现在其高度容错设计上，它能够在低成本硬件上部署，并提供高吞吐量的数据访问。系统将文件拆分为块（默认128MB），并通过默认3x数据复制机制存储在多个DataNode上，确保在节点或硬盘故障时数据可用性。这种复制不仅提供冗余，还减少了网络拥堵，提高了处理速度。此外，HDFS支持故障检测和自动恢复，结合NameNode的元数据管理，确保整体系统的可靠性和高效性。在Hadoop3.x中，引入了纠删码（ErasureCoding）来替代部分复制，进一步提升存储效率，同时保持相同的容错水平，例如一个3x复制的文件在6个块中可实现更低的存储开销。

2.高可用性HA高可用性（HA）是HDFS健壮性的关键特性，用于消除NameNode的单点故障。在Hadoop3.x中，HA通过配置活跃NameNode和备用NameNode实现，备用节点实时同步元数据。共享存储可以使用NFS或QuorumJournalManager(QJM)，确保在活跃节点故障时快速切换。这种设计允许多个NameNode协作，支持不间断的HDF