大数据工程师-数据处理与分析-Apache Hadoop_Hadoop分布式文件系统HDFS详解.docxVIP

PAGE1

PAGE1

Hadoop分布式文件系统HDFS简介

1HDFS的概念与特点

Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是ApacheHadoop项目的核心组件之一，旨在为海量数据提供高吞吐量的访问，适合部署在廉价的硬件上。HDFS的设计目标是处理大规模数据集，其特点包括：

高容错性：HDFS通过数据块的复制来实现数据的高容错性，即使部分节点发生故障，数据仍然可以被访问。

流式数据访问：HDFS被设计用于流式数据访问，适合大数据的处理，而不是低延迟数据访问。

大规模数据集：HDFS可以存储和管理PB级别的