2021年HadoopHDFS分布式文件系统简介.pdfVIP

Hadoop HDFS 分布式文件系统简介 在大数据 时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力， 因此 需要将数据集进行分区并存储到若干台独立的计算机中。 但是， 分区存储的数据不方便管理 和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统。 分布式文件系统是一种允许文件通过网络在多台主机上进行分享的文件系统， 可让多台机器 上的多用户分享文件和存储空间。 HDFS 是 Hadoop 的一个分布式文件系统， 是 Hadoop 应用程序使用的主要分布式存储。 HDFS 被设计成适合运行在通用硬件上的分布式文件系统。 在 HDFS 体系结构中有两类结点：一类是 NameNode ，又叫“名称结点” ；另一类是 DataNode ，又叫“数据结点” 。这两类结点分别承担 Master 和 Worker 具体任务的执 行。 HDFS 总的设计思想是分而治之，即将大文件和大批量文件分布式存放在大