HDFS体系结构简介16课件讲解.pptVIP

HDFS体系结构简介

2学习任务了解HDFS的基本概念、特点和系统架构理解专有名词概念——Block、NameNode和DataNode掌握HDFS文件的读取和写入

3知识目标了解HDFS的基本概念、特点和系统架构理解专有名词Block、NameNode和DataNode01能力目标掌握HDFS文件读取和写入02学习目标

4目录01基本概念02Block03NameNode和DataNode04HDFS配置属性05HDFS读写文件

基本概念-什么是HDFS3HDFS是一个高度容错性的分布式文件系统，可以被广泛的部署于廉价的PC上。它以流式访问模式访问应用程序的数据，这大大提高了整个系统的数据吞吐量，因而非常适合用于具有超大数据集的应用程序中。HDFS的架构如图所示。

4基本概念-特点1.流式数据访问，而不是随机读写2.简单一致性模型，一次写入，多次读取3.可用便宜硬件组成高效集群4.高吞吐量5.顺序读写效率很高6.数据追加写入，不能随机读写，不支持更新

6Block的概念：它的块是一个很大的单元，是文件存储处理的逻辑单元。默认是64MB。像硬盘中的文件系统一样，在HDFS中的文件将会按块大小进行分解，并作为独立的单元进行存储。但和硬盘中的文件系统不一样的是，存储在块中的一个比块小的文件并不会占据一个块大小盘物理空间（HDFS中一个块只存储一个文件的内容