HDFS分布式存储技术解析与应用.pptVIP

石家庄铁道大学信息科学与技术学院

第三章分布式文件系统HDFS

大数据技术及应用第1页

提纲3.1分布式文件系统3.2HDFS介绍3.3HDFS相关概念3.4HDFS体系结构3.5HDFS存放原理3.6HDFS数据读写过程3.7 HDFS编程实践第2页

3.1 分布式文件系统3.1.1 计算机集群结构3.1.2 分布式文件系统的结构第3页

3.1.1 计算机集群结构分布式文件系统把文件分布存放到多个计算机节点上，成千上万的计算机节点组成计算机集群与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件组成的，这就大大降低了硬件上的开销图3-1计算机集群的基本架构节点放机架上，每个机架放8-64各节点，通过网络互联。第4页

3.1.2 分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点组成的，这些节点分为两类，一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（SlaveNode）或者也被称为“数据节点”(DataNode)。图3-2大规模文件系统