大数据分布式存储技术HDFS解析与实践.pptVIP

第10章分布式文件系统HDFS云计算与大规模数据处理第1页

提纲10.1分布式文件系统10.2HDFS介绍10.3HDFS相关概念10.4HDFS体系结构10.5HDFS存放原理10.6HDFS数据读写过程10.7HDFS编程实践第2页

10.1 分布式文件系统10.1.1 计算机集群结构10.1.2 分布式文件系统的结构第3页

10.1.1 计算机集群结构分布式文件系统把文件分布存放到多个计算机节点上，成千上万的计算机节点组成计算机集群。与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是，目前的分布式文件系统所采用的计算机集群，都是由普通硬件组成的，这就大大降低了硬件上的开销。图10-1计算机集群的基本架构第4页

10.1.2 分布式文件系统的结构分布式文件系统在物理结构上是由计算机集群中的多个节点组成的，这些节点分为两类，一类叫“主节点”(MasterNode)或者也被称为“名称结点”(NameNode)，另一类叫“从节点”（SlaveNode）或者也被称为“数据节点”(DataNode)图10-2大规模文件系统的整体结构第5页

10.2 HDFS介绍总体而言，HDFS要实现如下目标：●兼容廉价的硬件设备●流数据读写●大数据集●简单的文件模型●强大的跨平台兼容性HDFS特殊的设计，在实现上述优良特性的同步，也使得本身含有某些应用不足，主要涉及如