大数据知识体系型公开课.PDFVIP

大数据知识体系型公开课 《大数据概念、技术与应用》 第3讲分布式文件系统HDFS 林子雨 博士/助理教授 厦门大学计算机科学系 厦门大学云计算与大数据研究中心 E-mail: ziyulin@ 主页：/linziyu 《分布式文件系统厦门大学云计算与大数据研究中心HDFS》 厦门大学云计算与大数据研究中心 林子雨 2015ziyulin@年版 提纲 • 3.1 HDFS简介 • 3.2 HDFS体系结构 • 3.3 HDFS存储原理 《分布式文件系统HDFS》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 3.1 HDFS简介 总体而言，HDFS要实现以下目标： ●兼容廉价的硬件设备 ●流数据读写 ●大数据集 ●简单的文件模型 ●强大的跨平台兼容性 HDFS特殊的设计，在实现上述优良特性的同时，也使得自身具有一些应用 局限性，主要包括以下几个方面： ●不适合低延迟数据访问 ●无法高效存储大量小文件 ●不支持多用户写入及任意修改文件 《分布式文件系统HDFS》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 3.1.1块 HDFS采用抽象的块概念可以带来以下几个明显的好处： ● 支持大规模文件存储：文件以块为单位进行存储，一个大规模文 件可以被分拆成若干个文件块，不同的文件块可以被分发到不同的节点 上，因此，一个文件的大小不会受到单个节点的存储容量的限制，可以 远远大于网络中任意节点的存储容量 ● 简化系统设计：首先，大大简化了存储管理，因为文件块大小是 固定的，这样就可以很容易计算出一个节点可以存储多少文件块；其次 ，方便了元数据的管理，元数据不需要和文件块一起存储，可以由其他 系统负责管理元数据 ● 适合数据备份：每个文件块都可以冗余存储到多个节点上，大大 提高了系统的容错性和可用性 《分布式文件系统HDFS》 厦门大学云计算与大数据研究中心 林子雨 ziyulin@ 3.1.2名称节点和数据节点 在HDFS中，名称节点（NameNode）负责管理分布式文件系统的命名空 间（Namespace），保存了两个核心的数据结构，即FsImage和EditLog， FsImage用于维护文件系统树以及文件树中所有的文件和文件夹的元数据，操 作日志文件EditLog中记录了所有针对文件的创建、删除、重命名等操作。名 称节点记录了每个文件中各个块所在的数据节点的位置信息。下图展示了名称 节点的数据结构。 根目录 名称节点(NameNode) 目录 目录 目录 FsImage 文件 EditLog 块 „ 块 记录了所有针对文件的创建、删除、 重命名等操作 图3-3 名称节点的数据结构 《分布式文件系统HDFS》 厦门大学云计算与大数据研究中心