二零二三年 优质公开课HDFS元数据.pptx

朱佳 目录0102HDFS 元数据简介fsimage和编辑日志 HDFS 元数据简介1 HDFS 元数据简介 什么是HDFS 元数据 HDFS元数据或HDFS命名空间是由inode表示的文件和目录的层次结构。inode 存储属性，如权限、修改、访问时间和磁盘空间配额。命名空间还包括文件到块ID的映射信息。NameNode存储HDFS元数据，而DataNode存储实际的HDFS数据。当客户端连接到Hadoop读取和写入数据时，它们首先连接到NameNode,从而知道实际数据块存储在哪里或往哪个DataNode写入其数据。 HDFS 元数据简介从类型上看HDFS 元数据包括以下信息：HDFS 文件位置HDFS 数据块的名称HDFS 数据块的位置文件所有权和权限 HDFS 元数据简介按形式HDFS 元数据可分为内存元数据和磁盘元数据分别存储在内存和磁盘上。内存元数据分为Inode和Block磁盘元数据包括以下四个：fsimage:元数据镜像文件edits:日志文件fstime:保存最近一次Checkpoint的时间VERSION:标志性文件，最后被创建，表明前三个元数据文件的创建成功 Fsimage和编辑日志2 fsimage和编辑日志fsimage 镜像文件：是元数据的一个持久化的检查点，包含 Hadoop 文件系统中的所有 目录和文件元数据信息，但不包含文件块位置的信息。文件