深入Hadoop架构设计.docVIP

深入Hadoop架构设计 hdfs的基本概念 整体架构，见下图 Metadata ops 「Client) Namenode A Metadata (Name, replicas,...): /home/foo/datat 3,?.? 1 Block ops Data no des Data no des Re右d Datanodes z J Rack 2 1.1、 数据块(block) HDFS(Hadoop Distributed File System)默认的垠军木的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M —块的数据块存储的。 不同于普通文件系统的是，HDFS屮，如果一个文件小于一个数据块的大小，并不占用整个数据块存储空间。 1.2、 元数据节点(Namenode)和数据节点(datanode) 元数据节点用來管理文件系统的命名空间 其将所有的文件和文件夹的元数据保存在一个文件系统树中。 这些信息也会在硕盘上保存成以下文件：命名空间镜ft(namespace image)及修改日志(edit log) 英还保存了一个文件包括哪些数据块，分布在哪些数据节点上。然而这些信息并不存储在峡盘上，而是 在系统启动的时候从数据节点收集而成的。 数据节点是文件系统中真正存储数据的地方。 客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。 其周期性的向元数据节点回报英存储的数据块信息。 从元数据肖点(secondary namenode) 从元数据节点并不是元数据节点出现问题时僦的备川节点，它和元数据节点负责不同的事情。 其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并，以防日志文件过大。这点在 下面会详细叙述。 合并过后的命名空间镜像文件也在从元数据节点保存了一份,以防元数据节点失败的时候,可以恢复。 1.2.1.元数据节点文件夹结构 ${dfs. name.dir}/curr ent/VERSION /edits /fs image /fstime VERSION文件是java properties文件，保存了 HDFS的版本号。 layoutversion是~个负胳数，保存了 HDFS的持续化在硕盘上的数据结构的格式版本号。 namespacelD是文件系统的唯一标识符，是在文件系统初次格式化时生成的。 dime此处为0 storageType表示此文件夹中保存的是元数据节点的数据结构。 namespacel D= 1232737062 cTime= 0 storageType= NAME_NODE layoutVersion=-18 1 .2.2.文件系统命名空间映像文件及修改日志 当文件系统客户端(client)进行写操作时，首先把它记录在修改日志中(edit log) 元数据节点在内存中保存了文件系统的元数据信息。在记录了修改日志后，元数据节点则修改内存中的数据结 构。 每次的写操作成功Ziju\修改日志都会同步(sync)到文件系统。 fsimage文件,也即命塔空间映像文件，是内存中的元数据在硕盘上的checkpoint,它是一种序列化的格式, 并不能够在駛盘上直接修改。 同数据的机制相似，当元数据节点失败时，贝畑新checkpoint的元数据信息从fsimage加载到内存屮，然后 逐一重新执行修改日志中的操作。 从元数据节点就是用來帮助元数据节点将内存中的元数据信息checkpoint到硬盘上的 checkpoint的过程如下： 从元数据节点通知元数据节点生成新的日志文件，以后的日志都写到新的日志文件屮。 从元数据节点用http get从元数据节点获得fsimage文件及旧的H志文件。 从元数据节点将fsimage文件加载到内存中，并执行日志文件中的操作，然后生成新的fsimage文件。 从元数据节点奖新的fsimage文件用http post传回元数据节点 元数据廿点可以将旧的fsimage文件及门的U志文件，换为新的fsimage文件和新的日志文件(第一步 生成的)，然后更新fstime文件，写入此次checkpoint的时间。 这样元数据节点中的fsimage文件保Y/-TM新的checkpoint的元数据信息，日志文件也重新开始，不 会变的很大了。 元钦据节点 从元数据节点 1.2.3.从元数据节点的目录结构 ${fs .checkpoint. dir}/current/VERSION /edits /fsimage /fstime /previous- checkpcin t/VERSIOh /edits /fsimage /fstime 1.2.4.数据节点的目录结构 Sfdfs. dat a. di