图文详解HDFS工作机制.docxVIP

图文详解HDFS工作机制 2021-01-10 本篇次要从下面几个方面进行开放 HDFS是什么 漫画看懂HDFS骚操作 HDFS架构原理 一、HDFS是什么 HDFS（Hadoop Distributed File System）分布式文件系统，它是谷歌的GFS提出后消灭的一种用户级文件系统。供应了一个高度容错和高吞吐量的海量数据存储处理方案。 hadoop生态-HDFS的核心位置 二、漫画看懂HDFS骚操作 2.1 写操作 1 2 3 2.2 读操作 2.3 容错性 常见错误品种 节点毛病 通信毛病和数据损坏 读写毛病 以上是漫画解说部分，次要涵盖了读写流程已经毛病处理。下面会有具体的架构讲解。 三、HDFS架构原理 3.1 HDFS几个次要概念 3.1.1 NameNode 维护和管理DataNodes 管理文件系统namespace并把握client对应的访问权限 记录全部存储在集群中的文件的元信息。eg: blocks存储的位置、文件的大小、权限、文件结构等，有两个文件和元数据关联着FsImage保存了最新的元数据检查点，包含了整个HDFS文件系统的所出名目和文件的信息。对于文件来说包括了数据块描述信息、修改时间、访问时间等；对于名目来说包括修改时间、访问权限把握信息(名目所属用户，所在组)等。一般开头时namenode的操作都放在EditLog中，然后通过异步更新。EditLog记录最近通过namenode对文件系统的全部修改操作。 记录文件系统的全部操作元数据。 存储在 EditLogs 维护着与DataNodes的心跳检测 DataNodes磁盘存储均衡、DataNodes毛病转移 3.1.2 DataNode 数据存储节点 3.1.3 Secondary NameNode 它的次要职责 备用节点，也称为standby namenode。NameNode是HDFS的大脑核心，一旦NameNode消灭不行用，那么整个HDFS集群将不行用，Secondary NameNode作为NameNode的备用节点，进行NameNode容错 担任合并Editlogs和FsImage 定时从 namenode 下载Editlogs并和现有FsImage进行合并，然后将合并后的FsImage更新到namenode FailoverController毛病切换器，管理着将活动namenode转移为备用namenode的过程，默认通过ZK来确保仅有一个活跃namenode。每一个namenode都有一个运转着的毛病转移器。 3.1.4 Balancer 用于平衡DataNode集群之间各节点的磁盘利用率。 3.1.5 HttpFS 供应Http方式访问和操作HDFS功能 上面几个概念的拓扑图 3.2 Block数据块 HDFS里的数据都是以blocks分散在DataNodes。通常，文件系统我们存放数据都是以一个blocks集进行存储，HDFS也是如此。在 hadoop 集群中，每个 block 的默认大小为 128M（此处指 hadoop 2.x 版本，hadoop 1.x 版本为 64M），也可以通过配置进行修改 dfs.block.size或 dfs.blocksize =64M HDFS 不会将每个文件存储在配置的 block 大小的精确?????倍数中，比如一个 514M 的文件 example.txt，下图所示，假设 block 大小为默认的 128M，那么将会创建 5 个block，前 4 个 block 大小为 128M，但是最终一个 block 的大小则仅为 2M。 block大小的设置，假如太小会产生太多的blocks，这样元数据就会很多，从而使管理blocks和元数据产生巨大开销，添加NameNode和DataNode的负载。 3.3 写原理 假如我们要一个文件名字“example.txt”，248M。 假设block.size设置的128M，因而client会把该文件切分成两个block，分布是 128M和120M。 每当向HDFS写数据的时候，都遵照下面的几个流程 HDFS client 向NameNode 发送 两个blocks（blockA、blockB）的写入恳求 NameNode给client进行写入授权并供应用来进行存储和复制的DataNodes IP DataNodes基于HDFS可用性、复制因子和机架感知的选择是完全随机的 假设复制因子设置的是3，那么NameNode将为每个blocks供应3个DataNodes IP。 相对每个block供应的3个DataNodes都是独一的。假设NameNode供应的DataNodes列表如下： For Block A, lis