Chapter3 林子雨 大数据技术原理与应用 分布式文件系统HDFS2016年1月26日版本.pptVIP

3.5.3 数 据错误与恢复 2. 数据节点出错 ? 每个数据节点会定期向名称节点发送“心跳”信息，向名称节点报告自 己的状态 ? 当数据节点发生故障，或者网络发生断网时，名称节点就无法收到来自 一些数据节点的心跳信息，这时，这些数据节点就会被标记为“宕机”， 节点上面的所有数据都会被标记为“不可读”，名称节点不会再给它们 发送任何 I/O 请求 ? 这时，有可能出现一种情形，即由于一些数据节点的不可用，会导致一 些数据块的副本数量小于冗余因子 ? 名称节点会定期检查这种情况，一旦发现某个数据块的副本数量小于冗 余因子，就会启动数据冗余复制，为它生成新的副本 ? HDFS 和其它分布式文件系统的最大区别就是可以调整冗余数据的位置 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 3.5.3 数 据错误与恢复 3. 数据出错 ? 网络传输和磁盘错误等因素，都会造成数据错误 ? 客户端在读取到数据后，会采用 md5 和 sha1 对数据块进行校验，以确定读取 到正确的数据 ? 在文件被创建时，客户端就会对每一个文件块进行信息摘录，并把这些信息 写入到同一个路径的隐藏文件里面 ? 当客户端读取文件的时候，会先读取该信息文件，然后，利用该信息文件对 每个读取的数据块进行校验，如果校验出错，客户端就会请求到另外一个数 据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会 定期检查并且重新复制这个块 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 3.6 HDFS 数据读写过程 ? 3.6.1 ? 3.6.2 读数据的过程 写数据的过程 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 3.6.1 读 数据的过程 下图展示了 HDFS 读数据的过程： HDFS 客户端 件 开 文 打 1 ： 3 ： 读 取 请 求 Distributed FileSystem FSDataInput Stream 2 ： 获 取 块 数 据 信 息 名称节点 7 ： 关 闭 文 件 息 块 信 据 取 数 5 ： 获 能 发 生 ） （ 可 客户端 JVM 客户端节点 4: 读取数据 6: 读取数据 数据节点 数据节点 数据节点 《大数据技术原理与应用》 厦门大学计算机科学系 林子雨 ziyulin@ 《大数据技术原理与应用 》 /post/bigdata 温馨提示：编辑幻灯片母版，可以修改每页 PPT 的厦大校徽和底部文字 第三章 分布式文件系统 HDFS （ PPT 版本号： 2016 年 1 月 26 日版本） 林子雨 厦门大学计算机科学系 E-mail: ziyulin@ 主页： /linziyu 《大数据技术原理与应用》 厦门大学计算机科学系 2016 厦门大学计算机科学系 林子雨 ziyulin@ 年版 提纲 ? ? 3.1 分布式文件系统 3.2 HDFS 简介 ? ? ? 3.3 HDFS 相关概念 3.4 HDFS 体系结构 3.5 HDFS 存储原理 ? ? 3.6 HDFS 数据读写过程 3.7 HDFS 编程实践 本 PPT 是如下教材的配套讲义： 21 世纪高等教育计算机规划教材 《大数据技术原理与应用 —— 概念、存储、处理、分析与应用》 （ 2015 年 6 月第 1 版） 厦门大学 林子雨 编著，人民邮电出版社 ISBN:978-7-115-39287-9 欢迎访问《大数据技术原理与应用》教材官方网站： /post/bigdata 《大数据技术原理与应用》 厦门大学计算机