系统学习分布式块存储.docVIP

目录 目录 1 1 HDFS综述 4 1.1 引言 4 1.2 HDFS体系结构 4 1.2.1 Namenode 5 1.2.2 Datanode 5 1.2.3 文件系统的名字空间(namespace) 5 1.2.4 Secondary Namenode 6 1.3 HDFS数据组织 6 1.3.1 HDFS数据流-读文件 6 1.3.2 HDFS数据流-写文件 7 1.4 HDFS数据复制 8 1.4.1 副本存放 8 1.4.2 副本选择 9 1.4.3 多副本写策略 9 1.5 HDFS元数据组织 10 1.5.1 HDFS元数据及其修改的存放位置 10 1.5.2 HDFS元数据的持久化 10 1.6 HDFS健壮性 11 1.6.1 磁盘数据错误、心跳检测和重新复制 11 1.6.2 数据完整性 11 1.6.3 元数据磁盘错误 11 1.6.4 存储空间回收 12 1.6.5 负载均衡 12 1.7 总结 13 1.8 参考文献 13 2 Google FS 概述 14 2.1 背景介绍 14 2.2 GFS体系结构 15 2.3 数据组织 16 2.3.1 读写流程 16 2.4 元数据组织 19 2.5 副本放置策略 20 2.6 多副本的写策略 21 2.7 一致性策略 22 2.8 节点状态管理 23 2.8.1 消息通信 23 2.8.2 副本状态管理：