Hadoop分布式文件系统-架构和设计说明.docVIP

. . word版本 Hadoop分布式文件系统：架构和设计 TOC \o 1-3 \h \u Hyperlink \l _To言 PageRef _To\h2 Hyperlink \l _To 前提和设计目标 PageRef _To\h2 Hyperlink \l _Toc191040901 hadoop和云计算的关系 PageRef _To\h2 Hyperlink \l _Toc191040912 流式数据访问 PageRef _To\h2 Hyperlink \l _Toc191040923 大规模数据集 PageRef _To\h2 Hyperlink \l _Toc191040934 简单的一致性模型 PageRef _To\h3 Hyperlink \l _Toc191040945 异构软硬件平台间的可移植性 PageRef _To\h3 Hyperlink \l _Toc191040956 硬件错误 PageRef _To\h3 Hyperlink \l _To HDFS重要名词解释 PageRef _To\h3 Hyperlink \l _Toc191040971 Namenode PageRef _To\h4 Hyperlink \l _Toc191040982 secondary Namenode PageRef _To\h5 Hyperlink \l _Toc191040993 Datanode PageRef _To\h6 Hyperlink \l _Toc191041004 jobTracker PageRef _To\h6 Hyperlink \l _Toc191041015 TaskTracker PageRef _To\h6 Hyperlink \l _To HDFS数据存储 PageRef _To\h7 Hyperlink \l _Toc191041031 HDFS数据存储特点 PageRef _To\h7 Hyperlink \l _Toc191041042 心跳机制 PageRef _To\h7 Hyperlink \l _Toc191041053 副本存放 PageRef _To\h7 Hyperlink \l _Toc191041064 副本选择 PageRef _To\h7 Hyperlink \l _Toc191041075 安全模式 PageRef _To\h8 Hyperlink \l _To HDFS数据健壮性 PageRef _To\h8 Hyperlink \l _Toc191041091 磁盘数据错误，心跳检测和重新复制 PageRef _To\h8 Hyperlink \l _Toc191041102 集群均衡 PageRef _To\h8 Hyperlink \l _Toc191041113 数据完整性 PageRef _To\h8 Hyperlink \l _Toc191041124 元数据磁盘错误 PageRef _To\h8 Hyperlink \l _Toc191041135 快照 PageRef _To\h9 引言 云计算（cloud computing)，由位于网络上的一组服务器把其计算、存储、数据等资源以服务的形式提供给请求者以完成信息处理任务的方法和过程。在此过程中被服务者只是提供需求并获取服务结果，对于需求被服务的过程并不知情。同时服务者以最优利用的方式动态地把资源分配给众多的服务请求者，以求达到最大效益。 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用