HDFS原理和适用场景.pdf

MapReduce原理及适用场景 HDFS 原理及适用场景 （V1.0 ） 北京神州数码思特奇信息技术股份有限公司 二〇一三年七月 文档信息 文档名称 HDFS 原理及适用场景 电子文档 HDFS 原理及适用场景 文件状态 ■ 草 稿 □ 正式发布 □ 正在修改 1 MapReduce原理及适用场景 编 写 人 zhouming 日 期 2011 年 10 月 27 日 校 对 人 日 期 年 月 日 审 核 人 日 期 年 月 日 批 准 人 日 期 年 月 日 变更记录 变更 变更 变更前 变更后 批准 变更原因 更改人 生效日期 备注 序号 页码 版本号 版本号 人 1 文档建立 1.0 1.0 zhouming 2011-10-27 2 3 4 5 6 2 MapReduce原理及适用场景 1 概述 HDFS是 Hadoop技术框架中的分布式文件系统。行使部署在多台独立物理机器上的文件进行管理功能。 本文重点介绍 HDFS适用的场景， MapReduce 的读写大致过程 , 核心 FSNameSystem层次结构以及根据一 个示例来介绍 HDFS在 web 开发中的应用。 2 HDFS特点及适用场景 2.1 HDFS 特点 [1] 适合运行在通用硬件，错误检测和快速、自动的恢复能力好 [2] 支持大文件存储，能提供比较高的数据传输带宽与数据访问吞吐量 [3] 计算环境移动到数据存储的地方，而不是把数据传输到计算环境运行的地方，有效减少网络的拥 塞、提高系统的吞吐量。 2.2 HDFS 适用场景 [1] 网站用户行为分析 [2] 生态系统数据分析 [3] 气象数据分析 2.3 HDFS 不适用场景 [1] 低时间延迟数据访问的应用。例如几十毫秒范围， 原因： hdfs 是为高数据吞吐量应用优化的，这样就造成可能会以高时间延迟为代价 [2] 大量小文件 原因 ： namenode 将文件系统的元数据存储在内存中，因此文件系统所能存储的文件总数受限于 namecode 内存容量。根据经验，每个文件，目录和数据块的存储信息大约占 150 字节，如果一百万 个文件，且每个文件占一个数据块，那至少需要 300MB 的内存，但是如果存储十亿个文件，那么需 要的内存将是非常大的