Hadoop分布式文件系统的模型分析-信息通信学术期刊网.PDF

电信 科 学 2010 年第 12 期 研 究与开发 Hadoop 分布式文件系统的模型分析 * 王 峰 ，雷葆 华 （ 中国电信股份有 限公 司北京研 究院 北京 100035） 摘 要 Hadoop 分 布 式 文 件 系 统 是 遵 循 Google 文 件 系 统 原 理 进 行 开 发 和 实 现 的 ，受 到 了业 界 极 大 关 注 ，并 已被 广 泛 应 用 。 鉴 于 当前 缺 乏 从 系统 设 计 理 论 的角 度 对 其 开 展 的相 关 研 究 ，本 文 从 Hadoop 分 布 式 文 件 系 统 架 构 的建 模 入 手 ，通 过 对 模 型 各 组 成 部 分 进 行 分 析 ，并 将 其 与 传 统 的分 布 式 文 件 系 统 进 行 比较 ，总结 出 Hadoop 分 布 式 文 件 系统 具 有 的海 量 、高 可 扩 展 性 、高 可 靠 性 、高 性 能 等 面 向云计 算 领 域 应 用 的重 要 特 征 。 本 文 有 助 于研 究 者 系 统 、 深 入 地 研 究 Hadoop 分 布 式 文 件 系 统 的设 计 与 实 现 ，并 为 云计 算 背 景 下 的分 布 式 文 件 系统 设 计 提 供 重 要 的参 考 。 关键 词 Hadoop 分 布式 文件 系统 ；系统模 型 ；云计 算 HDFS）是 具 有 高 可 靠 性 和 高 可 扩 展 性 的分 布 式 文 件 系 统 ， 1 引言 能 够 提 供 海 量 的文 件 存 储 能 力［1］ 。 它 的开 发 和 实 现 遵 循 了 Hadoop 分 布式 文 件 系统 （hadoop distributed file system ， Google 文 件 系 统 （Google file system ，GFS） 的核 心 原 理 ，而 GFS 作 为 Google 云计 算 核 心 技 术 体 系 的底 层 ，为相 关 技 术 * 国家高技术研 究 发展专项 经 费资助项 目（No.2008AA0 1A317-3） （ 如 MapReduce 分 布 式 计 算 模 型 、Bigtable 分 布 式 数 据 库 刘 伟 彦 ，张顺 颐 下 一 代 网络 中基 于 遗 传 算 法 的 组 播 路 由 2008. K-INGN 2008. First ITU-T Kaleidoscope Academic 2 . QoS 算 法 电子 与信 息 学 报 ： Conference， 2008 .