基于主流云计算技术的集群三元空间提取方法精选.pdfVIP

电信科学 年第 期 2010 10 云计算专栏 基于主流云计算技术的集群三元空间提取方法* 1 1, 2 许春玲 ，张广泉 (1.苏州大学计算机科学与技术学院 苏州215006 ； 2. 中国科学院计算机科学国家重点实验室 北京100080) 摘要 本文对目前代表性的云计算技术进行了回顾，选择其中的 HDFS 提取主要组成元素分析整理，抽象 出若干对象集和关系集，进而提出集群三元空间。从抽象层面回归到具体实现，HDFS 对集群三元空 间的实现采用了集中式结构，形成了系统性能的瓶颈以及集群扩展的滞点。 集群三元空间从抽象层 面，剔除具体实现因素之后，给出了系统分析与问题定义的背景。 关键词 HDFS ；集群三元空间；GFS ；Sector/Sphere 1 引言 2 代表性的云计算技术 目前代表性的云计算技术有Google 计算平台、Sector/ 2.1 Google 计算平台 Sphere 和 Hadoop 。其中，Google 计算平台和 Hadoop 的主体 Google 计算平台目前公之于众的组成部分包括文件 框架基本相同，Sector/Sphere 与前两者的不同在于：Google 系统 GFS 、任务分配的 MapReduce 、锁服务 Chubby 以及结 计算平台和 集群的节点在一个数据中心， 相对的 构化数据存储工具 ，彼此之间的关系如图 所示。 Hadoop Bigtable 1 支持高速网络（ 或更高）连接的多个 文件系统 架构如图 所示， 由一个 和多 Sector/Sphere 10 Gbit/s GFS 2 Master 地理上分布的集群以及吞吐大数据集。 三者的共同点在于 个 chunkserver 组成 ， 用户文件被分成 chunk 分布在 都采用 Master/Slave 结构， 不管哪一类集群都由惟一的 chunk-server 上。 客户端与 Master 交换元数据，而数据读写 Master 指挥，元数据也集中存储于 Master 。 考虑到这一共 则是直接与 chunkserver 进行。 MapReduce 的实现基于 同点以及开源透明度和市场占有率， 我们以其中的 MapReduce 范式， 是用于处理和生成大数据集的编程框 Hadoop 文件系统 HDFS 为代表做针对性的研究。文中分析 引用如未特别说明，均以 Hadoop-0.17.1 、Linux kernel 2.4.0 为基础。 * 国家自然科学基金资助项目（No）， 中国科学院计算 机科学国家重点实验室开放课题（No.SYSKF0908 ）, 江苏省高 校自然科学研究项目（No.08KJB520010 ） 图1 Google 计算平台