大数据处理平台比较与分析-云计算论坛.pdfVIP

综述与评论 Review and Comment 大数据处理平台比较与分析 ， ， 何 海 林 1 2 皮 建 勇 1 2 ， 贵州大学 计算机科学与信息学院 贵州 贵阳 （1. ， 550025 ； 贵州大学 云计算与物联网研究中心 贵州 贵阳 2 . ， 550025 ） 摘 要 虽 然 以 和 分 布 式 系 统 ） 为 核 心 的 已在 大规 模 数 据 密 集 ： MapReduce Hadoop （HDFS Hadoop 的 商 业领 域 成 功 应 用 ， 但 是 对 于 多 个 并 行 操 作 之 间 重 用 工 作 数 据 集 却 表 现 不 佳 。 作 为 对 其 的 一 种 补 充 ， 本 文 介 绍 了 Spark 。 首 先 介 绍 Hadoop 的 MapReduce 与 HDFS 基 本 概 念 与 设 计 思 想 ， 然 后 介 绍 了 Spark 的 基 本 概 念 与 思 想 ， 并 且 着 重 介 绍 了 弹 性 分 布 式 数 据 集 RDD ， 并 通 过 实 验 证 明 和 分 析 对 比 了 Hadoop 与 Spark 。 关键词： Hadoop ；MapReduce ；HDFS ；Spark ；弹 性 分 布 式 数 据 集 中图分类号： TP183 文献标识码： A 文章编号： 1674-7720 （2015 ） 11-0007-03 Big data processing platform comparison and analysis ， ， 1 2 1 2 He Hailin ，Pi Jianyong （ 1.College of Computer Science and Information ，Guizhou University ，Guiyang 550025 ，China ； 2 .Research Centre of Cloud Computing and Internet of Things ，Guizhou University ，Guiyang 550025 ，China ） Abstract ： While MapReduce and Hadoop Distributed File System are used as the core of large-scale data-intensive business ， applications very successfully but performance of the work for reuse across multiple datasets in parallel is poor. As a supplement