基于Spark的大数据混合计算模型-计算机系统应用.PDFVIP

计 算 机 系 统 应 用 2015 年 第 24 卷 第 4 期 ① 基于Spark 的大数据混合计算模型 1 1 1,2 胡 俊 , 胡贤德 , 程家兴 1(安徽新华学院 信息工程学院, 合肥 230088) 2(安徽大学 计算机科学与技术学院, 合肥 230031) 摘 要: 现实世界大数据应用复杂多样, 可能会同时包含不同特征的数据和计算, 在这种情况下单一的计算模式 多半难以满足整个应用的需求, 因此需要考虑不同计算模式的混搭使用. 混合计算模式之集大成者当属 UCBerkeley AMPLab 的 Spark 系统, 其涵盖了几乎所有典型的大数据计算模式, 包括迭代计算、批处理计算、内 存计算、流式计算(Spark Streaming)、数据查询分析计算(Shark)、以及图计算(GraphX). Spark 提供了一个强大的 内存计算引擎, 实现了优异的计算性能, 同时还保持与Hadoop 平台的兼容性. 因此, 随着系统的不断稳定和成熟, Spark 有望成为与 Hadoop 共存的新一代大数据处理系统和平台. 本文详细研究和分析了 Spark 生态系统, 建立了 基于 Spark 平台的混合计算模型架构, 并说明通过 spark 生态系统可以有效地满足大数据混合计算模式的应用. 关键词: 大数据; 混合计算模式; spark; 弹性分布数据集 Big Data Hybrid Computing Mode Based on Spark 1 1 1,2 HU Jun , HU Xian-De , CHEN Jia-Xing 1(School of Information Engineering, Anhui Xinhua University, Hefei 230088, China) 2(College of Computer Science and Technology, Anhui University, Hefei 230031, China) Abstract: The use of big data in the real world was complicated. It may contain different characteristic of data and computing. In this case, the single computing mode was mostly difficult to met the application requirements. Therefore we need to consider different computing mode of mix use. The ultimate evolution of hybrid computing mode is spark system which invented by UCBerkeley AMPLab. It covers almost all the typical big data computing mode, including iterative computing, batch computing, memory computing, flow computing (Spark Streaming), data query analysis (Shark), and map computing (GraphX). Spark provides a powerful memory computing engine and implents computing with excellent performance, while maintaining compatibility with the Hadoop pl