用大数据武装”云”：基于云计算的大数据处理技术.pdfVIP

N 新应用 ew Application 用大数据武装”云”：基于云计算 的大数据处理技术 □张焰 李杨 新华通讯社技术局 【摘要】 随着互联网、移动互联网和物联网的发展，我们已经迎来了数据大爆炸的时代，数据的快速增长带来了数据存储、处理、 分析的巨大压力，而大数据技术（Big data ）的引入，不但满足了系统功能和性能的要求，带来良好的可扩展性，降低了 IT 部署的成本， 还拓展了数据智能分析的应用领域。同时，大数据分析与云计算的发展密切相关，云计算是大数据处理的基础，而大数据技术是云计 算的延伸，云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基 础上的大数据处理技术，包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。 【关键词】 云计算 大数据 MapReduce Hadoop 一、大数据 越传统 的数据库软件工具 。Hadoop 经常在构建大数据解决 1.1 什么是大数据 方案时被用作基础构架软件 。 大数据概念可以从 四个维度去解 ，即三个 V 和一个 C。 二、大数据技术综述 三个 V 分别指的是数据量大 （Volume ）、数据种类多 （Variety ） 大数据处理不仅仅是 Hadoop ，许 多特定 的数据应用场 和数据增长速度快 （Velocity ），最后一个 C 指 的是处理 、 景是需要实时分析和互动反馈 的，这时候就需要利用包括 内 升级或利用大数据 的分析手段 比处理结构化数据要复杂的多 存检索、流处理和实时计算等其他技术 。而云计算 的分布式 （Complexity ）。大数据分析常和云计算联 系到一起 ，因为 存储和计算架构开启 了大数据技术研究 的大门，打造健全 的 实时的大型数据集分析需要像 Map-Reduce 一样 的并行计算 大数据生态环境 ，所有这些技术结合在一起 ，才是一个完整 框架将复杂的计算任务分配到 “云”中成百上千的节点。 的大数据处理系统 。 1.2 大数据与云计算 2.1 分布式计算框架 大数据本身就是一个 问题集 ，云计算技术是 目前解决大 MapReduce 是 Google 开发的一种简化的分布式编程模型 数据问题集最重要最有效 的手段 。云计算提供 了基础 的架构 和高效 的任务调度模型 ，用于大规模数据集 （大于 1TB ）的 平 台，大数据应用在这个平 台上运行 。 目前公认为分析大数 并行运算 ，使云计算环境下的编程变得十分简单 。 据集最有效手段 的分布式处理技术 ，也是云计算思想 的一种 MapReduce 将数据处理任务抽象为一系列的 Map （映射 ） 具体体现。 和 Reduce （化简 ）操作对 。Map 主要完成数据的分解操作 ， 云计算是分布式处理 、并行处理和网格计算 的发展 ，或 Reduce 主要完成数据的聚集操作．输入输出数据均以 〈key ， 者说是这些计算机科学概念 的商业实现。云计算将 网络上分 value 〉格式存储．用户在使用该编程模型时 ，只需按照 自己 布的计算 、存储 、服务构件 、网络软件等资源集 中起来 ，基 熟悉 的语 言实现 Map 函数 和 Reduce 函数 即可 ，MapReduce 于资源虚拟化的方式 ，为用户提供方便快捷 的服务 ， 实