传统并行计算框架与MR的区别.docxVIP

现在 MapReduce/Hadoop 以及相关的数据处理技术非常热，因此我想在这里将 MapReduce 的优势汇总一下，将 MapReduce 与传统基于 HPC 集群的并行计算模 型做一个简要比较，也算是对前一阵子所学的 MapReduce 知识做一个总结和梳 理。 　　随着互联网数据量的不断增长，对处理数据能力的要求也变得越来越高。 当计算量超出单机的处理能力极限时，采取并行计算是一种自然而然的解决之 道。在 MapReduce 出现之前，已经有像 MPI 这样非常成熟的并行计算框架了， 那么为什么 Google 还需要 MapReduce，MapReduce 相较于传统的并行计算框架 有什么优势，这是本文关注的问题。 　　文章之初先给出一个传统并行计算框架与 MapReduce 的对比表格，然后一 项项对其进行剖析。　 MapReduce 和 HPC 集群并行计算优劣对比 ▲ 　　在传统的并行计算中，计算资源通常展示为一台逻辑上统一的计算机。对 于一个由多个刀片、SAN 构成的 HPC 集群来说，展现给程序员的仍旧是一台计 算机，只不过这台计算拥有为数众多的 CPU，以及容量巨大的主存与磁盘。在 物理上，计算资源与存储资源是两个相对分离的部分，数据从数据节点通过数 据总线或者高速网络传输到达计算节点。对于数据量较小的计算密集型处理， 这并不是问题。而对于数据密集型处理，