并行计算模型MapReduce.pdfVIP

MapReduce —并行计算模式及其应用 杨文川 2014.2 主要内容 • 1) MapReduce产生背景 • 2) MapReduce编程模型 • 3) MapReduce实现机制 • 4) MapReduce案例分析 MapReduce 一种处理海量数据的并行编程模式，用于大规模数据集 （通常大于1TB）的并行运算。  “Map （映射）”、“Reduce （化简）”的概念和主要 思想，都是从函数式编程语言和矢量编程语言借鉴 适合非结构化和结构化的 海量数据的搜索、挖掘、 分析与机器智能学习等 MapReduce 计算模型 • 分布式计算的瓶颈是网络带宽 • “本地计算”是最有效的一种节约 网络带宽的手段