从并行计算到云计算之mapreduce.docVIP

从并行计算到云计算之 map/reduce Map/Reduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（归约），它极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 Map/Reduce历史可以追溯到1956年，一种人工智能语言List就包含了我们现在所采用的Map/Reduce功能。让我们回到50年前看看在List中的Map和Reduce。 下面的List语句定义的这个Map操作是将向量（1 2 3 4 5）和（10 9 8 7 6）进行相乘的操作，输出也为向量（10 18 24 28 30）。 （map vector #*#(1 2 3 4 5)#(10 9 8 7 6))-#(10 18 24 28 30) 下面的List语句定义的这个Reduce操作是将向量（1 2 3 4 5 6 7 8 9 10）中的元素进行求和的Reduce操作，输出结果为55。 (reduce #+#(1 2 3 4 5 6 7 8 9 10))-55 计算力和存储能力是云计算的两大重要话题，因此云计算采用Map/Reduce也是情理之中的。目前Map/Reduce已经有多种实现，除了谷歌自己的实现外，还有著名的hadoop，区别是谷歌