超大集群的简单数据处理.docxVIP

超大集群的简单数据处理

MapReduce是一种编程模式，它可以实现处理、产生海量数据集。用户指定一个map函数，通过这个map函数处理键值对，并且产生一系列的中间键值对，然后使用reduce函数来合并所有的具有相同key值的中间键值对中值的部分。现实生活中的很多任务的实现都是基于这个模式的。使用这样的函数形式实现的程序可以自动分布到一个由普通机器组成的超大集群上并发执行。run-time系统会自动解决输入数据的分布细节、跨越集群的程序执行调度、处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统的资源。MapReduce系统可以在一个由普通机器组成的大型集群上实现运行，并且有着很高的扩展性：一个典型的MapReduce计算处理通常分布到上千台机器上来处理上TB的数据。程序员会发现这样的系统很容易使用：已经开发出来了上百个MapReduce程序，并且每天在Google的集群上有上千个MapReducejob正在执行。

在过去的5年中，Google实现了上百个用于特别计算目的的程序来处理海量的原始数据，比如蠕虫文档，web请求log，等等。用于计算出不同的数据，比如降序索引，不同的图示展示的web文档，蠕虫采集的每个host的page数量摘要，给定日期内最常用的查询等