51CTO下载【孟新】云计算第二版.pptVIP

* * * * * Rackspace（NYSE：RAX）全球三大云计算中心之一，成立于1998年，是一家全球领先的托管服务提供商，在全球拥有10个以上数据中心，管理超过64000台服务器。 * * * * * * * * * * * * * * （1）在用户程序中的MapReduce类库先将输入文件分割成大小在16-64Mb（由用 户参数控制）之间的块，然后将程序复制到集群中参与整个MapReduce过程的机器上。 （2）其中任务节点是一个很特殊的节点，其余的工作节点的任务都是由任务节点 分配的。任务节点分配好了M个Map任务和R个Reduce任务之后，将这些任务分配 给那些闲置的工作节点。（其实在此过程中，任务节点会多分配一个冗余任务给另一个 工作节点，无论哪一个任务先完成，都代表此任务已经完成，这样就避免了整个程序受 制于某一任务节点一直没有完成任务所带来的延时） （3）获得Map任务的工作节点负责从输入分块中读取内容，并且生成一个key, value的中间结果，并缓存于本地内存。 （4）同时，程序将内存中的数据写入本地磁盘中，并且将其分为R个区域，并将 此区域信息告知任务节点，以便完成后续工作。 （5）当大部分的Map工作完成后，任务节点通知所有的Reduce节点开始从Map节点的本地磁盘中远程读取中间数据，并将具有相同key值的数据做一个归并操作。 （6）Reduce节点