2021年整理MapReduce Simplified Data Processing on Large Clusters翻译版).pptxVIP

超大集群的简单数据处理;? 第 页;? 第 页;使用的网络设备都是常用的。一般在节点上使用的是 100M/或者千M 网络，一般情况下都用 不到一半的网络带宽。 一个 cluster 中常常有成百上千台机器，所以，机器故障是家常便饭。 存储时使用的便宜的IDE 硬盘，直接放在每一个机器上。并且有一个分布式的文件系统来管 理这些分布在各个机器上的硬盘。文件系统通过复制的方法来在不可靠的硬件上保证可用性 和可靠性。 用户向调度系统提交请求。每一个请求都包含一组任务，映射到这个计算机 cluster 里的一组 机器上执行。 3.1 执行概览 Map 操作通过把输入数据进行分区（partition）（比如分为M 块），就可以分布到不同的机器上执行 了。输入块的拆成多块，可以并行在不同机器上执行。Reduce 操作是通过对中间产生的key 的分布 来进行分布的，中间产生的 key 可以根据某种分区函数进行分布（比如 hash(key) mod R）,分布成为 R 块。分区（R）的数量和分区函数都是由用户指定的。;? 第 页;? 第 页;? 第 页;? 第 页;? 第 页;? 第 页;;;5.5 失效的机器 在图三（c）中，我们演示了在sort 程序执行过程中故意暂时杀掉 1746 个worker 中的 200 个worker 进程的执行情况。底层的集群调度立刻在这些机器上重新创建了新的 worker 处理（因为我们只是把 这些机器上的处理进程杀掉，而机器依旧是可以操作的）。 因为已经完成的map work 丢失了（由于相关的map worker 被杀掉了），需要重新再作，所以 worker 死掉会导致一个负数的输入速率。相关 map 任务的重新执行很快就重新执行了。整个计算过程在 933 秒内完成，包括了前边的启动时间（只比正常执行时间多了 5%的时间）。 6 经验 我们在 2003 年 1 月写了第一个版本的MapReduce 函数库，并且在 2003 年 8 月作了显著的增强， 包括了本地优化，worker 机器之间的动态负载均衡等等。自那以后，MapReduce 函数库就广泛用于 我们日常处理的问题。它现在在Google 内部各个领域内广泛应用，包括： 。大尺度的计算机学习问题。 。Google News 和Froogle 产品的集群问题。 。从公众查询产品（比如Google 的Zeitgeist）的报告中抽取数据。 。从 web 网页作新试验和抽取新的产品（例如，从大量的 webpage 中的本地查找抽取物理位置信息）。 。大尺度的图型计算。;? 第 页;? 第 页;? 第 页;? 第 页;? 第 页;? 第 页