基于信号量分布式计算推测执行机制.pdfVIP

分布式计算系统，什么叫做推测执行。

比如说你有10台机器，每台机器上了100G的数据，你现在可以分配10个计算任务，

每个计算任务分散在一个机器上负责计算那台机器上的100G的数据，分布式计算。但是

有一种可能，可能你在计算的过程中

可能会出现说某台机器上的计算任务执行的过慢，有这种可能，机器上的磁盘有点故障或者

问题，或者是那台机器上当前cpu负载特别高，就导致计算任务运行的比较慢

推测执行机制，hadoop分布式的架构的话，肯定数据是有冗余的副本的，10台机

器，每台机器是100G的数据。但是一份数据拆分为了10份，数据副本的概念，同一份数据

可能在多台机器上都有副本

每台机器上，是有300G的数据，每个100G的原始数据都有另外2个副本，每个副本也是

300G的数据，每一份数据，是100G原始数据+200G的副本数据，散落在10台机器上，

每台机器上是有300G的数据

副本1在机器1，副本2在机器3，副本3在机器5

可以仅仅只是分配一个计算任务到机器1上去来进行计算，万一上面的计算任务特别的慢

呢？内存里在进行长时间的fullgc导致计算卡顿。可以分配一个计算任务的多个副本到多台

机器上去