多核下可扩放确定性并行的MapReduce.pdfVIP

摘要 摘要 MapReduce是支持数据并行的简单有效的编程模型，它最初为集群编程而设 计。随着多核处理器的日益普及，研制面向多核的MapReduce编程库以充分利 用多核单机系统的计算资源也变得十分重要。现有的面向多核的MapReduce库， 任务间通信。由于线程交织运行的不确定性，当Reduce函数不可交换时，会导 致基于这些库的MapReduce应用在执行时产生不确定的、甚至是错误的行为。 本文旨在设计和实现一个确定的面向多核的MapReduce库，它不仅保证 MapReduce应用程序确定地并行执行，而且具有好的性能。本文的主要贡献如下： 省地内存隔离，只能通过显式声明的确定性通道进行通信。为提升并行执行的性 能，对DMR进行了一些优化，包括面向应用的调度等。 了DetMP的可编程性和编程规则。DetMP适合编写具有流水线并行的应用程序。 利用DetMP简单的通道编程接口，程序员无须管理线程间数据流的存储和并发 访问细节，简化了编程。但是，DetMP不能支持个别Phoenix应用中出现的