并行计算机体系结构的第二章.pptVIP

2.3.6 粒度匹配加速比模型 前面我们提到的并行程序不包括并行化和任务间的互操作开销。并行化包括进行的管理、分配和查询等操作，开销来自软件系统；互操作包括进程间的同步、通信和集散等操作，开销取决于同步与通信系统的性能。 而并行化和互操作开销往往与程序的粒度紧密结合。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 补充：粒度及相关概念 粒度：衡量软件进程包含计算量的尺度。比如程序段中的指令数目。粒度分为粗、中、细三种粒度。 时延：各子系统之间通信开销的时间度量。例如存储器的时延就是存储器完成一次读写锁完成的时间，处理器时间就是各个处理器之间互相同步的时间。存储器容量越大时延越大，处理器数目越多时延越大。 粒度与时延密切相关。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 作业或程序 子程序，部分作业或程序 过程、子程序和任务 非递归循环或迭代 指令或语句 并 行 性 程 度 细粒度 中粒度 粗粒度 通 信 开 销 增 加 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 指令级：粒度一般包含的指令数小于20。细粒度的并行性在2~数千范围变化。 优点：可以充分利用机器资源。细粒度并行性的开发可以借助于优化编译器，自动检测并行性，并将源代码变成运行时系统能识别的并行形式。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 循环级：循环操作在连续迭代中不相关，循环级并行性是在并行或者向量计算机上运行的最有程序结构。但是递归循环的并行性优化难以实现。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 作业级：对应在并行处理机上并行执行的独立作业，粒度在单个程序中可以达到数万条指令。作业级并行性一般由加载程序和操作系统来处理。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 细粒度并行性在指令级或循环级上借助并行化或向量化编译器来开发，中粒度并行性的开发需要程序员和编译器协同工作，粗粒度级的并行性取决于高效的操作系统和算法效率。共享变量通信支持细粒度和中粒度，消息传递多计算机用于中粒度和粗粒度。 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 通信时延：不同的通信时延是由计算机体系结构、实现技术和通信方式决定的。时延是机器规模扩展的限制因素。比如存储器时延随着容量的增加而增大，所以存储器的容量不能无限制的增大。通信方式由算法和系统结构决定。 并行系统：缩小通信时延、防止死锁、优化粒度 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 2.3.6 粒度匹配加速比模型 并行程序设计的两个基本问题： 1.如何将一个程序分解为合适的粒度。以便获得尽可能短的运行时间。 2.在计算中最佳的并行粒度是多大。 Evaluation only. Created