并行计算机体系结构第二章.ppt

2.3.8 并行系统的并行质量 并行计算冗余度表示程序并行化后负载增加的程度，也可以用来分析软硬件之间并行性的匹配程度。 设程序在P处理机和单处理机上运行的总操作数分别为I(P)和I(1)，则并行计算的冗余度R(P)定义为 R(P)=I(P)/I(1) 2.3.8 并行系统的并行质量 并行系统利用率U(P)表示并行程序在并行处理机上运行时保持忙碌状态资源的百分比。 U(P)=R(P)E(P) 如果处理机的CPI=1，则有I(1)=T(1)，此时有 2.3.8 并行系统的并行质量 并行计算质量是用加速比、效率和冗余度的综合效果来表征在并行系统上并行计算的相对性能。并行计算的质量用Q(P)来表示。 Q(P)=S(P)E(P)/R(P) 2.3.6 粒度匹配加速比模型 前面我们提到的并行程序不包括并行化和任务间的互操作开销。并行化包括进行的管理、分配和查询等操作，开销来自软件系统；互操作包括进程间的同步、通信和集散等操作，开销取决于同步与通信系统的性能。 而并行化和互操作开销往往与程序的粒度紧密结合。 2.3.6 粒度匹配加速比模型 补充：粒度及相关概念 粒度：衡量软件进程包含计算量的尺度。比如程序段中的指令数目。粒度分为粗、中、细三种粒度。 时延：各子系统之间通信开销的时间度量。例如存储器的时延就是存储器完成一次读写锁完成的时间，处理器时间就是各个处理器之间互相同步的时间。存储器容量越大时延越大，处理器数目越多时延越大。 粒度与时延密切相关。 2.3.6 粒度匹配加速比模型 作业或程序 子程序，部分作业或程序 过程、子程序和任务 非递归循环或迭代 指令或语句 并 行 性 程 度 细粒度 中粒度 粗粒度 通 信 开 销 增 加 2.3.6 粒度匹配加速比模型 指令级：粒度一般包含的指令数小于20。细粒度的并行性在2~数千范围变化。 优点：可以充分利用机器资源。细粒度并行性的开发可以借助于优化编译器，自动检测并行性，并将源代码变成运行时系统能识别的并行形式。 2.3.6 粒度匹配加速比模型 循环级：循环操作在连续迭代中不相关，循环级并行性是在并行或者向量计算机上运行的最有程序结构。但是递归循环的并行性优化难以实现。 2.3.6 粒度匹配加速比模型 作业级：对应在并行处理机上并行执行的独立作业，粒度在单个程序中可以达到数万条指令。作业级并行性一般由加载程序和操作系统来处理。 2.3.6 粒度匹配加速比模型 细粒度并行性在指令级或循环级上借助并行化或向量化编译器来开发，中粒度并行性的开发需要程序员和编译器协同工作，粗粒度级的并行性取决于高效的操作系统和算法效率。共享变量通信支持细粒度和中粒度，消息传递多计算机用于中粒度和粗粒度。 2.3.6 粒度匹配加速比模型 通信时延：不同的通信时延是由计算机体系结构、实现技术和通信方式决定的。时延是机器规模扩展的限制因素。比如存储器时延随着容量的增加而增大，所以存储器的容量不能无限制的增大。通信方式由算法和系统结构决定。 并行系统：缩小通信时延、防止死锁、优化粒度 2.3.6 粒度匹配加速比模型 并行程序设计的两个基本问题： 1.如何将一个程序分解为合适的粒度。以便获得尽可能短的运行时间。 2.在计算中最佳的并行粒度是多大。 2.3.6 粒度匹配加速比模型 组合粒度前程序图 细粒度 每个节点用（n,s） 表示。n为节点名 s为节点粒度。 两个节点之间的边 记为（v,d），v表示 输出或者输入的变量 d表示节点之间的通 信延时 组合粒度后 程序图 粗粒度 粗细粒度比较 2.3.6 粒度匹配加速比模型 粒度组合先用细粒度获得较高的并行度，然后分析加大粒度是否会消除一些不必要的通信延迟或降低总的调度开销。 细粒度可以更好的利用资源，但是可能需要更多的处理机之间的通信。 粒度组合需要在并行性和调度开销中间取折中 2.3.6 粒度匹配加速比模型 单一依靠粒度组合，不一定就能得到一个好的调度调度方案。动态处理机调度是NP难解问题，通常需要采用启发式方法以便得到局部优解。我们主要介绍静态处理机调度方式。 2.3.6 粒度匹配加速比模型 结点复制：将某一处理机上的数据复制到其他处理机，达到降低处理机间通信延迟的目标。 结点复制前后调服方案 2.3.6 粒度匹配加速比模型 通常需要将粒度组合和结点复制结合起来来确定最佳力度和调度方案。步骤： 1.构造细粒度程序图 2.调度细粒度运算 3.进行力度组合得到粗粒度 4.在组合图基础上产生并行调度方案 2.3.6 粒度匹配加速比模型 静态多处理机调度的程序分解 2.3.6 粒度匹配加速比模型 1.细粒度分解： 乘法器 101个周期 加法器 8个周期 2.3.6 粒度匹配加速比模型