并行执行时间.ppt

Parallel Computer Architecture并行计算机体系结构Lecture 2 2014.7.28 彭蔓蔓 (pengmanman@) Chapter 2 性能评测 什么是并行计算机的基本性能? 为什么要研究机器的性能评测？ 如何评测计算机的性能？ 机器级性能评测 算法级性能评测 程序级性能评测 如何提高并行系统的性能？ 计算机的性能 Performance: 通常是指机器的速度，它是程序执行时 间的倒数。 程序执行时间：是指用户的响应时间 ，包括访问磁盘和存储器的时间、CPU时间、I/O时间以及操作系统的开销。 CPU时间：表示CPU的工作时间，不包括I/O等待时 间和运行其它任务的时间。 CPU性能公式 机器的时钟周期为TC，程序中指令总条数为IN，执行每条指令所需的平均时钟周期数为CPI，则一个程序在CPU上运行的时间 TCPU为： TCPU =IN×CPI×TC （2.1） TC：反映了计算机实现技术、生产工艺和计算机组织。 CPI：反映了计算机实现技术、计算机指令集的结构和计算机 组织。 IN：反映了计算机指令集的结构和编译技术。 CPU性能公式（cont‘d） 对CPU性能公式进行进一步细化 并行机的性能指标 为什么要研究并行机的性能评测 发挥并行机长处，提高并行机的使用效率 减少用户购机盲目性，降低投资风险 改进系统结构设计，提高机器的性能 促进软/硬件结合，合理功能划分 优化 “结构-算法-应用”的最佳组合 提供客观、公正的评价并行机的标准 如何评测并行机的性能 机器级性能评测：CPU和存储器的某些基本性能指标；并行和通信开销分析；并行机的可用性与好用性以及机器成本、价格与性/价比 算法级性能评测：加速比、效率、扩展性 程序级性能评测：Benchmark 机器级性能评测 CPU的某些基本性能指标 工作负载：计算操作的数目 执行时间 指令数目 浮点运算数 并行执行时间 T n = T comput + T paro+ T comm 其中，T comput 为计算时间，T paro 为并行开销时间，T comm为相互通信时间。 机器级性能评测（cont‘d) 存储器的层次结构（容量C、延迟L和带宽B) 估计存储器的带宽 RISC指令 add r1,r2,r3 register 8bytes，主频100MHz 存储带宽B = 3*8*100*106 B/s= 2.4GB/s 机器级性能评测（cont) 并行和通信开销：相对于计算要大很多。 PowerPC (每个周期 15ns，可执行4flops; 创建一个进程1.4ms，可执行372000flops) 开销的测量：乒--乓方法（Ping-Pong Scheme） 节点0发送m个字节给节点1；节点1从节点0接收m个字节后，立即将消息发回节点0。总的时间除以2，即可得到点到点通信时间，也就是执行单一发送或接收操作的时间。 可一般化为热土豆法（Hot-Potato），也称为救火队法（Fire-Brigade) ：0→1 → 2 → … → -n-1→ 0 ，最后时间除以n即可。 Ping-Pong Scheme if （my _node _id =0） then /*发送者*/ start _time =second（ ） send an m-byte message to node 1 receive an m-byte message from node 1 end_time = second（ ） total_time = end_time – start_time communication_time[i] = total_time/2 else if （my_node_id = 1） then /*接收者*/ receive an m-byte message from node 0 send an m-byte message to node 0 endif 并行开销的表达式：点到点通信 Transfer time (m) = T0 + m/γ∞ ≈T0 + m/B （2.15） useful for message passing, memory access, vector ops etc 其中T0为启动时间；γ∞是渐近带