高性能并行计算..pptVIP

高性能并行计算 王正华 国防科技大学计算机学院 并行与分布处理国防科技重点实验室 内容 高性能并行计算 高性能并行计算机 并行算法 并行程序设计 面临问题与研究方向 什么是高性能计算 高性能计算(High Performance?Computing) 计算机科学的一个分支，它致力于研发超级计算机，开发相关系统软件，研究并行算法，开发相关大型并行应用软件。 性能的指标 浮点操作/秒(flops) Mflops：百万次每秒 Gflops：10亿次每秒 Tflops：万亿次每秒 Pflops：千万亿次每秒 其它指标：主存容量、外存容量、网络带宽等 高性能计算机的性能指标 峰值性能：理想情况下可获得的最高性能 实用性能：实际程序执行时候获得的性能 到目前为止，国际超级计算机500强排名(Top500) 都采用Linpack程序测试性能作为评价机器性能高低的指标 高性能计算的起因 科学和工程问题的数值模拟与仿真均需要大量计算，且要求在合理的时限内完成计算 秒级 制造业 分钟级 短时天气预报(当天) 小时级 中期天气预报(3~10日) 两类问题 尽可能快 长期天气预报(气候) 可计算 湍流模拟 对高性能的需求 核反应模拟 二维分子动力学计算 1014FLOPS(百万亿) 二维粒子输送计算 1015FLOPS(千万亿) 二维混合流体计算 1016FLOPS(亿亿) 三维物理、全系统模拟 1018FLOPS 计算空气动力学 15分钟内完成对飞机机翼大涡流模拟 1015FLOPS 15分钟完成对整架飞机大涡流模拟 1018FLOPS 对高性能的需求(续) 数值气象预报 以40公里分辨率进行多世纪气候模拟 50Tflops 以20公里分辨率进行多世纪气候模拟 250Tflops 以20公里分辨率进行多世纪气候综合模拟 1000Tflops 其他领域 油藏模拟、物理学、化学、天文学、数学、生命科学 国外研究结论：12个领域的62种应用需要千万亿次能力以上计算机。 并行是实现高性能计算的途径 单处理器性能有限 Cray X1向量处理器：12.8 Gflops IBM PowerPC： 8 Gflops Intel Itanium 2： 6 Gflops Intel Pentium Xeon： 6.4 Gflops AMD Opteron： 4 Gflops 并行计算：使用多个处理器或多台计算机来协同完成同一计算任务 并行超级计算机的当前水平 内容 高性能并行计算 高性能并行计算机 并行算法 并行程序设计 面临问题与研究方向 并行计算机硬件体系结构(一) 共享存储结构 各CPU共享主存 单一地址空间 规模可扩展性差，节点数一般小于64 并行计算机硬件体系结构(二) 分布存储结构 不同CPU具有各自的主存 分离的地址空间 规模可扩展性较好 并行计算机硬件体系结构(三) 层次结构 每个节点内共享主存，节点间不共享主存 规模可扩展性好 BlueGene/L原型机 ASCI Q 1024节点，每节点8cpu 峰值10240Gflops，实测7727Gflops ASCI white 512节点，每节点16处理器，共8192处理器 峰值性能12.3Tflops，实测性能7.22Tflops Cray X1 504个向量CPU, 每个峰值性能12.8 Gflops 峰值性能6.4 Tflops，实测性能5.9 Tflops Earth Simulator 640节点，每节点6 CPU 峰值性能40TFlops，实测性能35.86TFlops 占地4个网球场大，功耗7千KW 联想深腾6800 1060颗Itanium2 CPU 峰值性能5.3万亿次，实测性能4.183万亿次 并行计算机软件结构 内容 高性能并行计算 高性能并行计算机 并行算法 并行程序设计 面临问题与研究方向 并行算法 定义 算法：求解问题的方法和步骤 并行算法：用多个CPU联合求解问题的方法和步骤 并行算法设计的目标 开发问题求解过程中的并行性 寻求并行算法与并行结构的最佳匹配 合理地组织并行任务，减少额外开销 并行算法的设计原则 根据问题求解过程，把任务分成若干子任务 根据处理数据的方式，形成多个相对独立的数据区，由不同的处理器分别处理 将一个循环分成多个循环并行执行 并行算法范型 并行算法范型(Parallel Algorithmic Paradigms) 构造并行算法的方法，以使其能在并行机上运行 五种常见并行算法范型 阶段并行(phase parallel) 分治(divide and conquer) 流水(pipeline) 主从式(master-slave ) 工作池(workpool) 阶段并行 程