并行计算 - 南京大学计算机科学与技术系.pdf

并行计算 —— 结构•算法•编程 主讲教师：谢磊 并行计算—— 结构• 算法•编程  第一篇 并行计算的基础  第一章 并行计算机系统及其结构模型  第二章 当代并行机系统：SMP、MPP和Cluster  第三章 并行计算性能评测  第二篇 并行算法的设计  第四章 并行算法的设计基础  第五章 并行算法的一般设计方法  第六章 并行算法的基本设计技术  第七章 并行算法的一般设计过程 2 2011/9/13 并行计算—— 结构• 算法•编程  第三篇 并行数值算法  第八章 基本通信操作  第九章 稠密矩阵运算  第十章 线性方程组的求解  第十一章 快速傅里叶变换  第四篇 并行程序设计  第十二章 并行程序设计基础  第十三章 并行程序设计模型和共享存储系统编程  第十四章 分布存储系统并行编程  第十五章 并行程序设计环境与工具 3 2011/9/13 第一章并行计算机系统及结构模型  1.1 并行计算  1.1.1 并行计算与计算科学  1.1.2 当代科学与工程问题的计算需求  1.2 并行计算机系统互连  1.2.1 系统互连  1.2.2 静态互联网络  1.2.3 动态互连网络  1.2.4 标准互联网络  1.3 并行计算机系统结构  1.3.1 并行计算机结构模型  1.3.2 并行计算机访存模型 4 2011/9/13 并行计算 并行计算  并行机上所作的计算，又称高性能计算或超级计 算。  Parallel Computing ：Multiple processes cooperating to solve a single problem.  A Parallel Computer is a “collection of processing elements that communicate and cooperate to solve large problem fast” [David E. Culler] 三大科学  计算科学、理论科学与实验科学 计算科学  计算物理、计算化学、计算生物等 5 2011/9/13 并行计算 科学与工程问题的需求  气象预报、油藏模拟、核武器数值模拟、航天器 设计、基因测序等。  需求类型  计算密集、数据密集、网络密集。  美国HPCC计划：重大挑战性课题，3T性能  美国Petaflops研究项目：Pflop/s。  美国ASCI计划：核武器数值模拟。 6 2011/9/13 高性能计算机 Period Supercomputer Peak speed Location 1946– 1956 U. of Pennsylvania ENIAC 50 kFLOPS Aberdeen Proving Ground, Maryland, USA 1956– 1958 MIT TX-0 83 kFLOPS