《并行计算》课程复习.DOC

《并行计算》课程总结与复习 2017/5/15 第一篇 并行计算硬件平台：并行计算机 Ch1 并行计算与并行计算机结构模型 1.1 计算与计算机科学 1.2 单处理机与指令级并行 1.3 多核处理器与线程级并行 何谓多核处理器及意义 微处理器中的并行方式 ILP, TLP, 多任务OS, SMT, CMP, 虚拟化技术 Intel超线程技术 1.4 并行计算机体系结构 并行计算机结构模型 SISD, SIMD, MISD, MIMD； SIMD, PVP, SMP, MPP, COW(Cluster), DSM 并行计算机访存模型 UMA,NUMA,COMA,CC-NUMA,NORMA 不同存储结构的并行机系统(P20图1.11) 1.5 更多的并行计算概念 PFLOPS, TFLOPS, GFLOPS TOP500中的Rmax和Rpeak指标 Ch2 并行计算机系统互连与基本通信操作 2.1 并行计算机互连网络 并行计算机的互连方式 静态互连：LA(LC), MC, TC, HC；(P42表2.1 各种网络特性表) 动态互连：Bus, Crossbar Switcher, MIN(Multistage Interconnection Networks) 特别地，标准网络互连：FDDI, 快速以太网, Myrinet, InfiniBand 2.2-2.5 通信代价公式 SF和CT基本公式 SF和CT在一维环、带环绕的Mesh、超立方上的通信代价公式 Ch3 典型并行计算机系统介绍（略） 3.1 共享存储多处理机系统 3.2 分布存储多计算机系统 3.3 分布共享存储计算机系统 3.4 机群系统 Ch4 并行计算性能评测 4.1 基本性能指标 4.2 加速比性能定律 Amdahl, Gustafson, SunNi定律 4.3 可扩放性评测标准（略） 可扩放性的含义 三个评测标准：等效率度量，等速度度量，平均延迟度量 4.4 基准测试程序（略） SPEC, LinPACK 第二篇 并行计算理论基础：并行算法设计 Ch5 并行算法与并行计算模型 5.1 并行算法的基础知识 并行算法的定义 并行算法的表达 并行算法的复杂度：运行时间、处理器数目、成本及成本最优、加速比、并行效率、工作量及工作量最优 并行算法的WT表示：Brent定理 5.2 并行计算模型 PRAM模型：SIMD-SM， 又分CRCW(CPRAM, PPRAM, APRAM), CREW, EREW SIMD-IN模型：SIMD-DM 异步APRAM模型：MIMD-SM BSP模型：MIMD-DM，块内异步并行，块间显式同步 LogP模型：MIMD-DM，点到点通讯 Ch6 并行算法基本设计策略 并行算法的三种设计策略：串改并，全新设计，借用法 及其示例：快排序、前缀和/k着色、所有点对最短路径 Ch7 并行算法常用设计技术 划分设计技术：均匀划分(PSRS排序)、对数划分(并行归并排序)、方根划分(Valiant归并排序)、功能划分( (m,n)-选择) 分治设计技术：双调归并网络 平衡树设计技术：求最大值、计算前缀和 倍增设计技术：表序问题、求森林的根 流水线技术：五点的DFT计算、4流水线编程实例 Ch8 并行算法一般设计过程 PCAM的含义 PCAM设计方法的四个阶段和每个阶段的任务与目标（略） 域分解和功能分解（略） 第三篇 并行计算理论基础：并行数值算法 Ch9 稠密矩阵运算 9.1 矩阵的划分 带状划分和棋盘划分，有循环的带状划分和棋盘划分 9.2 矩阵转置 网孔和超立方连接的算法及其时间分析(棋盘划分) 9.3 矩阵向量乘法 带状划分的算法及其时间分析 棋盘划分的算法及其时间分析 Systolic算法(略) 9.4 矩阵乘法 简单并行分块算法 Cannon算法及其计算示例 Fox算法及其计算示例 DNS算法及其计算示例（略） Systolic算法(略) Ch10 线性方程组的求解 回代求解上三角形方程组的并行算法及其数据划分方法 三对角方程组的奇偶规约求解法 Gauss-Seidel迭代法的并行化 异步并行化算法 小规模并行化算法(针对五点格式产生的线性方程组) 红黑着色并行算法(针对五点格式产生的线性方程组) Ch11 快速傅立叶变换FFT 离散傅里叶变换(DFT)定义及其O(n^2)算法 串行FFT蝶式分治算法的计算原理、伪代码及其递归计算流图 串行FFT分治递归算法的计算原理 SIMD-MC上的FFT算法(略) SIMD-BF上的FFT算法及其时间分析 Ch12 数值计算的基本支撑技术（略） 网格生成 图的划分 稀疏线性系统求解器 算法和软件 科学计算可视化 第四篇 并行计算软件支撑：并行编程 Ch13 并行程序设计基础 基本概念和术语