计算机程序设计并行计算概念及定义全面详解.pdfVIP

计计算算机机程程序序设设计计并并⾏⾏计计算算概概念念及及定定义义全全⾯⾯详详解解

⽬⽬录录

1摘要

2概述

2.1什么是并⾏计算？

2.2为什么要并⾏计算？

2.3谁都在使并⾏计算？

科学界和⼯程界：

⼯业界和商业界：

全球应：

3概念和术语

3.1冯诺依曼体系结构

3.2弗林的经典分类

3.3⼀些常见的并⾏计算术语

3.4并⾏程序的缺陷和代价

复杂性：

可移植性：

资源需求：

可扩展性：

4并⾏计算机的内存架构

4.1共享内存

统⼀内存存取(UniformMemoryAccess)：

⾮统⼀内存存取(Non-UniformMemoryAccess)：

4.2分布式内存

4.3混合分布式-共享内存

5.并⾏计算模型

5.1概述

在分布式内存架构上的共享内存模型

在共享内存架构上的分布式内存模型

5.2共享内存模型（⽆线程）

5.3线程模型

5.4分布式内存/消息传递模型

5.5数据并⾏模型

5.6混合模型

5.7单程序多数据模型(SPMD)和多程序多数据模型(MPMD)

单程序多数据模型(SingeProgramMutipeData(SPMD))：

多程序多数据模型(MutipeProgramMutipeData(MPMD))：

6并⾏程序设计

6.1⾃动vs.⼿动并⾏化

完全⾃动：

程序员指令：

6.2理解问题和程序

识别程序的关键点(hotspots)：

识别程序中的瓶颈(bottenecks)：

6.3分割(Partitioning)

6.4通讯(Communications)

通讯开销：

延迟vs.带宽：

通讯可见性：

同步vs.异步通讯：

通讯的范围：

通讯的效率：

开销和复杂性：

6.5同步(Synchronization)

同步的类型：

6.6数据依赖性(DataDependencies)

6.7负载均衡(LoadBaancing)

6.8粒度(Granuarity)

计算通讯⽐(computation/CommunicationRatio)：

细粒度并⾏化(Fine-grainParaeism)：

粗粒度并⾏化(Coarse-grainParaeism)：

6.9输⼊输出(I/O)

6.10调试(Debugging)

6.11性能分析和调优(PerformanceAnaysisandTuning)

7并⾏⽰例

7.1数组处理

7.2圆周率计算

7.3简单热⽅程

7.4⼀维波动⽅程

8参考⽂献和更多信息

（本⼈刚刚完成这篇长⽂章的翻译，尚未认真校对。若⾥⾯有翻译错误和打字错误敬请谅解，并请参考原贴）

1摘摘要要

帖⼦的原⽂：

这篇帖⼦旨在为并⾏计算这⼀⼴泛⽽宏⼤的话题提供⼀个⾮常快

速的概述，作为随后教程的先导。因此，它只涵盖了并⾏计算的基础知识，实于刚刚开始熟悉该主题的初学者。我们并不会深⼊讨论并