并行计算程序设计.pptx

高性能地理计算 High Performance GeoComputation关 雪 峰测绘遥感国家重点实验室Warm Up本科生院《高等数学》大课结束，收集500张试卷需要批阅。武汉神龙汽车生成雪铁龙C5轿车，有发动机、轿厢、底盘、总装等工艺。第二章 并行程序设计主要内容基本概念并行编程模型并行程序设计基本流程并行计算的性能评价相关概念并行处理(parallel Processing)：在同一时间段内，在多个处理机中执行同一任务的不同部分。多道处理(multiprocessing)：强调由一台计算机利用一个处理机同时交错地执行多道程序。并发处理(concurrent, concurrency)：与多道处理类似。相关概念数据并行 (data parallelism)：利用多个处理器对一个数据集上的不同元素同时进行相同的操作。任务并行 (Function/Task parallelism)：为了完成一个任务要对不同的数据元素同时进行不同的操作。相关概念节点（Node）——A standalone computer in a box. Usually comprised of multiple CPUs/processors/cores, memory, network interfaces, etc. Nodes are networked together to comprise a cluster.CPU / Socket / Processor / Core处理器单元（Processing Element）任务（Task）——A logically discrete section of computational work. A task is typically a program or program-like set of instructions that is executed by a processor. A parallel program consists of multiple tasks running on multiple processors.作业（Job ）任务（Task）相关概念通信（Communication）：并行任务都需要交换数据。有几种方法可以完成，例如：共享内存总线、网络传输，然而不管用什么方法，真实的数据交换事件通常与通信相关。计算/通信比（Communication to Computation Ratio，C-to-C Ratio）: Represents the amount of resulting communication between tasks of a parallel program。相关概念同步（Synchronization）：实时并行任务的调度通常与通信相关。总是通过建立一个程序内的同步点来完成，一个任务在这个程序点上等待，直到另一个任务到达相同的逻辑设备点是才能继续执行。同步至少要等待一个任务，致使并行程序的执行时间增加。相关概念粒度（Granularity）：在并行计算中，粒度是用来定性描述离散任务中计算量的指标。粗糙级（Coarse）：在两个通信事件之间可以完成相对大量的可计算工作。精细级（Fine）：在两个通信事件之间只能完成相对较少量的可计算工作相关概念Parallel Overhead（额外开销）——The amount of time required to coordinate parallel tasks, as opposed to doing useful work. Parallel overhead can include factors such as:Task start-up timeSynchronizationsData communicationsSoftware overhead imposed by parallel languages, libraries, operating system, etc.Task termination time相关概念Scalability----Refers to a parallel systems (hardware and/or software) ability to demonstrate a proportionate increase in parallel speedup with the addition of more resources. Factors that contribute to scalability include:Hardware - particularly memory-cpu bandwidths and network co