并行考试复习知识点.docVIP

考试题型：名词解释（5~6个），简答（4~5），画图（17分），并行算法（40分） 第一章 绪论 1.什么是并行计算？ 并行计算（parallel computing）是指，在并行机上，将一个应用分解成多个子任务，分配给不同的处理器，各个处理器之间相互协同，并行地执行子任务，从而达到加速求解速度，或者求解应用问题。 基本条件：硬件（并行机）、并行算法设计、并行编程环境 主要目标： 提高求解速度，扩大问题规模 并行计算的三个基本条件： (1) 并行机。并行机至少包含两台或两台以上处理机，这些处理机通过互连网络相互连接，相互通信。 (2) 应用问题必须具有并行度。也就是说，应用可以分解为多个子任务，这些子任务可以并行地执行。将一个应用分解为多个子任务的过程，称为并行算法的设计。 (3) 并行编程。在并行机提供的并行编程环境上，具体实现并行算法、编制并行程序，并运行该程序，达到并行求解应用问题的目的。 并行计算的主要研究内容： (1) 并行机的高性能特征抽取。 (2) 并行算法设计与分析。 (3) 并行实现技术，主要包含并行程序设计和并行性能优化。基于并行机提供的并行编程环境，例如消息传递平台MPI或者共享存储平台OpenMP，具体实现并行算法，研制求解应用问题的并行程序。 (4) 并行应用。 2.并行计算和分布式计算的区别，不同： 并行计算不同于分布式计算（distributedcomputing） 分布式计算主要是指，通过网络相互连接的两个以上的处理机相互协调，各自执行相互依赖的不同应用，从而达到协调资源访问，提高资源使用效率的目的。但是，它无法达到并行计算所倡导的提高求解同一个应用的速度，或者提高求解同一个应用的问题规模的目的。对于一些复杂应用系统，分布式计算和并行计算通常相互配合，既要通过分布式计算协调不同应用之间的关系，又要通过并行计算提高求解单个应用的能力。 3.各种结构画图，概念，特点，以及两两之间的差异： 大型并行计算机（scalable-parallel Computer）可分为: 单指令多数据流机 SIMD 并行向量处理机 PVP 对称多处理机 SMP 大规模并行处理机 MPP 分布式共享存储DSM多处理机 工作站机群 COW （1）DSM （Distributed Shared Memory）分布式共享存储 （2）MPP（Massively Parallel Processing）大规模并行处理结构 每个结点相对独立，有一个或多个微处理器 每个结点均有自己的操作系统 各个结点自己独立的内存，避免内存访问瓶颈 各个结点只能访问自己的内存模块 扩展性较好 （3）对称多处理机SMP: 采用商用微处理器，通常有片上和片外Cache，基于总线连接，集中式共享存储，UMA结构。 优点： 对称性 单地址空间，易编程性，动态负载平衡，无需显示数据分配 高速缓存及其一致性，数据局部性，硬件维持一致性 低通信延迟，Load/Store完成 问题： 欠可靠，BUS,OS,SM 通信延迟（相对于CPU），竞争加剧 慢速增加的带宽（MB double/3年,IOB更慢） 不可扩放性---〉CC-NUMA SMP （4）NOW（Network of Workstations）工作站机群 也称为 COW（Cluster of Workstations），与MPP之间的界限越来越模糊。 每个结点都是一个完整的工作站，有独立的硬盘与UNIX系统 结点间通过低成本的网络（如千兆以太网）连接 每个结点安装消息传递并行程序设计软件，实现通信、负载平衡等 投资风险小、结构灵活、可扩展性强、通用性好、异构能力强，被大量中小型计算用户和科研院校所采用 存在的问题：通信性能，并行编程环境。 工作站集群COW结构图，如下： NOW的典型代表：Beowulf cluster 微机机群，如下图： （5）Cluster 机群 每个结点含多个商用处理器，结点内部共享存储 采用商用机群交换机通过前端总线连接结点，结点分布存储 各个结点采用 Linux 操作系统、GNU编译系统和作业管理系统 属性 PVP SMP MPP DSM COW 结构类型 MIMD MIMD MIMD MIMD MIMD 互联网络 交叉开关 交叉开关，总线 定制网络 定制网络 商业化网络 通信机制 共享变量 共享变量 消息传递 共享变量 消息传递 地址空间 单地址空间 单地址空间 多地址空间 单地址空间 多地址空间 系统存储器 集中共享 集中共享 分布非共享 分布共享 分布非共享 访存模型 UMA UMA NORMA NUMA NORMA 可扩展并行计算机发展正趋于三种系统结构： 无共享体系结构 共享磁盘体系结构 共享存储器体系结构