第7讲多处理机系统.ppt

多处理机系统结构 多处理机硬件结构——紧耦合和松耦合 2.松耦合多处理机 松耦合多处理机是通过消息传送系统连接的多处理机结构 。 机间互联形式 存储器组织 多个处理器共享一个存储器 当处理器规模较小时，这种机器十分经济 支持对共享数据和私有数据的cache缓存 私有数据供一个单独的处理器使用，而共享数据供多个处理器使用 多处理机cache的一致性 产生cache不一致的原因 存储器的一致性 如果对某个数据项的任何读操作均可得到其最新写入的值，则认为这个存储系统是一致的 实现一致性的基本方案 多处理机操作系统 多处理机系统控制 多处理机调度 3. 调度性能评价 多处理机间进程通讯 多处理机系统死锁 同 步 运行在不同处理器上的进程之间需要通信以协调地完成一个任务。进程间的通信可以通过使用共享变量来实现信息交换。但对共享变量的访问要保证互斥访问。即：保证每次只有一个进程访问共享变量。 ??同步机制的实现 –硬件提供同步原语； –用户层软件实现。 ??关键的硬件功能 –提供不可中断的指令；或实现原子地读和更新一个值的指令。 并行处理语言及算法 并行处理面临的两个重要挑战 并行程序设计语言 在多处理机系统中，必须用并行程序设计语言编写程序。或者把已经用串行语言编写的程序转换成并行语言程序之后，才能在多处理机系统上运行。 把传统串行语言程序转换成并行语言程序的过程称为并行编译。有两种并行编译方式：全自动并行编译与半自动并行编译：全自动并行编译是方向，但实现起来很困难。半自动并行编译又称为交互式并行编译。程序员通过多次与机器对话，找到串行程序中可以并行执行的部分。 并行程序设计语言 并行编译器生成代码的形式有多种： 并行高级语言程序、 并行中间语言程序、 并行目标语言程序 多处理机的性能 引起峰值性能下降的原因是：(1) 因处理机间通信而产生的延迟(2) 一台处理机与其它处理机同步所需的开销(3) 当没有足够多任务时，一台或多台处理机处于空闲状态 (4) 由于一台或多台处理机执行无用的工作(5) 系统控制和操作调度所需开销 研究多处理机的目的：提前5年得到速度高10倍的机器。 或用1/10的价格获得一台高性能的机器。如果设计得好，在某些适合进行并行处理得应用领域，可以达到：提前10年得到速度高100倍的机器 或用1/100的价格获得一台高性能的机器。 多处理机的性能 任务粒度与系统性能 多处理机的性能 并行性在很大程度上依赖于R/C比值， 其中：R代表程序执行时间，C代表通信开销。 通常：R/C比值小，并行性低。R/C比值大，并行性高如果把作业分解成较大的块，就能得到较大的R/C值，但是所得到的并行性比最大可能的并行性要小得多。 R/C比值是衡量任务粒度(Granularity)大小的尺度在粗粒度（Coarsegrain）并行情况下，R/C比值比较大，通信开销小在细粒度（Finegrain）并行情况下，R/C比值比较小，通信开销大 细粒度并行性需要的处理机多，粗粒度并行性需要的处理机少。 细粒度并行性的基本原理是把一个程序尽可能地分解成能并行执行的小任务。在极端情况下，一个小任务只完成一个操作。 性能模型 性能模型与分析 多处理机实例 Origin 2000分布共享存储器结构的大规模并行 多处理机系统，采用超结点的模块结构，可以从 1个处理器扩展到128个处理器。 Origin 2000采用超标量MIPS R10000处理器，运行Unix的64位IRIX操作系统。 Origin基于NUMA体系结构的 每个结点可安装1个或2个MIPS R10000微 处理器、第二级高速缓存（L2 Cache）、主存 储器、目录存储器及Hub等，Hub用于连接微处 理器、存储器、I／O和路由器等。 Origin存储器系统每个结点的主存储器容量: 4GB 结点的Hub内含4个接口和交叉开关 Origin体系结构 Origin采用基于目录的协议。在Origin的结点中，有一个存储器和一个目录存储器。存储器被划分为存储器块（每个存储器块对应于一个Cache行）。 每块对应一个目录项，每个目录项包含其对应存储器块的状态信息和系统中各Cache共享存储情况的位向量，根据位向量可以知道本存储器块在哪些Cache中有拷贝。 当执行写存储器操作时，根据目录项的位向量可将有关结点中的Cache数据作废，从而实现了Cache的一致性。 1. N=2 且计算与通信不能重叠 一个程序在双处理机上运行，如果将全部任务都分配给一台处理机而让另一台处理机空闲，虽然没有并行，却不需