第11章 并行计算机体系结构.pptVIP

第十一章 并行体系结构 ;1.1 并行处理的概念;并发性;时间重叠(Time Interleaving)是在并行性概念中引入时间因素，使多个处理过程在时间上错开，轮流重叠地使用同一套硬件设备的不同部件，以加快硬件周转而赢得速度。最典型的时间重叠就是流水线工作方式。 ; 资源重复(Resource Replication)是在并行性概念中引入空间因素，通过重复设置硬件资源，如处理器或外围设备等，来达到大幅度提高可靠性和处理速度的目的。最典型的应用是阵列机。 ;资源共享(Resource Sharing)就是让多个用户按一定时间间隔顺序轮流地使用同一套资源，以提高系统的整体性能。例如，多道程序分时系统就是利用共享CPU、主存资源，以降低系统价格，提高设备利用率的例子。 ;1.1.2 并行等级的划分;1)从计算机系统内部执行程序的角度划分;2)从计算机系统中处理数据的并行性角度划分 ;3)从计算机信息加工的各个步骤和阶段划分;1.1.3 并行处理系统的分类;1) 按系统结构分类：;层次结构的并行处理系统;重复结构的并行处理系统; ;2) Flynn分类法;3) 按通信方式分类：;共享数据通信方式;消息传递方式;4) 按并行度分类：;1.2 并行计算机系统简介 ;2、向量处理机结构 ;3、提高向量处理性能的方法;4、并行向量处理机(PVP) *定义：由多个向量处理器(VP)构成的能够并行处理多个向量的向量多处理机，又称多向量机。;二、SIMD计算机 ;2、SIMD并行算法 *常用算法：有限差分、矩阵加、矩阵乘、累加求和等。 *与SIMD机关系： 不同SIMD机(互连网络可不同)支持的并行算法不同及 算法实现效率不同。;三、共享存储多处理机 ;四、分布存储多处理机;五、分布共享存储多处理机(DSM) ;1.3 并行计算机体系模型 ; *结构比较：;;二、并行计算机体系访存模型;1、UMA(Uniform Memory Access)模型;2、NUMA(Non-Uniform Memory Access)模型;2、NUMA(Non-Uniform Memory Access)模型;3、COMA(Cache-Only Memory Access)模型 ;3、COMA(Cache-Only Memory Access)模型 是NUMA模型的一种特例，用各节点高速缓存构成全局地址空间。;4、NORMA(No-Remote Memory Access)模型;5、并行计算机结构模型与访存模型 访存模型 结构模型;三、并行计算机体系一致性模型;2、一致性问题 包括高速缓存(Cache)一致性、存储一致性两个方面。;(2)存储一致性 指各个P中的程序次序与对SM的存取次序之间的一致性。 (SM的存取次序由P中的程序执行次序所决定) *原因：① 各P对SM不同存储单元的操作所引起； ② P内部优化性能，而改变程序执行次序(如异步 流水)所致。;3、单处理机的一致性模型;4、多处理机的一致性模型;5、Cache一致性协议 (1)一致性协议 *种类：有基于作废、基于更新两种一致性协议； *基本原理：每个节点的Cache中，各块设有状态位，若某节点P改变其Cache某个块数据副本时，其他节点的Cache相应地改变该块数据副本的状态或数据，实现私有Cache中数据副本与SM数据的一致性。;四、并行计算机体系通信模型;2、通信模型概述 *通信模型层次结构：;(1)数据并行模型 *特点：单进程、松散同步(语句级)、并行作用于聚合数据结构上、隐式数据分配(屏蔽方式)。 *通信操作：PU间通信—R、W，隐式完成； PU间同步—无(松散同步自动实现)。;4、通信模型的接口抽象及实现 *用户/系统通信边界(高级通信操作)： 共享变量模型—读、写变量指令，高级同步结构； 消息传递模型—发送、接收消息???数，高级同步结构。; *模型可扩展性分析： 可扩展性取决于结构模型及互连网络的可扩展性。;五、并行计算机体系结构发展;2、并行体系结构发展;(2)通信机制的发展—向混合模型发展;(3)互连网络的发展—向可扩展、商品化发展;3、并行体系结构设计的相关问题 设计是一个软硬件交互设计、反复设计与评价的过程。;本章思考 1、对于标量机、向量机SIMD机、MIMD机，相对于前一种机，后一种机个是如何提