并行计算机体系结构资料.ppt

计算机组成与结构 第9章 向量处理机 向量处理方法 例子：D＝A×(B＋C) 其中A、B、C、D都是长度为N的向量。 横向处理方法：逐个求向量D中N个分量 。 纵向处理方法：先求B＋C各个分量得向量K，然后计算D＝A×K。 纵横处理方法：分组处理，组内采用纵向处理，组间采用横向处理。 最简单的向量处理结构 向量处理和流水线结合 对语言结构和编译程序提出新的要求 共享内存的多处理机 具有多个CPU并且所有的CPU共享同一个映射到共享物理内存上的虚拟地址空间。多处理机系统有时也被称为共享内存系统（Shared Memory System）。 从软件的角度来说，多处理机系统很容易扩展。任何一个处理器都可以通过执行LOAD/STORE指令访问内存。两个处理器之间可以通过很简单的方式进行通信，只要一个处理器把数据写入内存而另一个处理器从内存中把数据读出就可以了。 多处理机系统也有磁盘、网络适配器和其它的输入/输出设备。如果在一个系统中，每个CPU都能平等地访问所有的内存模块和输入/输出设备，而且在操作系统看来这些CPU是可以互换的，那么这种系统就是对称多处理机系统SMP（Symmetric MultiProcessor）。 多处理机系统中只有一个操作系统，操作系统负责管理一系列的表。这种单一系统映像是多处理机系统区别于多计算机系统的主要特点。 共享内存的多处理机 UMA多处理机系统 UMA系统特点 物理存储器被所有处理器均匀共享 所有处理器访问任何存储字需相同的时间 每台处理器可带私有高速缓存或私有内存 基于总线的UMA多处理机系统 NUMA多处理机系统 NUMA系统特点 所有的CPU都看到一个单一的地址空间 使用LOAD和STORE指令访问远程内存 访问远程内存比访问本地内存慢 NUMA系统中的处理器可使用高速缓存 NC-NUMA与CC-NUMA 不使用Cache的NUMA系统被称为NC-NUMA多处理机系统，也就是说这种系统中不隐藏远程内存的访问时间。如果使用了Cache，那么系统就被称为CC-NUMA多处理机系统。 NUMA多处理机系统 NC-NUMA多处理机系统 CC-NUMA多处理机系统 COMA多处理机系统 COMA系统特点 COMA为NUMA的一种特例，各处理器结点中没有存储层次结构，全部高速缓存组成了全局地址空间； 利用分布的高速缓存目录进行远程高速缓存的访问。使用COMA时，数据开始时可任意分配，因为在运行时它最终会被迁移到要用到它的地方。 Cache一致性问题与Cache一致性协议 Cache一致性问题产生原因 现代并行计算机中，处理器往往带有Cache。一个内存数据在整个系统内可能有多份拷贝。这就引发了Cache一致性问题。 Cache一致性协议 由Cache、CPU和内存共同实现的防止多个Cache中出现相同数据的不同版本的规则集合就组成了Cache一致性协议。 Cache一致性协议通常可以分为两类 监听总线的协议 基于目录的协议 Cache一致性问题与Cache一致性协议 监听总线的协议 在监听总线协议中，所有的处理器都监听总线，当某个处理器修改了私有Cache中的数据后，它在总线上广播无效信息或更新后的数据，以使其它副本无效或得到更新。 监听总线协议适用于互连网络可以实现广播功能的并行系统。 基于目录的协议 基本思想：当处理机数目较多时，一般不用总线结构，而采用多级交换网络，而多级交换网络实现广播功能代价很大。那么能不能只发送给存放该副本的Cache? 基于目录的协议是用一个目录来记录系统中哪些处理机的Cache中有指定存储块的副本。当一台处理机希望写某个共享块时，通过目录向有该块的副本的那些处理机“点对点”的发无效信号，使所有其它的副本无效。 基于监听总线的两种Cache一致性协议 写直达Cache一致性协议 对Cache行中的数据进行写操作的同时，将对应的存储器中的内容也进行修改，任意时刻都保持存储器中的数据是最新的。 写回Cache一致性协议 写操作不直接写入内存。相反，当Cache行被修改后，Cache中的某一位被设置以表示该Cache行中的数据是正确的而内存中的数据是过时的。当然最终该行将会被写回内存，但是可能是在多次写操作之后了。 监听型Cache按此协议进行读写操作时的四种情况 写直达Cache一致性基本协议存在多种变化 远程写命中采用更新策略（Update Strategy）还是无效策略（Invalidate Strategy） 当Cache写缺失时是否把相应的字调入Cache，这就是是否采用写分配策略（Write-allocate Policy）。 写直达Cache一致性协议 将Cache项置为失效 修改Cache和内存 写命中 修改内存中的数据