并行计算机与互连网络拓扑结构-北京大学微处理器研究开发中心.pdf

并行计算机与互连网络拓扑结构 佟冬 北京大学计算机系统结构教研室 2004年5月10 日 内容 并行计算机体系结构简介 互连网络的基本理论 互连网络的组织结构 互连网络的拓扑结构分析 实例介绍 并行计算机与互连网络结构 2 并行计算机(Parallel Computer) 并行计算机定义 Definition: “A parallel computer is a collection of processing elements that cooperate and communicate to solve large problems fast.” Almasi and Gottlieb, Highly Parallel Computing , 1989 相应的问题 How large a collection? How powerful are processing elements? How do they cooperate and communicate? How are data transmitted? What type of interconnection? What are HW and SW primitives for programmer? Does it translate into performance? 并行计算机与互连网络结构 3 并行系统结构(Parallel Architecture) Parallel Architecture extends traditional computer architecture with a communication architecture abstractions (HW/SW interface) organizational structure to realize abstraction efficiently 并行计算机与互连网络结构 4 并行系统结构（续） 编程模型 共享变量(Shared variable) 消息传递(Message passing) 数据并行(Data parallel) 多道程序(Multiprogramming) 通讯模式 共享地址空间 消息传递 并行计算机与互连网络结构 5 并行程序执行过程 并行 并行 程序 程序 划分 划分 分配 分配 通讯 通讯 进程1 进程2 进程1 进程2 通讯实现 网络 链结 网络 共享存储器单元