多核软件开发技术二讲并行计算基础.pptVIP

北京大学 二零零八年春季 *致谢：感谢Intel对本课程项目的资助 本讲主要内容 并行计算机体系结构 并行计算模型 进程 线程 并行编程环境 编程语言与编译器 并行计算性能评测 常用并行数值算法 并行编译器 并行计算机体系结构 组成并行计算机的各个部分为： 节点（node）： 每个节点由多个处理器构成，可以直接输入输出 互联网络（interconnect network）： 所有节点通过互联网络相互连接通信。 内存 （memory）： 内存由多个存储模块组成，这些模块或者与节点对称地分布在互联网络的两侧，或者位于各个节点的内部 多级存储体系结构 微处理器的峰值运算速度每18个月翻一番 内存模块的容量每年几乎翻一番 内存模块的访问速度却没有得到平衡发展 内存的访问速度要比处理器执行速度慢很多 内存墙性能瓶颈 =〉多级存储结构 多级存储体系结构 并行计算机访存模型 UMA（Uniform Memory Access）模型 内存模块与节点分离，分别位于互联网络两侧 物理存储器被所有节点共享 所有节点访问任意存储单元的时间相同 发生访存竞争时，仲裁策略平等对待每个节点 各节点的CPU可带有局部私有高速缓存 外围I/O设备也可以共享，且每个节点有平等的访问权利 并行计算机访存模型 NUMA（Non-Uniform Memory Access）模型