并行存储器系统.pptVIP

高等计算机体系结构 北京科技大学计算机系 李建江 参考课件：清华大学计算机科学与技术系高性能计算研究所 郑纬民 教授 分布存储的两种编程方法： （1）message-passing，用send，receive原语实现通信，要求程序员在进程的整个运行期间对数据的移动都很清楚； （2）romote procedure call，语言一级传送控制与数据，可以看作是本地调用，但透明度有限。 缺点： 这两种方法都是用来解决不同地址空间的问题，在结点间传递复杂数据结构时都比较困难，需要打包。由于每个处理机拥有不同的地址空间，使得进程迁移时，该进程所分配到的操作系统资源也得一起移动（打开的文件、文件存取控制块等），这很费时。 4.4.2 DSM与SVM 1.DSM和SVM的提出 如何把共享和分布的优点结合起来，取长补短？ 共享分布存储器（Distributed shared Memory，DSM） 虚拟共享存储器（Shared Virtual Memory，SVM） ——基于分布存储器的多处理机上，实现物理上分布但逻辑上共享的存储器系统。 虚拟共享存储器的逻辑结构： CPU1 …… 虚拟共享存储器 LM1 CPU2 LM2 CPUn LMn 地址映射 部件 地址映射 部件 …… 地址映射 部件 MIMD机器存储系统的发展方向： 共享存储器 分布存储器 共享分布存储器 2.DSM系统的特点 在DSM系统中，每一台处理机都可以访问全局存储器的任一位置，用户可以把它当成全局共享存储器系统。 优点： 编程容易 系统结构灵活 可扩展性好 系统价格低 有较好的软件移植性 DSM系统编制的程序比用消息传递方式编制的程序效率高： （1）在DSM系统中，数据都是以块的方式进行传送，如果一个程序具有较高的局部性，则当把一个数据块传送到一个结点后，该结点对它的访问就成为本地访问，而消息传递方式的每次访问都需要通信。 （2）许多并行应用程序都是分阶段执行的，每次执行前，都有一个数据交换阶段，其时间受通信限制。在DSM系统中，数据只有用到的时候才传送，取消了数据交换阶段，把通信时间加以分散，提高了并行性。 （3）DSM提供的虚存空间比单个结点的存储空间大得多，减少了换页操作。 3.实现DSM的途径 主要有三种： （1）硬件实现：将传统的cache技术扩展应用到松耦合分布式存储多处理机。要增加专用部件以取得高效的实现。 （2）操作系统和库实现：利用虚拟存储管理机制取得共享（sharing）和一致（coherence）。 （3）编译实现：自动将共享访问转换成同步和一致原语。用户需要显式控制全局数据，当传递大量数据时或试图进行进程迁移时极其复杂。 第四章 并行存储器系统 4.1 存储器系统的层次结构 4.2 包含性、一致性和局部性 4.3 存储器容量的规划 4.4 虚拟存储器技术 4.5 交叉访问的存储器 4.1 存储器系统的层次结构 存储器系统的层次结构如下图所示： CPU内的寄存器 高速缓存 主存储器 磁盘存储器 磁带机 层0：M0 层1：M1 层2：M2 层3：M3 层4：M4 容量和存取时间增加 每位成本增加 五个参数： 存取时间ti：从CPU到第i层存储器的往返时间 存储器容量Si：第i层的字节的数量 每字节成本Ci：第i层存储器的成本为CiSi 传输带宽bi：相邻层之间传送信息的速率 传输单位Xi：i和i+1层之间数据传送的粒度 对存储器系统中各层次存储器的特性，某统计数据如下表： 存储器层次 特性 第0层 CPU寄存器 第1层 高速缓存 第2层 主存储器 第3层 磁盘存储器 第4层 磁带存储器 设备工艺 存取时间 容量(字节) 成本(美分/KB) 带宽(MB/S) 传送单位 分配管理 ECL SRAM DRAM 磁盘机 磁带机 10ns 25-40ns 60-100ns 10-20ms 2-20min 512B 128KB 512MB 60-228GB 512G-2TB 18000 72 5.6 0.23 0.01 400-800 250-400 80-133 3-5 0.18-0.23 字:4-8B 块:32B 页:0.5-1KB 文件:5-512KB 后援存储器 编译器分配 硬件控制 操作系统 操作系统/用户 操作系统/用户 第四章 并行存储器系统 4.1 存储器系统的层次结构 4.2 包含性、一致性和局部性 4.2.1 包含性 4.2.2 一致性 4.2.3 局部性 4.3 存储器容量的规划 4.4 虚拟存储器技术 4.5 交叉