龙芯2E多处理器芯片组设计与实现.docVIP

龙芯2E多处理器芯片组设计与实现 　　摘要：提出了一种面向高性能计算机的多处理器芯片组的设计，其主要特点是支持多处理器通过芯片组和交换芯片两级互连，全局地址空间和多处理器同步支持。给出了芯片组的组成结构、设计原则和关键技术，设计并实现了基于龙芯2E处理器的多处理器芯片组。目前，已采用FPGA平台对该芯片组进行验证和测试，以该芯片组为核心的四处理器原型系统完成BIOS引导和操作系统运行，经过实测处理器的访问请求通过芯片组延迟小于0.5 μs，芯片组内处理器通信带宽达到500 Mbps。 　　关键词：多处理器； 芯片组； 全局地址空间； 龙芯2E处理器 　　中图分类号：TP302文献标志码：A 　　文章编号：1001-3695(2008)05-1465-05 　　 　　0引言?? 　　 　　随着VLSI和微处理器技术的发展，利用微处理器构建的并行计算机已经取代大型主机和向量机在高性能计算领域占据主流地位。并行计算机按体系结构主要分为对称多处理机SMP、分布式共享内存CC?MNUMA、大规模并行处理MPP和机群cluster四类[1]。高性能并行计算机面临的挑战主要有：硬件上可扩展规模受限，通信和同步的性能不能很好地随处理器数目增加而成比例增长，系统峰值性能很难得到高效使用；软件上大规模并行编程困难，不能充分利用多核架构，与商业应用的兼容性差。?? 　　为了顺应CPU多核的发展趋势，保持MPP系统的高性能和可扩展性、CC?MNUMA全局地址空间的易编程性、SMP机群的单一系统映像；同时兼容已有的科学计算与商业应用软件，成为能力计算的有效平台，中国科学院计算技术研究所提出一种超并行体系结构（hyper paralle processing，HPP）。HPP体系结构能从硬件和软件两方面满足千万亿次计算机的要求。面向HPP体系结构，本文提出了一种多处理器芯片组的设计，主要特点是多处理器通过芯片组和交换芯片两级互连、全局地址空间和多处理器同步支持。?? 　　 　　1相关工作?? 　　 　　芯片组是构成计算机系统的核心部件，其功能由计算机系统的体系结构决定。单处理器芯片组是处理器连接外设和内存等部件的芯片，包括两个主要功能：a)提供集成处理器、存储器、各种不同外设等接口并完成各接口在芯片内部的高速数据交换；b)为处理器提供中断、启动和复位等系统支持信号。多处理器芯片组除了实现单处理器芯片组的功能外，还需要集成多个处理器接口实现处理器间的通信。?? 　　SMP系统芯片组是整个SMP系统的核心部件。SMP芯片组中一个关键的功能是实现处理器的总线接口，完成对总线上各CPU的请求仲裁并维护各CPU的cache一致性；同时它还实现内部互连、存储器和外设接口。利用SMP系统构建机群能够实现高性能计算；机群系统的通信利用SMP芯片组的I/O接口完成，如以Myrinet、Quadrics和Inifiniband技术构建的机群采用用户级网卡[2]等方法实现处理器间的通信，但机群系统通信能力受到I/O总线带宽的限制，采用133 MHz PCI?MX接口的Myrinet、Quadrics在实际应用中通信带宽只能达到235和308 Mbps[3]，其通信延迟一般在4.6~6.8 μs[3]。?? 　　CC?MNUMA系统的芯片组在实现SMP系统芯片组功能的基础上，集成了目录控制器以维护系统中节点间的cache一致性。SGI Altix系统是由SMP节点通过专用的高速互联网络构成的CC?MNUMA系统。Altix的HUB芯片组通过系统总线连接CPU并对总线进行侦听以实现SMP节点的功能；同时拥有存储和目录管理器，用来维护系统中节点间的cache一致性；HUB芯片组还通过自定义的高速传输通道来访问I/O设备，并包括高速互联网络接口逻辑实现系统的扩展。?? 　　MPP系统一般采用3D?MTorus网络实现处理器间互连，处理器内部集成内存控制器，外设在专门的I/O节点上实现。与处理器连接的芯片实现两个主要功能，即处理器接口和在x、y、z三个坐标共六个方向上的路由与互连，也称为互联芯片。Cray的XT3[4]系统是单处理器节点通过3D?MTorus高速互联网络构成的MPP系统，系统中每个处理器有自己的内存控制器；并通过HT总线直接连接Seastar芯片。Seastar芯片实现路由和互连功能，并支持全局地址空间。系统采用支持共享内存的MPI通信库[5]，利用直接内存存取实现单边的MPI模式来提高通信性能。Cray Red Storm支持共享内存的MPI实现在延迟和带宽上的测试结果为MPI通信延迟达到5 μs，带宽达到1．1 Gbps[6]。?? 　　 　　2面向高性能计算机的多处理器芯片组设计?? 　　 　　随着VLSI技术的发展，微处