曙光5000高性能互连网络设计.PDF

第 7 卷第 4 期 信息技术快报 Vol.7 No.4 Information Technology Letter Jul. 2009 曙光 5000 高性能互连网络设计 曹政 王达伟 刘兴奎 刘新春 沈华 摘要：千万亿次规模系统中，互连网络设计面临新的挑战。结点性能不断提高和系统规模持续扩大是构建 千万亿次系统的主要技术趋势，不断提高的结点计算能力要求互连网络提供更高的性能，而不断增大的规 模又对互连网络扩展性提出了更高的要求。此外，随着系统规模的增大，集合通信的执行时间也在不断增 长，制约了应用的扩展性，集合通信的性能需要进一步优化。针对上述问题，本文从互连网络体系结构、 网络接口控制器设计、交换机结构设计和集合通信性能优化等几个方面，对互连网络设计方法进行研究， 提出了曙光 5000 高性能互连网络的设计思想。测试及模拟结果表明，曙光 5000 互连网络在单播、多播和 栅障同步（Barrier ）通信方面均可获得较高的性能。 关键词：千万亿次计算；大规模互连网络；交叉开关；交换芯片；多轨网络；集合通信；栅障同步（Barrier ） 1 v 通信；多播通信 7 1 1 引言 0 0 0 高性能并行计算机的性能正在按照每十年提高 1000 倍的速度增长，以满足国防、汽车 . 1 制造、航空航天、生命科学等应用领域不断提高的需求。当前，构建千万亿次(Petaflops)计 1 6 算机成为主要挑战。曙光 5000 高效能计算机系统是中国科学院计算技术研究所国家智能计 1 算机中心开发的超级计算机，旨在解决千万亿次计算的关键问题，而曙光 5000 高性能互连 0 网络用于实现曙光 5000 系统结点间的高速互连，目的在于系统地研究面向千万亿次计算机 2 : 系统的大规模互连网络关键技术，设计具有自主知识产权的互连网络。 v i 千万亿次规模系统中，互连网络设计面 X 40 a 临新的挑战。由于工艺和功耗的限制，仅靠 每个节点的互连连接带宽 IBM Roadrunner n 节点性能 449.6GFlops i 提高处理器频率实现千万亿次系统已经行不 * 30 20Gbit/s h 通，高密度高性能结点和大规模网络成为千 性 c 万亿次计算的主流选择。比如最新达到千万 能 20 倍 Dell Abe 亿次的 IBM Roadrunner 就包含了 3456 个结 率 74.656GFlops 10Gbit/s