第五讲及集群计算技术.pptx

第五章 高性能集群计算技术1.机群系统的产生与发展 成熟的理论基础计算机体系结构的发展已经比较成熟从向量多处理机系统、共享存储的多处理机（包括对称和非对称两种）到MPP结构，人们积累了相当丰富的经验，发展了一套比较完整的理论商用工作站或PC机能保持性能上的优势由于RISC技术的发展，使得微处理器的性能不断提高。高档芯片的运算能力平均每年增长30%，而价格不断降低直接使用商用工作站或PC机作为运算节点的机群,系统在节点性能上能够同处理器的发展保持同步增长1.机群系统的产生与发展 网络技术的进步网络传输速度的提高，提高了应用程序之间的通信带宽交换技术的发展则大幅度地降低了传输延迟，使得许多高速局域网的性能和MPP专用互连网络的性能相当 并行编程环境的开发使得编制并行程序更为容易 并行应用程序的开发和在不同平台之间的可移植性,一直是传统 并行系统能否广泛应用的一个关键。近年来出现了很多并行程序开发及运行系统如PVM、MPI、Express、Linda等系统这些系统可以适应很多平台，应用程序在这些系统上的可移植性也比较好（特别是PVM和MPI），由于其开放性，受到了许多大学和研究机构的重视，并且在这些环境下开发了许多应用程序 2.使用廉价集群系统的好处相对于专用并行超级计算机的性能/价格比其增长速度与年度资金计划的匹配提供多用途的系统科学计算网络应用服务3.集群技术的研究机会3.集群技术的研究机会 并行处理 用多个处理机构成类似 MPP/DSM系统来进行并行计算。如何考虑一些新技术带来的新因素，优化并行计算模型、算法？异构多核，协处理器为中心思想网络 RAM基于新技术，如PCI-Express设备，测试分析已有方法，提出优化新方法。新技术有新特点，有效利用新特点就有新效果。用每台工作站上的内存构成协作缓存，提高虚存和文件系统的性能固态硬盘软件 RAID、并行文件系统廉价磁盘的冗余阵列使用工作站的磁盘阵列提供一个便宜、高可用性和可扩展的文件存储器利用MPI-I/O，有可能对应用程序提供并行I/O支持多路通信在节点间通过多网络对数据进行并行传输，如链路聚集技术负载均衡资源动态分配，作业迁移等。基于虚拟化新技术等单一系统映像集群文件系统，内存统一编址等.低功耗问题新技术：多核技术，虚拟化技术，IBA，PCI-E，等新理念：自主/自动计算，等4. 集群计算机体系结构4.集群计算机体系结构集群：是一种并行或分布式处理系统；由很多连在一起的独立计算机组成；象一个单独集成的计算资源一样协同工作。节点可以是一个单处理器或多处理器的系统，拥有内存、I/O设备和操作系统。一般是连接在一起的两个或多个计算机。节点可以是在一起对于用户和应用程序来说象一个单一个系统。 提供了一种价格合理的并可以获得所需性能和优势的解决方案。可以是物理上分散而通过LAN连接在一起的典型的集群系统结构集群/机群体系结构 所有节点都是完整的商用计算机系统高档PC、工作站，也可以是SMPIntel IA-32，Intel EM64T，Power，AMD x86_64，Intel IA-64 每个节点机上都安装有一份完整的商用操作系统Linux机群（如Beowulf）、Solaris机群（如Berkeley NOW）、NT机群（如HPVM）、AIX机群（如IBM SP2）、HP-UX机群和微软Wolfpack机群等 系统域网（SAN: System Area Network ）Gigabit Ethernet，Myrinet，Infiniband，Quadrics，SCI 单一的系统映象（Single System Image，简称SSI） 单一登录点、单一控制点、单一文件系统、单一作业管理、单一用户界面、单一进程空间等 高可用性保证机制集群/机群系统举例 曙光3000超级服务器CPU: 80个内存：40GB硬盘：180GB磁盘阵列：2TB集群计算机的重要部件节点：多个高性能计算机（PC、工作站或SMP）优秀的操作系统（完整或基于微内核）网络：高性能网络/交换开关（千兆以太网、Myrinet、InfiniBand等）网络接口卡（NIC）快速通信协议和服务（活动消息和快速消息）集群中间件：单一映像系统(SSI)和系统可用性基础并行编程环境和工具，如编译器、PVM（并行虚拟机）和MPI（消息传递接口）应用程序：串行、并行5.集群计算机的互连网络扩展的链路聚集标准链路聚集举例： 网络接口子系统MyrinetInfiniBand是面向下一代服务器的输入输出总线，原本是以Intel的“Next Generation I/O（NGIO）”和IBM、惠普等主导的“Future I/O（FIO）”合并在一起的I/O架构 统一机箱内部和外部的互连方法基于Switched Fabric互连Link具有x