第12章机群系统详解.ppt

系统整体拓扑图 计算结点１：A620r-T 曙光GPU计算节点A620r-T：43台 GPU处理单元:1×Nvidia GTX295 GPU卡 处理器：1颗AMD Opteron 2378 2.4G四核处理器 内存：16G内存 硬盘：1×160GB SATA 热插拔 网络：集成2×1000M Infiniband：集成DDR 20Gb/s HCA 计算结点2：A620r-T 曙光GPU计算节点A620r-T：16台 GPU处理单元:1×Nvidia C1060 GPU卡 处理器：1颗AMD Opteron 2378 2.4G四核处理器 内存：16G内存 硬盘：1×160GB SATA 热插拔 网络：集成2×1000M Infiniband：集成DDR 20Gb/s HCA 机箱结构-整体示意图 机箱前部 硬盘 GPU卡2 风扇 主板1 电源1 电源2 主板2 GPU卡1 曙光水冷机柜系统 2U*17node/rack 17node 水冷机柜系统原理 + 水冷机柜系统：以水作为冷媒，将外部水冷机组提供的冷却水经由管道输送到室内设备，解决服务器设备散热。 水冷机柜系统应用示意图 计算网络 选用IB领导企业Voltaire，装备世界（RoadRunner）及中国最大超级计算机（曙光5000A） 所有结点（计算结点、存储结点）全线速无阻塞设计，保证网络性能 外置1台96端口模块化IB 20Gbps交换机和1台36端口IB 20Gbps 　计算节点 　计算节点 　计算节点 　计算节点 　　IO节点　 视频切换子系统 Google共有36个数据中心。其中美国有19个、欧洲12个、俄罗斯1个、南美1个和亚洲3个（北京-G、香港-G.hk和东京各1个）。超过300台服务器集群，80万台计算机。 集群实例：Google集群 Dalles 数据中心 Dalles数据中心占据了附近一个180万千瓦水电站的大部分输出，对比我国三峡工程额定功率1820万千瓦。 Google 数据中心 Dalles数据中心有3个超大机房（在图11中有4个白色建筑，但只有3个是服务器机房），每个机房有45个集装箱，每个集装箱可以放置1160台服务器，故Dalles数据中心可以存放约15万台服务器。 Google 集装箱 数据中心以集装箱为单位，每个集装箱里面有1160台服务器，每个数据中心有众多集装箱。 40+亿网页,平均每个网页10KB 2000+台PC机在一个集群 30+个集群 每个集群有1petabyte容量 每个集群保持2Gbps的传输率 预计每个集群每天将有两台机器故障 Google 使用VME 机架(VME rack) 来组织PCs Google集群架构 Google 服务器 Google的所有服务器均为自己一手打造。Google服务器厚度 3.5寸，2U（两机柜式），它有2个CPU、2个硬盘，采用技嘉主板，有8个内存插槽。Google采用AMD与英特尔的x86处理器。在同样大的空间 内，Google的服务器比其他厂商的服务器能容纳更多的CPU. Google 机架 VME机架宽19英寸,高6英尺,深30英寸. 每个机架的正反面结构相同,每一面都有44个槽位,每个 槽位上可安放1台PC ,其余4个槽位放置1 台HP 以太网交 换机,交换机可配置成40个100Mb 和2个1Gb的端口. HP 以太网交换机的2个1Gb 的端口则通过分别连接到 两个Foundry BigIron8000 交换机上. 两个Foundry 交换机各自通过OC48 线( 2488Mb)连接到 Cisco12000 交换机, 再由Cisco 12000 交换机通过OC48 线 连接到Internet 上. 互连网络 12.4 典型机群系统简介 深蓝：采用30个RS/6000工作站（带有专门设计的480片国际象棋芯片）的IBM SP2机群 异步的MIMD，具有分布式存储器系统结构。 12.4.4 IBM SP2 12.4 典型机群系统简介 结点：一台RS/6000工作站，带有自己的存储器和本地磁盘。 结点中采用的处理器：一台6流出的超标量处理机 每个时钟周期可以执行6条指令，包括2条读数写数指令，2条浮点乘或加指令，1条变址增量指令和1条分支指令。 每个结点配有一套完整的AIX操作系统（IBM的UNIX） 结点间的互连网络接口是松散耦合的，通过结点本身的I/O微通道（MCC）接到网络上，而不是通过本身的存储器总线。 12.4 典型机群系统简介 SP2的结点数可以从2个到512个不等，除了每个结点采用RS/6000工作站外，整个