01-计算机应用综述(硬件为主)资料.pptVIP

Intel? 5520 Chipset PCI Express* 2.0 ICH 9/10 硬盘 网络 Westmere-EP Westmere-EP 系统架构 对于并行计算来说，最危险的缺陷就是将一个计算问题变成了一个通信问题：这种问题一般发生在各个节点为了保持同步而传输数据的时间超过了CPU进行计算的时间 HPC常见的高速网络： Infiniband： 专有协议，最高40Gbps带宽 10GE ：以太协议，10Gbps带宽 GE：以太协议，1Gbps带宽 NETWORKS 典型HPC集群拓扑 HPC集群的硬件和网络体系结构图。从图中可以看出，整个系统由5类计算或网络设备和3类网络组成。这5类设备是: 管理节点登陆节点 计算节点：包括普通计算节点和胖节点（fat node） 交换设备 IO节点 HPC集群的节点硬件 1 登陆节点 登陆节点相当于用户访问集群系统的网关。用户通常登录到这个节点上编译并运行作业。 登陆节点是外部访问集群系统强大计算或存储能力的唯一入口，是整个系统的关键点。为了保证用户节点的高可用性，应该采用硬件冗余的容错方法，如采用双机热备份。或至少应该采用RAID(Redundant Array of Independent Disks)技术保证用户节点的数据安全性。 登陆节点一般对计算性能要求不高，整套集群配置一到两台机架式服务器即可 HPC集群的节点硬件 2 管理节点(Management Node) 管理节点是集群系统各种管理措施的控制节点： 管理网络的控制点，监控集群中各个节点和网络的运行状况。通常集群的管理软件也运行在这个节点上。 由于现代服务器强大的处理能力，通常集群的作业调度程序(如PBS)也可以运行在这个节点上。通常管理节点是计算网络中的关键点，如果它失效，所有的计算节点都会失效（已提交的作业很有可能会挂起）。所以管理节点也应该有硬件冗余保护。 HPC集群的节点硬件 3 计算节点 整个集群系统的计算核心。它的功能就是执行计算。你需要根据你的需要和预算来决定采用什么样的配置。 1）瘦节点：出于预算考虑，集群的计算主力由配置相同的大量瘦节点构成，主要用于执行MPI并行运算 由于集群中有大量瘦节点，节能和节省空间成为客户的重要需求之一，刀片服务器已成为主流 HPC集群的节点硬件 2）胖节点： 用于SMP运算或对内存需求特别大的MPI运算等。 胖节点一般采用四路以上的服务器，内存强大，价格比较昂贵。 HPC集群的节点硬件 4 交换设备 集群各节点之间需要通过网络连接在一起，节点之间的信息和数据的交换需要通过交换设备进行。 在大型集群中，计算网络的交换设备往往采用具备几百个端口的大型交换机，图中是大型以太网交换机 典型HPC集群拓扑 HPC集群的节点硬件 5 IO节点和存储设备 为了使任务可以并行执行，每台执行任务的计算节点必须能够访问同样的数据。同时计算产生的大量重要数据需要拥有较大存储空间且具备安全措施的专业存储设备进行存储。IO节点提供存储设备与计算节点之间的接口，用来确保数据访问的同步。 典型HPC集群拓扑 HPC集群的节点硬件 千兆和万兆以太网络 InfiniBand 优点 缺点 优点 缺点 低延迟，高带宽 延迟比某些特定传输协议如InfiniBand, Myrinet高些 极低延迟，高带宽 昂贵，距离短，线缆比较粗大而局限了布线。 有通用的标准，协议应用广泛 RNIC 10G比较新而且贵 成熟的传输管理：QoS和流量管理 IB的集中子网管理不如分布协议快(IEEE)。 便宜 如果没有采用TOE和RDMA的话CPU负载高 比10G以太网便宜 比较新而且复杂的协议需要培训。 RDMA, iWARP, TOE, iSCSI 协议目前都已经可用 RDMA over IP 目前没有统一的协议 已经有基于IB的存储 有限的管理和支持工具 产品成熟灵活 ? 协议本身支持RDMA和SRP HCA需要同交换机近距离连接，升级和互操作检测都比较麻烦 成熟的传输管理QoS，HA等 ? SDP允许IP跑在IB RDMA上。 ? 布线简单 ? 有工业标准 ? 管理及支持工具众多。 ? ? ? IPC网络比较 基因组测序的增长速度已经快于摩尔定律的增长速度。他说，现有的完整基因组序列的数目每12个月翻一番，比摩尔定律的18个月翻一番要快。基因组序列分析需要苛刻的计算，大部分分析技术都需要对染色体组或者基因进行二进制对比计算。由于二进制比较数与基因序列的平方数相关，因此，单独的序列比较所产生的计算量是非常惊人的 * * * * 2 * 2 * 2 * * * * * * * * * * * * * * 大话处理