第6章 机群计算的实现.docVIP

第6章 机群计算的实现 1．机群系统一般结构 ----机群（cluster）系统是互相连接的多个独立计算机的集合，这些计算机可以是单机或多处理器系统（PC、工作站或SMP），每个结点都有自己的存储器、I/O设备和操作系统。机群对用户和应用来说是一个单一的系统，它可以提供低价高效的高性能环境和快速可靠的服务。 ----机群系统包括下列组件： 高性能的计算结点机（PC、工作站或SMP）。 具有较强网络功能的微内核操作系统。 高效的网络/交换机（如千兆位以太网和Myrinet）。 网卡（NICs）。 快速传输协议和服务。 中间件层，其中包括某些支持硬件，如数字存储通道、硬件分布共享存储器及SMP技术；应用，如系统管理工具和电子表格；运行系统，如软件分布共享存储器和并行文件系统；资源管理和调度软件等。 并行程序设计环境与工具，如编译器、语言环境、并行虚拟机（PVM）和消息传递接口（MPI）等。 应用，包括串行和并行应用程序。---- 2．组建机群系统的需求和功能 ----机群组建时应考虑下面的需求和功能： 较高带宽的网络，以支持通信需求； 低延迟的通信机制； 支持高带宽的多点传送通信方式； 自动恢复网络和结点错误的能力； 标准的低级原语，支持通信、同步和时序； 异构的远程过程调用，以隐藏体系结构、协议和系统的不同性； 实时性能监视器； 可靠的批处理工作调度程序； 分布应用程序开发工具； 支持传统的高级语言进行异构计算； 能够开发工作站机群的应用程序； 新的系统管理工具； 发展标准化，以保护软件投资。---- 3．机群系统与其他系统的比较 ----一个典型机群系统和其他类型系统的对比可参看下表。 基本类型 ----机群系统可以按照应用或结构进行分类。 ----1．按应用目标 ----可分为面向科学计算型或面向关键任务应用型： 高性能机群（high performance cluster）； 高可用性机群（high availability cluster）。----2．按组成机群的处理机类型 PC机群； 工作站机群； SMP（对称多处理器）机群。----3．按处理机操作系统 Linux机群，如Beowulf； Solaris机群，如Berkeley NOW； NT机群，如HPVM； AIX机群，如IBM SP2； 数字VMS（虚拟存储机）机群； HP-UX机群； 微软Wolfpack机群。----4．按处理机的配置 同构型机群：所有结点拥有近似的构造和相同的操作系统； 非同构型机群：所有结点拥有不同的构造和不同的操作系统。----5．按处理机的位置和数量 组机群，结点数量为2～99，通过SANs（系统级网络），如Myrinet，机群实际上装入一个机箱中或存在一个范围之内； 部门机群，结点数量为几十或几百； 企业机群，结点数量为几百。----6．按构筑机群的方式 专用机群； 非专用机群。----极高的性能价格比使专用机群深受欢迎。 专用机群 ----专用机群一般由一组同构的处理机组成（有时也有异构情况），通常安装在一个机房内，或者将主板等安装在一个机柜的各机箱中（商业机群常用这种方式），或像图中那样简单地把PC机堆砌在机架上（Piles of PC）。在这种机群中，每个处理机都是专用的、无属主的，由系统管理员统一管理，用户可通过前端机进行访问，用户无需知道机群的详情，就像使用MPP机一样，易于配置和管理，不受外界干扰，通信可靠且延迟小，适合于面向加速比的并行任务和面向吞吐量批处理作业。专用机群具有相对结构和管理简单、易于扩展等特点，用途极广。 ----专用机群的互联结构通常有以下两种方式： ----I/O方式 包括普通用LAN、FDDI、ATM等网络连接和共享磁盘连接两种方式。 ----共享存储器方式 包括全局共享存储器方式和分布式共享存储器方式。分布式存储器指没有一个集中的存储器，由各处理机内一部分存储器通过软件机制形成。 ----1994年夏，美国的研究人员建成了第一个Beowulf机群，它由16个DX4处理机组成。1997年，又推出了16个基于P的机群，只需花费5万美元却具有每秒10亿次的浮点运算能力，而购买具有相同能力并行机的投资数却是它的10倍。 Berkeley的NOW系统也是较早的工作站机群，由上百个Sun Ultra工作站组成，集成到19 英寸机箱中，可使用Myrinet、ATM和终端集中器等多种互联手段，每个结点自带512K缓存、128M内存及2个2.3G硬盘。 ----此外，各大公司推出的商业专用机群还有很多，如DEC 的VMS机群和TruCluste