一种低开销机群负载监视方法.pdfVIP

第一章引言 第一章引言 机群技术是近几年新兴起的一项高性能计算技术。机群系统是一个使用网 络互联的高性能并行计算平台；它主要有两个组成部分，结点和互联网络。结 点可以是PC机，工作站，服务器或者SMP等。每个结点都有自己的存储器、I／o 设备和操作系统。机群系统可以通过以太网、令牌环网等互连起来，也可以通 过高速以太网、交换式以太网、FDDI和ATM等网络互连起来；为了达到较高的性 能还可以使用专用的高性能网络。机群在工作中像一个统一的整合资源，所有 结点使用单一界面，对用户提供低价高效的高性能环境和快速可靠的服务。 因为机群系统中存在着大量的结点及部件，为了提高机群的利用率、保证 系统的可靠性，必须对机群系统各个结点进行监视和控制。在实际应用中，～ 方面要对机群系统进行监视，以获得系统中每个结点的cPU负载、内存使用情况、 网络设备的吞吐情况、各个进程的详细信息等；另一方面，需要对机群系统运 行的各种并行程序进行监视以获得并行程序的状态信息。 传统的对机群系统的监视方法是通过Telnet远程登录到某个结点上，运行 结点监视程序实现监视，或者通过命令行的输入实现控制。随着机群系统规模 的扩展，传统的方法显得异常繁琐，主要缺点如下： 1．管理员往往因为在机群各结点之间的频繁登录，导致当前登录结点和其 他结点产生混淆，结果使本应在其他结点上执行的命令在当前结点上执 行，从而导致不可预测的甚至毁坏性的后果。如错误地删除重要文件， 使结点无法正常运行。 2．当管理员在异地时，传统方法变得更为麻烦，因为结点机没有对外的IP 地址，管理员必须首先登录到监控机，然后再从监控机登录到结点机上。 3．Telnet本身采用明文传输，因此这种方法并不安全。 因此需要设计一个具有单一映像的监视和控制系统，方便系统管理员对整 个机群系统进行监控，并根据不同的需要对整个系统的性能进行评价，或者根 据系统的性能状况来调整系统配置。此外，监控系统还需提供远程访问服务的 功能，以帮助系统管理员在异地对机群系统的运行状况进行监视，同时为以后 开发基于网格(机群的机群)的监控系统做好技术储备。 从另一个方面来说，对并行程序的监视也是非常必要的：并行程序的各种 状态在物理上是分散的，不容易采集、集中分析；而且并行程序运行会产生大 7 第一章引苦 量的数据，这给调试带来了巨大的困难。并行程序在并行机平台上运行的时候， 执行效率并不能随着机群规模的扩大而无限制提高。并行程序的加速比除了受 到阿姆德尔定律的影响外，还受程序设计的好坏，以及硬件平台的影响。使用 监视软件实时采集关于并行程序的各种状态和参数，有助于程序员及时发现并 行程序运行的瓶颈和影响程序运行的症结所在，有助于并行程序的执行效率的 提高，有助于设计出结构合理、高效运行的并行程序[1]。 综上所述，机群监视软件的设计和使用对于提高机群的利用率、保证系统 的可靠性和并行程序的设计、调试和优化是非常必要的。 目前，监控系统己成为机群系统的一个重要组成部分。管理员通过监控系 统得到具有单一系统映像的机群系统；通过该单一系统映像可以了解整个机群 的运行状况，并且对机群系统中的某些结点进行控制。目前，监视工具的硬件 方法实现和混合方法实现正在研究之中，但对于机群服务器的监控，主要还是 采用机群监控软件的方式来实现。国内外有许多针对机群系统的监控系统，如 NwPerf，G锄西ia，Nept嘶e[2】等。 在机群系统中，一般的结点(比如工作站)是作为一个独立的系统工作的， 而不是作为一个工作站机群的一部分，所以监视机群系统是一个繁重的任务。 一般的监视方法是分别采集每个结点的状态信息，然后集中进行分析和可视化 处理，通过GUI(图形用户界面)来监视整个机群系统的行为。 监视软件的引入不可避免地给机群系统带来了一些负面影响。因为使用监 视软件必然会在系统上执行一些软件指令，给系统带来额外的负担。比如设计 不好的监视软件，会占用过多的系统硬件和软件资源，比如CPU、硬盘、内存等， 给系统带来了过重的额外负载，这是我们不能容许的。除此之外，这些监视可 能会影响到其他并行应用程序在机群系统上的执