网格环境下的监控与数据可视化的研究.pdfVIP

网络技术 ·77· 网格环境下的监控及数据可视化的研究 杨法娜杨寿保池轶冯征 中国科学技术大学计算机科学技术系合肥230026 中国科学院沈阳计算技术研究所沈阳 1 10004 一、引言 随着我们对广域环境的模拟和评估能力的不断提高，我们不得不面对大量的数据。近几 年兴起的网格，一种为了在动态变化的、拥有多个部门或者团体的复杂虚拟组织内实现灵活、 安全的协调资源共享与问题求解而出现的新技术，使得我们更是要面对非常庞大的数据[1，2】。 而越来越多的应用程序要用到各种各样地理上分布的资源，这些资源是动态变化的——它们 可以随时加人或退出。这种不断增加的复杂性也使得我们越来越难以理解分布式环境中各种 资源相互间的协作和影响。因此，在一个地理上分布而资源又是动态变化的网格环境中，对 其海量数据进行监控和可视化就显得极其重要了。 要想很好地理解网格系统中各个资源的行为，有一种方法，就是显示它们的活动。看任 务是何时、在哪儿被执行的，以及在各种资源问传送的数据是如何提供有用的调试信息的。 这些信息可以帮助用户发现那些可能导致系统整体性能的下降、甚至是崩溃的瓶颈所在，还 可以让我们对一项计算的整个过程进行监控，很快得到整个系统的状态。在系统中显示分布 资源的网络连通性，也可以为我们优化系统提供有用信息。而且，这种可视化同样是一种很 有价值的展示工具，它可以让那些对该系统不熟悉的人很快并且很直观地就理解一个复杂的 系统[3]。 本文结合现在最新的网格技术，在简要探讨网格环境下的监控和数据可视化的相关问题 后，分析它存在的技术挑战，然后给出我们的一种可视化原型。该原型能很好地将专门的应 用程序的性能数据、网络的路由和连接数据的可视化整合在一起。我们将从这个原型的运行 环境、体系结构、实现机制等几个方面分别进行阐述，随后用一个实例展示它在我们网格环 境(USTCGrid)中的实现，最后分析并总结今后的研究方向。 二、网格中的监控及其数据可视化技术 监控技术是为了在一个系统中可以及时发现产生故障的主机、分析系统性能瓶颈、帮助 用户在最短时间内恢复或调整系统而出现的。在网格环境下，监控其中每个计算节点的状态 更是至关重要。因为除了上述功能外，监控数据还可用来预测系统运行的轨迹，为网格动态 ● 负载均衡策略提供可靠的依据【4】。可视化技术使得用户可以通过友好直观的界面查看整个系 统的信息，从而使其管理更加简单、使用更加方便。 1．网格监控 由于原有的很多监控命令不支持远程访问，SNMr[s]虽然能够提供远程访问的功能，但 ·78· 网络新技术与应用研讨会论文集(2003年) 只提供了点对点的访问机制，对于高性能、大规模的广域分布式计算环境来说SNMP在结构 和功能上都不能满足要求。此外，它带来的额外开销是不能忽略的。在机群监控的领域内， 监控对象的地理位置相对集中决定了其简单的软件及监控对象结构不能为网格监控所用。因 此我们需要新的技术。目前一种新的方法是将性能监控代码插入应用程序，在应用程序运行 进制代码中搜索性能瓶颈，并试图自动地消除瓶颈——完全不需要程序员介入[6】。 目前为分布式系统提供监控和信息服务的系统主要有以下三个：Globus工具包的MDS Grid (管理和发现服务)、欧洲数据网格的R—GMA(RelationalMonitoring [7]中详细分析了它们各自的特点及其追求的目标，可以根据自己的情况选取。在我们的可视 化原型系统中，我们选择Globus的MDS来实现对网格的监控。 2．数据可视化 网格环境中的可视化与单机系统中的可视化有很大不同，因为用户需要通过网格来观察 可视化结果。数据不是从本地硬盘中读取的，可视化运行环境也不在本地。如果采用OpenGL 等传统的可视化手段——在Web服务器端生成图像，然后一幅幅地传给客户端，这种方式是 不可能满足网格环境下人们对于科学计算的可视化要求的。