GridSAM作业提交和监测系统性能鉴定[文献翻译]2013.docVIP

GridSAM作业提交和监测系统的性能鉴定 William Lee， A. Stephen McGough， and John DarlingtonLondon e-Science Centre， Imperial College London， South Kensington Campus， London SW7 2AZ， UKEmail: lesc-staff@doc.ic.ac.uk 摘 要：有的分布式资源管理器(DRMs)缺乏用于描述和启动工作标准的语言和可互操作的接口。介绍了一个基于标准的利用Web服务和工作提交描述语言(JSDL)作业提交系统，GridSAM[1]。GridSAM提供了一个透明和高效用户和现有DRM系统之间的桥，如。我们通过一组性能结果证明，的GridSAM提交管道而整个系统的吞吐量和可用性。收集的性能结果从各种各样的部署配置来行使GridSAM广泛支持的术语的启动机制、集群设置和持久性的选择。1概况 有许多分布式资源管理(DRM)系统工作计算资源。然而，大多数系统采用专有语言和接口描述并与之交互工作流程。这导致用户需要学习大量的职位描述语言和部署利用各种各样的网格资源Web服务已经被认定为来构建分布式服务首选技术。它提供了一个可互操作的方法,面向消息的机器到机器交互。商业采用Web服务开发催化了工业强度的平台,以便部署高性能Web服务。此外,网格社区的步伐在最近几年定义标准网格计算的核心功能。为了达到全球计算网络的愿景这是需要实现互操作性和技术边界。特别是, 作业提交描述语言(JSDL) []目前正在标准化和提出的基本执行服务(BES) []接口来促进DRMs之间的互操作性在全球网格论坛是必要的标准。在本文中,我们提出我们的工作GridSAM作业提交和监控系统,进行作为开放中间件基础架构研究所管理计划[],作为第一个采用JSDL和Web服务的工作描述和交互系统。GridSAM旨在提供一个有效用户之间的桥梁将作业提交到网格支持透明地工作启动机制,比如分叉,Condor,球和安全外壳。GridSAM的作业管理库封装了从JSDL映射到提交动作所需的底层DRM。封装允许函数通过GridSAM使用Web服务以及利用它作为一个独立的库。本文如下:在第2部分,我们介绍了架构组件的GridSAM系统和采用上演了事件驱动架构(SEDA) []的实现原理。在第3节中,我们定义了用于性能评价指标,提出我们的实验装置,并讨论每个实验的作用。第4部分中,我们介绍了收集结果和性能的比较分析各种GridSAM部署构件。图1GridSAM系统架构2．系统架构GridSAM的目的是让用户通过现有的分布式资源执行应用程序。透明度是对于JSDL和一个统一的网络访问使用一个共同的职位描述Web服务。GridSAM核心函数是翻译提交一个JSDL文档中指定的一组资源具体的行动阶段，和监测工作。这个函数封装在GridSAM工作管理库(JML)。JML的角色是编排执行一组DRM连接器——可重用组件封装作业管理行为。这些组件是由部署人员的网络阶段类似工作启动管道。这个运行时JML通过这些办理器 API减轻系统工程师编程的常见任务,比如持久性、故障恢复和并发管理。Web服务的GridSAM使可用JML通过Web服务接口。这实现为一个Java符合JAX-RPC标准的Web 服务部署在任何Java Servlet兼容容器。这打开了平台可伸缩性。Web服务接口使用了HTTPS传输的安全性和OMII WS-Security框架来保护消息交换以及用户进行身份验证和授权。Web服务接口示例演示了如何使用JML的是一个联网的多用户服务。这是JML可以嵌入到其他框架(例如门户，网格应用程序)的地方不同的交互模式。图2提交管道在GridSAMCondor的工作作为一个网络的提交管道阶段GridSAM的管道被构造成一个网络连接事件队列的阶段。这个设计灵感来自于事件驱动架构(SEDA) []。它分解为健壮的阶段,有可能单独习惯于负载由线程持有或过滤其事件队列而不是将每个作业提交请求作为一个提交动作一些范例系统(如哈布沙暴web服务器)已经演示了使用这一原则提供了巨大变化的稳健性负载。图2描绘了一个管道,启动工作到Condor池。每个阶段的管道是一个实现DRM连接器事件处理程序接口。DRM连接器实例封装一个特定的功能,通过传入的事件触发(例如阶段事件)关联到一个工作。一旦DRM连接器已经完成操作,它可能排队到另一个阶段。它以异步方式有效地将控制传递给下一阶段的管道。长时间运行的阻塞操作阶段(例如读文件)可以被分解进一步利用方案变动包括非阻塞I/O库。引入的显式控制边界改善并行的系统整体之间的队列。这个简单的面向消息的接口允许系统工程师关注特定的逻辑,而不是细节的并发性和