使用 Condor Web 服务管理网格资源.docVIP

/developerworks/cn/grid/gr-condorg1/ 在 Globus 中使用 Condor 作业提交组件 Condor 是用来管理对计算敏感的作业的批处理队列系统和作业调度器，它是由 Madison 的 University of Wisconsin 开发的。它充分利用了这两种技术的优势，在可能会涉及很多管理域的异构计算环境中为作业提交、监视和控制提供一个易用的接口。 Globus Toolkit 已经成为网格基础设施的事实标准。然而，Globus Toolkit 中并没有包括调度组件。调度器的作用就是要制订有关何时何地运行作业的智能决策，从而使作业的吞吐量和对资源的利用率最大化。调度器可以根据作业的需要和资源信息（例如属性、可用性和状态）为作业标识适当的资源。调度器确定何时何地运行作业，然后与 Globus 进行协调，从而在所选定的资源上运行作业并指定相关的任务，例如身份验证、文件分段传输、监视和控制。 使用 Globus Toolkit 的作业所涉及的典型步骤包括： 创建作业描述文件 初始化凭证 提交作业 监视作业 Condor 是一个用来管理计算敏感作业的批处理队列系统。它提供了上面所介绍的特性，而且能够访问分布式资源来获得更多的计算能力。Condor 通过诸如 classAds 和 matchmaking 之类的创新技术提供了调度功能。与其他批处理队列系统一样，提交给 Condor 的作业应该作为无人参与的后台任务运行。 Condor 中有很多运行环境可以用来支持不同类型的作业。运行环境被称为 Condor 环境。 当 Condor 的作业管理部分与 Globus 进行协调时，它就会与 Globus Toolkit 的 GRAM（Grid Resource A location and Management）组件进行交互。 /developerworks/cn/grid/gr-condorg2/ 有关使用 Condor classAds 和 matchmaking 的过程 调度器可以确定在何时何地运行某个作业，然后与 Globus 进行协调，从而执行相关的认证、文件划分、监视以及对远程执行环境的控制等任务。Condor 可以使用 classAds 和 matchmaking 技术来提供这种调度能力。 有些用户在熟悉网格环境并且了解了有关资源及其可用性和使用情况之后，可能会希望将作业提交到某个特定的资源上。作业可能需要访问只在某个特定资源上可以使用的数据或软件。然而，很多用户都会希望自己只需要简单地运行作业，并让调度器来确定在何时何地真正执行作业，同时允许网格中间件来处理与调度和执行管理有关的有效分布式计算问题所带来的复杂性。在这种情况中，我们可以使用 Condor matchmaking，从而允许 matchmaker 选择适当的资源来执行这个作业，然后使用 Globus 与远程资源进行协调。 网格中的 matchmaking 是什么？ Matchmaking 就是使用 classAds 将作业匹配到资源上。classAd 允许机器广播 “自己所有的资源可以使用了” 这种消息，作业可以广播它们需要的资源。Condor 利用这些作业和资源 classAds，将最适合运行作业的资源与作业的资源需求进行匹配。 classAds 资源 classAds 会广播机器的属性和条件。作业 classAd 指定了作业所需要的机器的类型，以及运行这个作业可以接受的属性的最大值和最小值。 广播 在一个 Condor 池中，资源可以周期性地发送一个资源 classAd 给中央管理器（central manager）。中央管理器包括了一个进程，用于搜集池中所有资源的资源 classAds。当提交作业时，另外一个中央管理器进程会查询资源 classAds 集来确定哪个资源可以匹配作业的需求。在使用 Condor-G 时，一旦在作业与资源之间确定一个匹配之后，就通过 Globus 把作业从 Condor 提交到远程资源上。远程资源正在运行的都是 Globus，而不是 Condor 软件。由于 Condor 并没有在远程资源上运行，因此它就没有通过一个资源 classAd 将远程资源属性广播到 Condor 中央管理器上。 为了 matchmaker 能够了解有关远程 Globus 资源的信息，并可以调度作业在这些资源上运行，我们必须通过生成并发送一个代表资源 classAd 而手动将该资源广播到 Condor 上。如果我们构建了 classAd 结构并搜集了填充 classAd 的资源信息，那就可以使用 condor_advertise 命令将这些信息发送给 Condor，这样就可以把这个作业匹配到这个资源