并行计算多媒体课件并行体系结构lec13CLUSTER2.pptVIP

Overview Review of Lec13 单一系统映象 作业管理 作业管理 作业管理等同于工作负载管理、负载共享或负载管理 在多用户的大型机（Mainframe）中，批作业控制在操作系统之外实现 允许通过管理实现结构化的资源利用计划和控制； 以一种抽象的、透明的、易于理解和易于使用的方式向用户提供了计算资源。 机群作业管理的特点： 对异构环境的支持 批作业支持 并行支持 交互支持 检查点和进程迁移 负载平衡 作业管理系统 作业管理系统包含三部分： 用户服务器：用户提交作业到队列，管理队列。 任务调度器：执行任务的调度和排列 资源管理器：分配和监测资源，施行调度策略。 JMS功能分布，管理集中。 所有配置和日志文件应该维护在一个单一位置。 提供单一用户接口使用JMS JMS动态对机群进行重新配置 用户或管理员可以干净地挂起或终止任何作业。 作业类型 串行作业：在单节点上运行； 并行作业：同时在多个节点上运行； 交互作业：需要与用户进行交互，要求快速的周转时间，其输入/输出直接指向终端设备，这些工作一般不需要大量资源，用户可以期望它们迅速得到执行而不必放入队列中； 批处理作业：通常需要较多的资源，如大量的内存和较长的CPU时间，但不需要迅速的反应。 外部作业（Foreign Job）：不提交给JMS的作业。相对于机群作业而言，外部作业需要快速的反应时间。 机群工作负载的特征 Berkeley NOW项目得到工作负载的特征： 约一半并行作业在正常工作时间提交； 大约80%的并行作业运行时间少于3分钟； 运行时间多于90分钟的并行作业占用了整个系统多于50%的运行时间 60%~70%的工作站在任何时候都能用于运行并行作业，即使是在白天的使用高峰期； 在一台工作站上，有53%的空闲周期期时间不到3分钟，但95%的空闲时间是在超过或等于10分钟的时间段中花掉的； 2:1规则：通过使用合适的JMS软件，一个64台工作站的机群除了运行原来的串行工作负载外，还可以维持一个32节点的并行工作负载。 作业调度 问题 方案 主要问题 作业优先级 不可抢占的 高优先级作业的延迟 可抢占的 开销，实现 资源请求 静态 负载不平衡 动态 开销，实现 资源共享 独占式 利用率低 空间共享 分块，大作业 时间共享 基于进程的作业控制，现场切换的开销 调度 独立调度 严重减慢 成组调度 难以实现 与外来作业的竞争 停留 执行外来作业速度减慢 迁移 迁移阀值，开销 机群节点共享方式 独占模式：任一时候只有一个作业在机群上运行。 空间共享模式：多个作业可以同时在不重叠的节点区域（节点组）上运行。 分块 大作业 时间共享模式：在专用模式和空间共享模式下，只有一个用户进程分配给一个节点。而在时间共享模式下，多个用户进程可以分配到同一个节点上。 独立调度：各节点OS进行自己的调度，但这会显著损坏并行作业的性能，因为并行作业的进程间需要交互； 组调度：将并行作业的所有进程一起调度。成组调度偏差（Gang-Scheduling Skew）； 与外来（本地）作业竞争 停留：速度变慢 迁移 节点可用性，迁移开销，阀值 作业管理系统综述 表6.2 作业管理系统一览表 JMS名称 非专利软件包 商品化软件 PBS DQS LSF NQE Connect:Queue 开发商/制造者 NASA FSU Platform Cray Sterling 平台(Unix) 几个 大多数 大多数 大多数 大多数 并行作业支持 是 是 是 是 是 批处理支持 是 是 是 是 是 交互作业支持 是 是 是 是 否 对工作站拥有者影响 可变 小 有 可变 有 支持负载平衡 是 是 是 是 是 支持进程迁移 否 否 否 否 否 支持检查点操作 否 是 是 否 否 支持作业监视 是 是 是 是 是 支持动态资源管理 是 是 是 是 是 能否挂起/继续作业 可以 可以 可以 可以 不可以 用户接口 命令行 GUI GUI GUI, WWW GUI 容错能力 较少 有 有 部分 有 安全性 Kerboros Kerboros Kerboros US DoD Unix 典型的JMS 分布式排队系统DQS（Distributed Queuing System）：DQS由Florida州立大学FSU开发和维护。它有一个商业版本叫Codine，由德国的GENIAS GmbH提供。 负载共享程序LSF（Load Sharing Facility）： LSF由加拿大的Platform Computing公司