SGE的使用和管理.docxVIP

网格计算和SGE 从概念上讲，网格很简单。它是执行任务的计算资源的集合。对用户而言，它就 是一个大系统，提供单个切入点，以访问强大而分散的资源。用户将网格视作单 个计算资源。资源管理软件(如Sun Grid Engine)接受由用户提交的作业，并根 据资源管理策略将作业安排在网格内适当的系统上执行。用户可以一次提交数千 个作业，而不必考虑它们在何处运行。 什么是 Cluster grids? 网格的类型：Cluster grids , campus grids and global grids. 集群网格(cluster grids)包括许多计算资源，SGE帮助我们将这些一起工作的资 源合理地提供给一个项目或一个部门的用户。 SGE的工作原理 Sun Grid Engine软件为用户提供了向Sun Grid Engine系统提交要求计算的任务 的方法，以透明地分配相关的工作负荷。用户可以向Sun Grid Engine系统提交 批处理作业、交互式作业和并行作业。 Sun Grid Engine用以下方式调解口J用资源和作业需求。 通过Sun Grid Engine系统提交作业的用户描述出作业需求的概况。此外，系统 述要检索用户的身份以及他或她与项目或用户组的从屈关系。用户捉交作业的时 间也将存储起来。 准确地说，在队列被定为可以对新作业执行操作的那一刻，Sun Grid Engine系 统就决定了适合该队列的作业，并立即分派具冇最高优先级或等待时间最长久的 作业。 ? Sun Grid Engine队列允许同时执行许多作业。Sun Grid Engine系统将尽 量在负荷最小口最适合的队列中开始新的作业。 为什么用SGE? ? 用户：用户能够自由地在单一的控制节点上投放上T?个的任务，而不必 关心任务在哪个节点运行，这样就大大简化了用户的使用。 ? 管理员：提供广泛的工具，用以监控投放的任务。 SGE能做什么? ? 系统接受用户所投放的任务，并基于最优的资源管理方案，将任务列队 在适合的网格内系统上，等待运行。 ? SGE依据由管理者制定的规则，检测到网格内的所有可用资源，聚集资 源，并在该网格内自动地最优地分配和路由资源。 SGE怎样工作？ ? 接受用户投放的任务； ? 在任务运行以丽，将任务放在一个存储区域； ? 发送任务到一个执行设备，并监控任务的运行; ? 运行结束时写冋结果并记录运行日志。 SGE的组成 ? 节点(Hosts) ? 后台程序(Daemons) ? 队列(Queues) ? 用户命令(Client Commands) SGE的组成 ? 节点(Hosts) ? Master Hosts ? Execution Hosts ? Administration Hosts ? Submit Hosts ? 后台程序(Daemons) ? 队列(Queues) ? 用户命令(Client Commands) SGE的组成 ? 节点(Hosts) ? 后台程序(Daemons) ? sge_qmaster 一 the Master Daemon ? sge_schedd 一 the Scheduler Daemon ? sge_execd 一 the Execution Daemon ? sge_commd 一 the Communication Daemon ? 队列(Queues) ? 用户命令(Client Commands) 队列的概念 ? 队列为任务捉供服务； ? SGE允许同时运行多个任务，系统会试着这最小负荷的合适队列开始新 的任务； ? 在SGE中队列就是存放能在某一节点上运行的所冇任务的容器。一个队 列从某种方面也决定了所含任务的屈性。 用户命令 用户命令是一组辅助程序命令。他可以帮助我们管理队列，提交和删除任务，检 测任务的状态，屮断/开始队列和任务。 qacct qalter qconf qdel qhold qhosh qlogi n qmake qmod qmon qresub qrls qrsh qselect qsh qstat qsub qtcsh ? qacct-此命令从群集日志文件中抽取任意帐户信息。 ? qalter-此命令更改已捉交但正处于暂挂状态的作业的屈性。 ? qconf-此命令为群集和队列配置提供用户界面。 ? qdel -用户、操作人员或管理人员可使用此命令向作业或其子集发送信 号。 ? qhold-此命令阻止已提交作业的执行。 ? qhost-此命令显示Sun Grid Engine执行主机的状态信息。 ? qlogin -此命令启动telnet或类似的登录会话，并自动选择负荷较低并 且较 ? 为适合的主机。 ? qmake -此命令可取代标准的UNIX mak