曙光作业管理.调度系统安装配置手册.docxVIP

Torque + Maui配置手册之抛砖引玉篇 本文将以应用于实际案例（南航理学院、复旦大学物理系、宁波气象局）中的作业调度系统为例，简单介绍一下免费开源又好用的Torque+Maui如何在曙光服务器上进行安装和配置，以及针对用户特定需求的常用调度策略的设定情况，以便可以起到抛砖引玉的作用，使更多的人关注MAUI这个功能强大的集群调度器（后期将推出SGE+MAUI版本）。本文中的涉及的软件版本Torque 版本： 2.1.7 maui版本：3.2.6p17。集群资源管理器Torque从源代码安装Torque其中pbs_server安装在node33上，TORQUE有两个主要的可执行文件，一个是主节点上的pbs_server，一个是计算节点上的pbs_mom，机群中每一个计算节点（node1～node16）都有一个pbs_mom负责与pbs_server通信，告诉pbs_server该节点上的可用资源数以及作业的状态。机群的NFS共享存储位置为/home，所有用户目录都在该目录下。解压源文件包在共享目录下解压缩torque# tar -zxf torque-2.1.17.tar.gz假设解压的文件夹名字为: /home/dawning/torque-2.1.7编译设置#./configure --enable-docs --with-scp --enable-syslog其中，默认情况下，TORQUE将可执行文件安装在/usr/local/bin和/usr/local/sbin下。其余的配置文件将安装在/var/spool/torque下默认情况下，TORQUE不安装管理员手册，这里指定要安装。默认情况下，TORQUE使用rcp来copy数据文件，官方强烈推荐使用scp，所以这里设定--with-scp.默认情况下，TORQUE不允许使用syslog，我们这里使用syslog。编译安装# make# make installServer端安装设置：在torque的安装源文件根目录中，执行#./torque.setup root以root作为torque的管理员账号创建作业队列。计算节点（Client端）的安装：由于计算节点节点系统相同，因而可以用如下SHELL script (脚本名字为torque.install.sh)在其余计算节点上安装：创建torque.install.sh脚本#vi torque.install.sh#!/bin/shcd /home/dawning/torque-2.1.7make install使用如下命令：npssh -on node1..32 sh /home/dawning/torque.install.sh 将在每个节点上安装TORQUE。TORQUE配置 在计算节点上配置TORQUE：在每个计算节点，必须配置MOM daemon信任pbs_server daemon，可以通过编辑/var/spool/torque/server_name来实现，把node33写入该文件即可。#cat /var/spool/torque/server_namenode33其余的配置参数写入/var/spool/torque/mom_priv/config 文件。配置计算节点的数据管理，数据管理允许作业的数据在计算节点和PBS_Server之间传递。对于共享文件系统，如NFS，可以通过在mom_priv/config 中用$usecp参数来指定如何映射用户的根目录。$usecp *:/home /home这里集群的mom_priv/config内容如下：# MOM server configuration file# if more than one value, separate## rule is defined by the name## host allowed to connect to mom server on privileged port# note: IP address of host running pbs_server it by comma.$pbsserver 3$clienthost node33#ideal processor load and max processor load$ideal_load 7$max_load 8## host allowed to connect to Mom server on unprivileged port#Specifies hosts which can be trusted to access mom services as non-root.#By default, no hosts are trus