集群的管理pbs.docVIP

集群的管理pbs 来源: ChinaUnix博客 　日期： 2006.12.07 10:23　(共有条评论) 我要评论 ? ? ?管理集群计算机最重要的工作不是象PC机那样启动，关闭计算机这么简单，也不需要做磁盘整理。笔者认为管理集群计算机最重要的是资源的组合划分，任务的分配，节点性能的监控和负载。每个节点的资源（包括内存，磁盘，处理器，网络）通过网络消息传递组合起来，这有点象操作系统将处理器，内存，磁盘，各种卡通过数据总线组合起来变成我们概念中单一的计算机。另外一个很重要的工作就是对节点性能的监控，这和PC机上操作系统监控硬件有点类似。这里简单介绍一下管理工具C3的使用方法。1．??集群命令行工具C3前面安装OSCAR时候我们已经详细介绍过了C3这个工具的一些情况，C3主要包含以下几个命令行：#8226; cexec: 调用linux的命令工具，可以在所有节点上运行任何linux的命令#8226; cget: 从集群的任何节点获取文件#8226; ckill: 在指定的节点上杀死一个特定的用户进程#8226; cpush: 分布文件和目录到集群中#8226; cpushimage: 使用systemimage工具更新所有节点上的镜像#8226; crm: 从所有节点删除文件或者目录#8226; cshutdown: 关闭或者重新启动所有节点#8226; cnum: 返回节点范围数值，依赖于节点基本名#8226; cname: 返回节点名字，带范围数字#8226; clist: 返回配置文件中所有节点信息cexec命令可以让所有节点同时并行运行一个命令，像操作一台机器一样。同时一个串行的cexec命令也在其中，它是用作确定命令运行和调试用的，为了避免误用它名字是cesecs而不是cexec。? ? 在所以节点的/etc/c3.conf文件中定义了一些节点信息，比如一个64节点的集群配置内容为：cluster cartman {cartman-head:node0 #head nodenode[1-64] #compute nodes}第一行是集群名字cartman，后面该集群的配置用{}包括。第二行显示这个集群的服务器节点是node0机器，后面是所有客户机节点范围。再如配置文件：cluster kenny {node0 #head nodedead placeholder #change command line to 1 indexingnode[1-32] #first set of nodesexclude 30 #offline nodes in the rangeexclude [5-10]node100 #single node definitiondead node101 #offline nodedead node102node103}其中有两种offline状态：exclude和dead，exclude指定离线的机器，dead指定无效的机器。如果有特殊的范围写成：1-5,9,11代表1,2,3,4,5,9,11。在运行命令行的时候可以指定机器范围，也可以默认使用配上，比如要在所有节点上运行ls –l 命令可以$cexec ls –l又比如在1-5节点上运行ls –l则命令是：$cexec 1-5 ls –l其它的节点范围指定也可以使用，比如1-5,9,11下面的命令比上面命令多显示9，11两个节点。$cexec 1-5,9,11 ls –l当然你也可以指定集群的名字，在集群的所有节点上面运行命令：$cexec cartman: ls -l如果要在指定名字的集群中启动某些节点上的命令则其格式是$cexec cartman:1-5 ls –lC3可以运行linux中的大部分命令，它使用ssh来连接节点在上面运行命令。有了C3我们可以很方便地控制我们的集群，无需每台机器都telnet然后运行我们的命令。使用PBS调度你的作业? ?搭建完成你的OSCAR集群后，维护工作除了管理监控以外很重要的一点是如何调度你的作业。一个大型的集群系统可能有上千个节点，会同时运行多个作业，完成不同的任务，如果不作很好的规划很有可能造成任务之间相互争夺集群的资源，最后即没有充分利用资源也无法按时完成。在我们安装的集群上有个叫PBS的工具就是专门调度集群任务的工具。? ?PBS(Portable Batch System)是由NASA开发的灵活的批处理系统。它被用于集群系统、超级计算机和大规模并行系统。PBS还有除了调度作业以外还能够管理集群的资源，如果对它作个简单总结，PBS主要有如下特征：l? ?? ?? ?易用性：为所有的