武汉大学曙光集群培训.pdf

武汉大学曙光集群培训 目录目录目录目录 目录目录目录目录 Shell编程基础 Linux操作系统培训 并行集群调试 作业调度系统的使用 科学计算程序的编译、运行 Shell编程基础 Linux操作系统培训 并行集群环境搭建 作业调度系统的使用 PBS/Torque系统简介 PBS/Torque的安装配置 作业脚本与常用命令 高级功能 （Torque+Maui ） 科学计算程序的编译、运行 PBS/Torque系统简介 PBS/TorquePBS/TorquePBS/TorquePBS/Torque PBS/TorquePBS/TorquePBS/TorquePBS/Torque • PBS （Portable Batch System） PBS最初由NASA的Ames研究中心开发， 为了提供一个能满足异构计算网络需要为了提供一个能满足异构计算网络需要 的软件包，特别是满足高性能计算的需 要。它力求提供对批处理的初始化和调 度执行的控制，允许作业在不同主机间 的路由。 PBSPBS的组成PBSPBS 的组成的组成的组成 PBSPBSPBSPBS 的组成的组成的组成的组成 • 主要有用户服务器pbs_server，作业调 度器pbs_sched，节点执行器pbs_mom 三部分组成三部分组成，，三者之间协同工作三者之间协同工作，，共同共同 实现作业管理、作业调度和负载平衡等 工作，原理如下图: PBS/TorquePBS/Torque的安装配置PBS/TorquePBS/Torque 的安装配置的安装配置的安装配置 PBS/TorquePBS/TorquePBS/TorquePBS/Torque 的安装配置的安装配置的安装配置的安装配置 PBSPBS运行的前提条件PBSPBS运行的前提条件运行的前提条件运行的前提条件 PBSPBSPBSPBS运行的前提条件运行的前提条件运行的前提条件运行的前提条件 • 服务器与计算节点的rsh必须能正常使用 • 对某个用户的配置 –– ${HOME}/.rhosts${HOME}/.rhosts，，加入所有主机名加入所有主机名 • 对所有用户的配置 – 计算节点/etc/hosts.equiv是服务器名 – 服务器/etc/hosts.equiv是所有计算节点名 安装服务器端安装服务器端安装服务器端安装服务器端 安装服务器端安装服务器端安装服务器端安装服务器端 • 用源码来安装 #./configure --set-server- home=/var/spool/pbshome=/var/spool/pbs setset--defaultdefault-- server=server_name #make #make install 服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构 服务器端的目录结构服务器端的目录结构服务器端的目录结构服务器端的目录结构 服务器端的配置服务器端的配置服务器端的配置服务器端的配置 服务器端的配置服务器端的配置服务器端的配置服务器端的配置 • 向/var/spool/pbs/server_name 中添加服 务器节点的主机名 •• 将集群中所有计算节点的主机名加入将集群中所有计算节点的主机名加入 /var/spool/pbs/server_priv/nodes/var/spool/pbs/server_priv/nodes 中，每 个节点一行,如 node01 np=2 • 将/var/spool/pbs/mom_priv/config 中的