北京大学大气科学系CLUSTER操作手册.docVIP

北京大学大气科学系cluster操作手册 v.1 by 应越 一、cluster简介 目前大气科学系的高性能计算机有两套，旧的是console和c0101...c0107一共8台机器，用户通过38登陆一台叫precluster的机器（门户）然后从上面rsh到旧cluster上。新买的机器是master和node01...node15一共16台，用户可以从门户precluster上rsh登陆，也可以直接从7登陆到master。 38 7 | | precluster master c0111...c0116 | | | | | | | | c0101 c0102 ... c0107 node01 node02 ... node15 [图1]cluster网络结构 新cluster每个节点（node**）机器有2个4核的CPU，也就是说每个节点上可以同时运行8个mpi进程。 机器之间的文件共享是通过autofs服务实现的。在/etc/auto.misc里定义了本地机器挂载的网络文件目录。/etc/exports里定义了别的机器能够挂载的本机的目录。挂载的文件目录在/misc里可以找到。cluster的机器为了管理方便，将/misc下的目录链接到了/mnt下。 用户的信息由master通过yp服务统一管理，每台节点机的/home都挂载为master机器上的/home。用户自己家目录的实际存放点是散布在节点机上的，在/home下链接到实际地点。 由于master负担了在node**间传递文件和用户信息的重要任务，所以我们尽量不要用master机器运行自己的程序，以免进程占用太多CPU而影响其他用户的登陆和文件的传输。 在master的/usr/local上装了一些公用的软件，每个用户都可以调用。比如pgi的编译器，ncarg图形软件等。用户也可以在自己的家目录下安装自己的软件。 二、用户操作 准备工作 对windows用户，登录cluster之前需要准备SSH Secure Shell Client软件，下载地址： 38/download/SSHSecureShellClient-3.2.3.exe 登录时输入自己的用户名和密码，端口和认证方式不用改，这样应该可以正常登录。 当我们拿到自己的用户名和密码后，最重要的事情是用passwd命令改自己的密码，这是为了保证你的资源安全。当遇到问题需要管理员解决时也不需要提供自己的密码，因为他有办法跨过你的权限：）你的密码应该只有你一个人知道。 登录cluster后，可以通过rsh命令切换到各个节点，比如从master上rsh登录到node02节点： (1). 管理你的目录和文件 linux的文件系统操作类似于dos系统命令行操作。基本的命令如下： ls 列出当前目录里的文件，有兴趣的话可以研究一下ls的选项。常用的有-l -A等 cd dir 进入文件夹(不加目录名则默认进入你的家目录) pwd 显示当前所在目录 rm file 删除文件(删除目录需要加-r选项，强制删除用-f) cp file1 file2 复制文件 mv file1 file2 移动文件（也可以理解为改名） touch 新建文本文件 mkdir 新建文件夹 ln -s file link 建立链接 cat file 显示文件内容 grep content file 在file中查找有content的行 sed,awk,cut... 字符串处理，不详细说了。 要了解一个命令的详细使用方法，建议大家阅读manual page。比如要看awk的详细说明，可以man awk或info awk。 如果你不愿意别的用户随意浏览、修改、调用你的工作，你需要知道怎样给自己的文件设置权限。一个文件的权限可以通过ls -l 查看，每条记录的第一项为权限代码（如：-rwxr-xr-x）第一位是文件类型（-：一般文件；d：文件夹；l：链接）之后的9个位置分为3组，第一组为文件所有者的权限，第二组为文件所有群组的权限，第三组为其他用户的权限。每组的3个字母r代表可读权限、w代表可写权限、x代表可执行权限。更改文件权限的命令为 chmod 750 -R file 750三个数字为三组权限的加权值。r=4，w=2，x=1。750代表的意思是-rwxr-x。又比如644的意思是-r-xr--r--等等。 在命令最后加上 可以让命令在后台执行，这样在同一个命令行里还可以执行别的命令