大型计算机“数据存储文件系统”统计程序的开发与应用.docVIP

大型计算机“数据存储文件系统”统计程序的开发与应用 2006年第2O卷第6期 石油仪器 PETROLEUMINSrRU『MENTS ? 计算机应用? 大型计算机数据存储文件系统 统计程序的开发与应用 王景德 (大庆石油管理局钻探集团物探研究所黑龙江大庆) 摘要:文章介绍了大庆物探研究所IBMSP2并行计算机和IBMPCcluster集群计算机的数据存储文件系统的基本结 构.通过编制和开发统计程序,定期对这些数据存储文件系统的使用情况进行及时,精确地统计,根据生产需求,合理地 分配和调整磁盘资源,保证数据存储资源的充分利用. 关键词:并行计算机;集群计算机;数据存储;文件系统;统计程序 中图法分类号:TEl9文献标识码:B文章编号:1004.9134(2006)06.0085—03 O引言 大庆物探研究所,是一家专门从事地球物理数据 处理,解释及地震地质综合研究于一体的生产科研机 构,可承担各种复杂地表及地下复杂条件的地震资料 处理和解释任务.目前,用于地震资料处理的计算机 包括:IBMPCcluster集群计算机,IBMSP2并行计算机 和SGIOrigin2000并行计算机….其中,IBMPCcluster 集群计算机包括264个CPU,主频是2.8GHz,主机配 置了10TB的IBMFAStT700光纤磁盘阵列存储系统; IBMSP2并行计算机包括42个CPU.主频为200 MHz.主机配置了2.5TB的高稳定性的IBM7133SSA 磁盘存储系统.使用的处理软件都是美国 WesternGeco地球物理公司的OMEGA应用软件.这 些大型计算机具备年处理三维常规地震资料2500 km2,三维叠前时间偏移地震资料800km2,二维地震 资料10000km的处理能力. l数据存储文件系统的基本结构 在IBMSP2并行计算机上,共有11个用户数据存 储文件系统(其中有一个是并行文件系统),使用df命 令显示输出【2l. IBMPCcluster集群计算机包括13个用户数据存 储文件系统,使用clf命令显示输出. 处理用户在使用OMEGA应用软件进行地震资料 处理生产时,必须在这些文件系统上读取和保存数据, 以及备份最终成果等.系统管理员根据生产实际需 求,需要经常对这些文件系统的使用情况进行统计.使 处理用户能够及时了解磁盘空问的占用情况,根据统 计结果对自己的文件进行及时清理,删除无用的临时 文件和垃圾文件,合理地分配和调整数据存储资源,使 宝贵的磁盘资源能够得到充分的利用.因此.快速,及 时的统计对于保证处理生产的正常高效运行,具有至 关重要的意义. 对于IBMSP2并行计算机各个文件系统使用情况 的统计,通常的方法是以超级用户登录,使用quot命令 来实现,但一般处理用户没有权限操作,而且对于IBM SP2系统独有的GPFS类型的并行文件系统,quot命令 无法统计其使用情况.否则将输出如下错误信息: #quot/gpfs/fsl 4050—402quot:Cannotreadsuperblockon filesystem/gpfs/fsI 以往对于并行文件系统使用情况的统计,只能使 用du命令,对/gpfs/fsl下的每个目录分别进行统计, 然后再把每个用户在该文件系统下的每个目录或文件 所占的磁盘空间进行累加,排序,再输出打印.这样做 不仅非常繁琐,而且工作量也相当大. 对于IBMPCcluster集群计算机系统,安装的是 Linux操作系统,系统中没有quot或者具有类似功能 的命令,因此无法直接完成文件系统使用情况的统计 工作,只能让超级用户通过du命令问接手动累加来完 成. 第一作者简介:王景德,男,1972生,高级工程师,1993年毕业于黑龙江大学应用数学专业.现在大庆石油管理局钻探集团物探研究所,从事计算 机软件开发及资料解释工作.邮编:163357 石油仪器 PETROLEUMINSTRUMENTS2006年12月 针对以上问题,有必要研制开发一个实用程序,根 据处理用户的需要,定期对数据存储文件系统的使用 情况进行统计,及时,有效,方便,快捷地满足生产需 求. 2统计程序的设计开发 对于文件系统使用情况的统计,最常用的命令有 两个,即quot和du.quot命令是以512一block为单 位,按文件的所:有者来统计用户在指定文件系统中磁 盘空间占用情况.du命令则是统计指定的目录或文 件所占磁盘空间的大小. 处理用户对于数据存储文件系统的使用,通常是 在文件系统下创建自己的目录,然后在自己目录下进 行建项目,编制流程,运行作业,存储数据等一系列活 动.对于IBMPCchster计算机系统以及IBMSP2计 算机的并行丈件系统/gpfs/fsl来说,使用du命令对 文件系统使属l情况的统计是唯一的选择. 根