构建石油地震勘探开发需求与PC 集群存储系统.docVIP

构建石油地震勘探开发需求的PC集群存储系统 林茂 张峰 许涛 塔依尔 刘磊 新疆油田分公司勘探开发研究院地球物理研究所 摘 要：在石油地震勘探处理工作中，叠前偏移技术的使用离不开PC集群技术的应用。随着计算机技术的不断发展，目前PC集群构建过程中出现了存储环境的支持无法满足计算环境的需要这一问题。本文通过一系列的实验对比，提供了一种解决PC集群计算环境和存储环境不匹配的方法。 关键词：计算机应用；PC集群；存储系统；蓝鲸系统 前言 随着石油地震勘探工作的不断深入，地震数据处理工作集中在寻找岩性圈闭、解决复杂构造成像问题上。有效的解决办法之一是将三维地震处理叠前时间/深度偏移技术纳入日常处理流程中。叠前偏移技术是一项消耗计算资源巨大的技术，使用常规的UNIX并行计算机技术所占用的资源是大多数企业无法承担的，因此越来越多的企业将基于Linux系统的PC集群技术引入高性能计算领域解决实际生产问题，该技术在石油地震勘探数据处理中为该叠前偏移技术的实际应用奠定了基础。 通过计算机技术的不断进步，PC集群的构建技术不断地向前发展。目前PC集群的计算能力和组网技术已经能够满足叠前偏移处理的需要，而与之相对应的是存储解决方案发展相对滞后，PC集群结构中存储环境的效率很难与计算环境的效率很好的匹配。因此各企业在构建PC集群系统时都根据企业不同业务特点和需求，采用不同方案构建相应的存储系统。 NAS网络存储技术构建PC集群存储系统 2004年，新疆油田分公司引进PC处理集群系统，通过分析当时各种主流的存储环境构建方案，认为当时国内业界适合地震处理需求的PC集群存储系统配制解决方案主要有两种，即使用直连盘阵构建存储和搭建小型SAN存储网络。由于国内企业现实情况的限制，这两种方案都采用在PC集群中规划部分节点作为专用的I/O节点，这些节点直连磁盘阵列或通过SAN存储网络与磁盘阵列连接，通过NFS网络存储协议为PC集群中其它节点（即计算节点）提供存储服务。通过分析，无论采用这两种方案中的任意一种方案，存储节点和与之连接的存储资源在逻辑上可以看作一个整体，这个逻辑上的系统可以被定义为“内部通过不同的连接方式和管理机制管理存储设备，而对外通过局域网络以NFS协议方式提供存储服务的存储系统”，而这一定义恰恰就是NAS网络存储解决方案的定义。因此可以认为这两种方案都是在构建一个“广义上的NAS存储系统”。根据以上分析，考虑准葛尔盆地地震资料处理实际工作环境的需要，新疆油田分公司采用了一套不同于以上两种方案的新的PC集群存储构建方案，即利用NAS网络存储技术构建了PC集群的存储系统。该存储方案具有优秀的性能价格比优势，能够在一定应用规模内适应计算环境的工作效率。 下面的图1中，从两种PC集群存储系统构建方案的实际运算效率对比可以看出，在一定的CPU数量范围内(128CPU)表现都比较良好，基本上做到计算能力随着计算资源规模的增加而线形增长。而随着CPU数量的继续增加，两种方案都出现了计算效率下降的趋势，但这个下降趋势是能够为用户接受的。NAS存储方案比直连盘阵方案效果稍弱，但实际效果还是能够接受的，考虑到NAS存储方案的性能价格比，应该说该方案在一定范围内不失为一种好的PC集群存储解决方案。 图1 NAS存储方案与直连盘阵存储方案效率对比图 使用该方案构建存储系统的PC集群系统在地震数据实际处理环境中系统工作正常，各项系统指标均达到或超过了设计要求，有力地保证了叠前偏移处理工作的开展，设备引进实现了“当年引进，当年投产，当年取得效果”的设计需求，当年完成处理任务5000平方，取得了可观的经济效益。该方案的实施，为石油勘探开发工作提供了高效、安全的数据存储支持，满足目前新疆油气勘探事业的需求，从而为新疆油气勘探事业的进一步发展奠定了基础调动了参与项目人员的积极性，使参与人员业务水平有了很大提高，从而在整体上提高了科研人员的计算机技术水平。 图2、测试系统网络拓扑结构 通过对比，在石油地震勘探叠前偏移处理工作中，随着PC集群计算资源规模的增加，使用BWFS存储技术能够更好地保证计算资源效率的线性增长。当参与运算的计算节点CPU个数达到一定规模后（256CPU）,使用NAS存储资源和直连盘阵资源构建的存储系统已经无法满足计算能力的增强从而拖累计算环境使之无法发挥效率，甚至还造成了计算效率大大降低。而使用BWFS计算效率依然保持线形关系，如图3所示： 图3、BWFS工作效率对比图 另外，在石油勘探地震处理常规流程对存储系统性能的要求更加严格，BWFS在这一方面依然发挥了较好的效率，下面的图4中可以看出，随着作业节点和工作量的增加，BWFS不但整体响应速度比直连盘阵以及NAS存储设备迅速，而且响应速度随着工作量的增加并没有显著的变化，这反映了BWFS对多作业并行执行