GeoEast海量数据处理资源优化配置技术研究与应用.docVIP

GeoEast海量数据处理资源优化配置技术研究与应用 　　摘 要：本文着重介绍GeoEast海量数据地震处理系统软硬件资源的优化配置技术，重点从几种不同类型的并行文件系统（GPFS、PANFS、ONEFS）与GeoEast软件I/O读写的匹配及兼容性研究、GeoEast系统的oracle数据库服务器优化和应用软件优化等几个方面对GeoEast海量数据处理系统进行优化配置，从而提高海量数据处理系统的整体性能，并为海量数据处理系统的软硬件资源配置提供一定的理论参考。 　　关键词：海量数据处理；高性能存储；GeoEast地震处理系统；oracle数据库 　　中图分类号：TP311.52 　　随着地震勘探的不断深入，野外采集方法随之不断发展进步，宽方位宽频带高密度地震勘探在国内外已日趋主流，随之而来的数据量成几何级数增长，对计算机软硬件配置提出了更高的要求，对存储系统在存储容量、数据可用性以及I/O性能等方面带来了巨大的挑战。同时，GeoEast系统作为国内自主研发的首款地震资料处理解释一体化软件，在进行海量数据处理过程中，也提出了更高的要求。我们在海量数据处理设备方面，还处于摸索阶段，目前在计算资源硬件选用了Intel E5-2670 CPU和万兆网络，同时也配备了多套高性能存储系统，但在处理过程中仍然存在着较多问题，问题主要集中体现在I/O性能方面。针对GeoEast软件在海量数据处理时的I/O效率较低这一问题，我们做了多方面的研究。本文主要介绍如何从软件硬件两方面对海量数据处理系统进行优化配置，从而提高海量数据处理的整体性能。为海量数据处理的软硬件优化配置提供一定的参考。 　　1 海量数据处理系统的硬件配置 　　作为国内首套海量数据处理系统，该系统在硬件架构的选型和配置上做了大量的调研和探索，计算节点选用了Intel Xeon E5-2670的8核cpu处理器，主频为2.7GHz，该处理器支持大内存的配置。内存配置为128GB，配置了5块600GB的SAS硬盘，配备了2400TB的高性能并行存储系统，采用10GbE的万兆网将系统进行互联。计算能力达到50Tflops。 　　该套系统的计算能力已基本满足海量数据处理的需求，但在实际生产过程中仍然还存在着系统运行效率较低、数据I/O瓶颈、GeoEast处理系统与多种并行文件系统（GPFS、OneFS、PanFS）的兼容性等一系列疑难问题，针对这些问题做了大量的研究，并提出了一定的优化技术解决方案。 　　2 存在的问题及解决方案 　　2.1 GeoEast处理系统与多种高性能并行存储间的兼容性优化技术 　　非海量数据处理作业量不大且数据量小，使用普通的DAS存储便能满足要求。但对于两宽一高地震勘探的海量数据处理，由于数据量高达几十甚至上百TB，需要同时发送数百个作业，这样势必对存储提出了更高的要求。普通DAS存储已无法满足海量数据并发存取的要求，该套海量数据处理系统选择了高性能存储来进行海量数据的并发读写，主要采用GPFS、PANFS和ONEFS等多种并行文件系统。针对这几种高性能存储，在相同的应用环境下，分别在GeoEast处理系统上做了一系列的测试，测试主要分为操作系统级测试和应用软件测试两个部分。系统级测试主要是针对各文件系统进行了iozone读写性能测试，测试结果如表1所示。应用软件测试方面是使用不同的文件系统在GeoEast处理软件中进行海量数据的读写压力测试，同时发送500个读写20GB数据的作业，分析作业运行过程中软件交互操作速度以及作业运行的平均时间，测试结果如表2所示。 　　表1 不同类型高性能存储在操作系统级上的iozone读写性能测试结果 　　文件系统类型 　　（16台） Iozone 　　写带宽（GB/s） Iozone 　　读带宽（GB/s） 　　ONEFS 3.46 5.56 　　GPFS 4.47 5.57 　　PANFS 3.27 3.59 　　表2 不同类型高性能存储在GeoEast处理系统上的兼容性测试结果 　　文件系统类型 　　（16台） 写带宽 　　（GB/s） 读带宽 　　（GB/s） 交互作业 　　（打开SeisView） 同时发送500个作业 　　平均读写22GB数据 　　的作业时间（s） 　　稳定性 　　ONEFS 6.2 8.6 需等25秒 15360 好 　　GPFS 18 23 需等3分钟 48000 较好 　　PANFS 16 16 需等10秒 15392 最好 　　通过对测试结果的分析表明：各文件系统与GeoEast软件之间存在着一定的兼容性差异，结果表明PNAFS和ONEFS文件系统无论从海量的交互操作方面，还是批量作业运行效率、稳定性等综合性能方面都有较好