存储框架模型在地震资料大数据中的应用-计算机系统应用.pdf

2016 年 第 25 卷 第 2 期 计 算 机 系 统 应 用 存储框架模型在地震资料大数据中的应用① 金 弟, 庄锡进, 王启迪, 曹晓初, 王宗仁 ( 中国石油杭州地质研究院 计算机应用研究所, 杭州 310023) 摘 要: 油气勘探领域的地震资料是一种典型大数据. 运用超大规模并行处理应用软件对地震资料数据进行叠前 偏移成像处理, I/O 存储子系统成为整个系统的主要性能瓶颈. 针对该问题, 本文以存储主机集群、动态存储多路 径与并行文件系统为关键技术进行有机结合, 提出了一种存储框架模型, 分析优越性, 并对其进行部署. 在典型应 用场景下对系统的功能、性能进行测试, 结果验证了系统的优点. 关键词: 地震资料大数据; 存储主机集群; 并行文件系统; 存储多路径 Application of Storage Framework Model in Seismic Big Data JIN Di, ZHUANG Xi-Jin, WANG Qi-Di, CAO Xiao-Chu, WANGZ Zong-Ren (Department of Computer Application, Petrochina Hangzhou Research Institute of Geology, Hangzhou 310023, China) Abstract: Seismic data in the field of oil and gas exploration is a typical kind of big data. The I/O storage system has become a major performance bottleneck of the whole system when pre-stack migration imaging is processed for seismic data using large scale parallel processing application software. Adopting the key technologies of the storage host cluster, dynamic storage multipath and parallel file system, this paper puts forward a storage framework model, analyzes the superiority, and does its deployment. The function and performance of this system is tested in typical application scenarios and the results verify the advantages of the system. Key words: seismic data; storage host cluster; parallel file system; storage multipath 1 引言 据文件, 在 Linux 操作系统环境下的文件系统层出现 在油气勘探过程中, 利用人工地震波激发采集的 大量文件读写的 I/O 排队等待. 地震资料是一种海量数据[1]. 国内外对地震资料大数 ③存储主机的大规模 I/O 并行服务, 形成的高吞 据分析处理主要集中在叠前深度偏移、逆时偏移、介 吐量, 在存储主机与存储控制器之间的数据链路通道 [2,3] [4] 质偏移、反演偏移等偏移成像技术 与排序、整理 , 出现拥堵与单点故障. 对其存储方面的管理模型、数据访问基础架构[5] 、地 有鉴于此, 本文采用基于分布式与并行化的 I/O 震数据管理系统建设[6] 国内有些研究, 而在存储框架