Spark框架下地震属性处理方法研究-计算机与数字工程.PDF

Vol. 46 No. 8 计算机与数字工程 总第346 期 1620 Computer Digital Engineering 第46 卷 2018 年第8 期 Spark框架下地震属性处理方法研究∗ 1，2 1，2 1，2 1，2 朱丽萍 王建东 李洪奇 赵艳红 （1. 中国石油大学地球物理与信息工程学院 北京 102249） （2. 中国石油大学（北京）石油数据挖掘北京市重点实验室 北京 102249） 摘 要 为解决单机环境下地震属性计算处理效率低下问题，提出基于分布式并行框架Spark 的地震属性迭代处理方 法，构建满足并行计算需求的地震属性文件结构，然后将存储于HDFS 上的地震属性数据以分布式弹性数据集（RDD ）的形 式读入内存，使用Spark 将涉及多次迭代的地震属性计算过程转化为数据转移DAG 图并分步执行，整个计算过程在内存中 完成多次迭代后再将结果持久化到磁盘，相比于Hadoop MapReduce 和传统的单机处理过程避免了每次迭代时中间结果的 磁盘IO ，极大地提高了处理效率。将此方法应用于曲率属性的二维高斯迭代滤波处理过程，有效提升了地震属性处理效 率。实验表明随着数据量和迭代次数增加，同样的处理过程在Spark 下比Hadoop MapReduce 下的计算效率能够提升10倍左 右。 关键词 地震属性分析；Spark ；RDD ；MapReduce ；迭代计算 中图分类号 TP30 DOI：10. 3969/j. issn. 1672-9722. 2018. 08. 028 StudyonSeismicAttributeProcessingMethodwithSpark 1，2 1，2 1，2 1，2 ZHULiping WANGJiandong LIHongqi ZHAOYanhong （1. College of Geophysics and Information Engineering ，China University of Petroleum（Beijing ），Beijing 102249） （2. Beijing Key Lab of Petroleum Data Mining ，China University of Petroleum（Beijing ），Beijing 102249） Abstract In order to solve the problem of low computational efficiency in analyzing seismic attribute with single-machine ，a method based on distributed parallel framework Spark is proposed to finish the seismic attribute iterative processing. First ，the seis⁃ mic attribute file structure which satisfy the needs of parallel computing is constructed ，and then the seismic attribute data stored on HDFS is read into memory in the form of re