到时差计算中并行相关算法实验及性能剖析.docVIP

到时差计算中并行相关算法实验及性能剖析 　　摘 要：针对震动波波速成像过程中遇到的海量数据处理问题，提出了分布式实现到时差相关运算，提出了在MapReduce框架下到时差计算的程序设计思路，并在hadhoop环境下进行测试。测试结果表明使用MapReduce作为海量传感器数据的处理框架是可行的；在进行并行的到时差相关运算时，hadoop集群运算所需时间受待计算数据量和data node个数的影响，待计算数据量越大，或data node个数越少，运算所需时间越长，但这两组关系均非线性；平均Map时间与待计算数据量和data node个数无关，仅与Map函数的执行内容有关。 　　关键词：到时差；分布式矿震监测；MapReduce框架；hadoop集群；计算用时 　　中图分类号：TP391 文献标识码：A 文章编号：2095-1302（2015）02-00-04 　　0 引 言 　　对于煤矿井下的地震勘探来说，其探测的尺度相对于一般的地震勘探来说要小得多，为了实现小尺寸地质结构的探测，传感器的布置相对来说要更密集些[1]。随着传感器布置密度的提高，地震勘探系统采集到的数据量将随之增加，在使用单机进行处理的情况下，到时差的计算及后续的反演计算用时将随之延长[2]，这对系统的实时性是极为不利的。 　　针对待处理数据量激增的情况，本文基于MapReduce并行计算系统引入数据处理过程，以实际的震动数据为例，测试并分析了并行计算系统计算到时差的用时与待处理数据量、计算用时和集群节点之间的关系。本文的主要贡献在于： 　　（1）提出了到时差计算中相关算法的并行实现思路。 　　（2）测试并分析了并行相关算法的性能及影响因素，给出了进一步改进的思路。 　　1 背景知识与问题描述 　　1.1 煤炭井下震动波波速成像原理 　　震动波波速成像原理如图1所示。 　　当介质均匀时，可以认为震波沿直线传播，此时，可以通过测量震波到达各传感器的到时差来计算介质的平均速度[3]。当介质不均匀时，认为震波的传播路径将按照斯奈尔定律在不同介质的分界面上发生改变，假设图1中各方格速度为v1?vn，震动波波速成像体现为寻找到一组最佳的v1?vn组合，使得通过射线追踪方法计算得到的震波理论到时与实测到时之间的误差最小[4]。 　　图1 震动波波速成像原理 　　各传感器间到时差的测量可以通过对不同传感器接收到的震动信号的相关计算来实现，实现的方法如下： 　　假设传感器c1接收到的震动信号为序列x（n），传感器c2接收到的震动信号序列为y（n），定义信号x（n）与信号y（n）的互相关函数为：，该式表示rxy（n）在时刻m时的值，等于将x（n）保持不动而y（n）移动m个采样周期后两个序列对应相乘再相加的结果。从互相关函数的定义式可见，当c1和c2接收到的为经过同一路径到达的震波，在不考虑不同频率衰减的情况下，相关法测得的到时差精度仅取决于采样周期。 　　1.2 分布式矿震监测系统 　　分布式矿震监测系统结构如图2所示： 　　系统工作过程如下：矿震传感器通过授时子网保持各传感器之间的高精度时钟同步，经测试，时钟同步精度小于1μs。矿震传感器在采集到震动信号以后将震动信号及接收到信号的时间通过数据传输子网发送到数据中心进行处理，用户通过因特网访问数据中心即可对采集到的震动信号进行查看[5]。 　　图2 分布式矿震监测系统 　　矿震传感器使用ADI公司出品的AD7606芯片作为A/D转换器，支持8通道同步采样，采样分辨率为16 b，最高采样率可达200 kSPS。由于分布式矿震监测系统以以太网作为数据传输通路，因此，在网络带宽允许的前提下，矿震传感器的布置个数不受限制。 　　1.3 MapReduce框架 　　MapReduce框架的工作流程如图3所示： 　　图3 MapReduce框架的工作流程 　　在MapReduce框架中，用户需指定Map和Reduce函数的工作内容[6]。Map函数读入输入的键值对（Key/Value），然后根据用户的需要完成指定的工作，处理完成后，Map函数将结果保存为一系列的中间键值对[7]。Reduce函数合并所有具有相同键值的中间键值对，按照用户的需求完成指定工作后将结果输出给用户。 　　从MapReduce框架的工作流程中可以看出，Map函数之间和Reduce函数之间均是并行执行的，因此，MapReduce模型的数据处理能力仅受限于Map和Reduce的个数，当待处理数据量增大时，可以通过增加Map和Reduce的个数来提高集群的运算能力。 　　1.4 问题描述 　　从震动波波速成像的过程可见，提高网格划分密度将提高反演的精细度和质量，而随着网格划分密度的提高，要使v1+vn能够收敛到唯一解，则