Hadoop平台下地震波形数据存储与应用规划.docVIP

Hadoop平台下地震波形数据存储与应用规划 　　摘 要：地震波形数据的存储与应用是国家地震数据灾备中心的重要业务之一。本文主要针对海量地震波形数据基于传统关系型数据库和文件系统的存储方式所存在的数据存储离散、查询效率低下等问题，从大数据平台的角度，提出基于Hadoop的地震波形数据存储解决方案，着重阐述了业务需求、功能设计和实现原理。希望为国家地震数据灾备中心存储平台的建设提供有益的借鉴。 　　关键词：大数据；地震波形数据；Hadoop；Hbase；数据解析 　　中图分类号：TP392 文献标识码：A 　　1 引言（Introduction） 　　地震科学数据作为中国地震局最重要的核心资源之一，对监测预报、震灾预防、应急救援三大业务提供强大的底层数据支持。多年来，地震科学数据经过不断的采集、观测、传输、存储，形成了极大的数据规模，相应地，地震局各级机构分别构建了自己的数据存储和应用系统。2008年，中国地震局第二监测中心拟建设国家地震数据灾备中心，2013年，项目开始实质运行，至今，已经进入软硬件测试和存储方案设计阶段，将来汇入灾备中心的地震数据如何进行存储和应用，成为亟待解决的问题。 　　2 地震数据存储和应用现状（The status of 　　earthquake data storage and application） 　　地震数据可以从狭义和广义两方面进行认识。狭义上，地震科学数据按照其获取途径可以划分为观测数据、探测数据、调查数据、实验数据和专题数据[1]；按照观测手段可以划分为测震、前兆等数据。比如，专业上习惯称测震数据为地震波形数据，为了规范地震波形数据的存档和交换，方便地震研究人员使用，由FDSN、IRIS和USGS共同发布的地震数据交换标准（The Standard for the Exchange of Earthquake Data，简称SEED）便成为国内地震行业地震波形数据的标准数据格式[2]。广义上，特别从时下流行的大数据的角度来看，包括观测数据、文档、照片、视频、地图等结构化和非结构化数据都可以涵盖于地震数据的范畴之内。 　　现有地震数据的存储，我们可以笼统归纳为两大方式。其一，类似前兆业务数据等可以结构化的数据，都存储于以Oracle、Mysql为代表的关系型数据库中，所以业务软件和应用都基于关系型数据库进行开发，这也是大多数行业和数据部门多年来采用的主流存储方式。其二，对于不能结构化的数据，特别是文档、照片、视频等典型的非结构化数据和虽能结构化但受限于现实应用而不能存入关系表中的SEED数据，大都以数字化文件形式存储于地震系统内大大小小的传统存储平台和介质上，比如磁盘阵列和光盘。 　　数据存储决定数据应用。又以测震业务为例，由于测震业务现有流程和关系型数据库的限制，测震数据中SEED或MiniSeed数据以文件形式存放于磁盘中，其他辅助型数据存放于Oracle或Mysql数据库中。其实际应用首先慢于纯数据库应用；其次受限于数据的庞大体积，导致时间尺度不够宽广，历史数据应用不够充分；最后，由于而测震数据总数据量达到200TB左右，国内并没由任何唯一数据库平台可容纳全部数据，对于全量分析等高级应用的可能也只好停留在想象阶段。 　　3 大数据的发展对测震数据应用的启发（The 　　inspiration of the development of big data to the 　　application of seismic waveform data） 　　研究机构Gartner赋予大数据如下定义：“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。仅地震行业测震数据现存储量便达到200TB，可以称之为海量；测震数据的采样频率多为100Hz，也包含有200或300Hz数据，而强震业务的采样频率更达到了500Hz，其未来的数据增长率会越来越高；测震数据作为传感器采样数据，与同样作为传感器采样数据的前兆数据进行长时间尺度的联合分析，更结合多样的地震监测数据进行比对，其应用前景可能非常远大。而这样的“地震大数据”急需要新的处理模式来挖掘深藏于其内部的关于地震形成机理乃至地球内部结构的秘密，从而发挥其对地震预报的高决策力和洞察力。 　　又根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。就测震数据应用来说，短时间尺度、有限区域内的数据处理和分析所花费时间是可以承受的，但长时间尺度、广阔区域乃至全量分析在传统平台处理所需要的时间就令人绝望了，这也是还无研究人员进行如此操作的原因。 　　总之，测震数据的半结构化特性，其对地震预报的可能的巨大价值，其和前兆等地震数据