油气开发大数据管理关键技术和体系结构研究.docVIP

油气开发大数据管理关键技术和体系结构研究 　　摘要：将大数据技术引入油气勘探开发领域，需要考虑的内容应包括：①构建适用于油气产业、能够集成/迁移现有系统、且便于部署大数据应用的基础设施；②选择能集成解决油气领域相对静态的巨大规模数据集与传感器实时数据的不同处理需求的大数据分析与处理框架。③开发部署或迁移当前应用到大数据平台。本文分析了当前的油气开发大数据管理技术及其关键问题，基于将实时处理应用和批处理应用统一在一个框架下的思路，提出了一种石油集团企业私有云体系结构。 　　关键词：大数据 流处理 批处理 云计算 　　中图分类号：TP317 文献标识码：A 文章编号：1007-9416（2014）10-0053-02 　　1 引言 　　在石油天然气领域，从寻找油气到油气开发的整个过程中，都涉及海量数据的采集、存储及处理。例如从二维发展到三维甚至四维的地震勘探数据[1]、实时监控传感器流数据等。这些快速、大量的数据集对分析处理的计算模型、方法、平台提出了非常高的要求，而且由于缺乏有效统一的集成处理平台，规模性、实时性的需求难以统一在一个框架下得以实现。 　　油气工业上游和中游部分所涉及的这些数据典型的具有大数据的4V特性[2]，即规模性（Volume）、多样性（Variety）、高速性（Velocity）、价值性（Value）。因此利用大数据相关技术解决上述问题成为一种思路