油田生产中大数据分析技术探究及应用.doc

油田生产中大数据分析技术探究及应用 　　摘 要：自始以来，由于地理位置的影响我国的石油资源处于紧缺的状态，传统的人工技术已不能满足我国石油需求的问题，那么将大数据技术应用于油田的建设中是一项急不可待的工程。文章以新疆油田公司为例，利用数据挖掘技术发掘油田隐藏的数据价值，提高数据的使用效率，利用数据找到合适油田，指导生产工作，更好地节约成本，提高综合效益 关键词：油田生产；大数据；数据挖掘 前言 新疆油田重油开发公司是以稠油开采为主的采油厂。有着将近10年的数字油田建设历史。而且中心数据库已经做得很成熟，主要包括五大业务板块数据。即勘探业务板块、开发业务板块、生产业务板块、经营业务板块的数据库。数据库包括的内容主要有单井、区块的日月报数据、试井与生产测井数据、分析化验数据、井下作业和地理信息数据等。数据库的数据资源种类齐全，质量高。2010年新疆油田重油开发公司正式开始进行智能化油田建设工作，利用物联网诊断单井问题，使用大数据技术对油田进行全面感知、分析预测、优化决策找到油水井的生产规律，从而有助于油田生产工作进行 1 油田大数据的概念及处理流程 大数据有四个特点即量大（Volume）、快速生产（Velocity）、类型丰富（Variety）、真实性（Veracity），被称为4V[1]。由于数据的数量非常大，就将数据组成数据集，进行管理、处理实现数据的价值。大数据对数据库的整理流程是将数据转化为信息，将信息转化为知识，再将知识转化为智慧。这个过程应用于油田可以理解为是对油田的生产和管理工作。大数据的七个处理步骤包括：对数据的提取和收集、清洗数据、分析数据找到潜在的内在价值规律、建立预测模型、对结果进行可视化的估计、验证结果、评估模型 2 大数据分析平台及体系架构研究 新疆油田为了满足生产应用，构建了一个有效的大数据分析平台及体系架构。此平台主要包括四个基础架构：数据抽取平台、进行分布式的存储平台、大数据的分析与展示平台。最底层是数据抽取平台主要是实现数据的整合，将数据转化成适合进行数据挖掘或者建模的形式，构建可靠的样本数据集。存储平台主要是对数据进行汇总、建模、分析，最后将处理好的数据进行储存。其功能与数据仓库相似。大数据分析层，是在大数据建模的工具和算法基础上，挖掘隐藏的数据模式和关系，利用数据软件进行分类、建模，生成预测的结果，结合专家经验利用测试的样本选定评价方案不断提高模型的精度，更好的用于油田的决策。数据应用层主要是把建立的模型设计为运行软件，运用建模方法实现数据的可视化界面设计，更好的实现人机交互 3 大数据分析技术研究 进行大数据分析时我们经常采用两大技术即大数据预处理和抽取技术，大数据分析技术 3.1 大数据抽取及预处理技术 大数据预处理和抽取技术的原理是指将不同名称，不同时间，不同地点的多种不同结构和类别的数据抽取处理成一种所表达的算法和内涵一致便于处理类型的数据结构[2]。在检查数据缺失、数据异常时可以使用数据清洗方法确定有用的数据，一般采用剔除法或估计值法、填补平均值替换错误的数据。为了满足建模所需的大量数据，创建新的字段时需要进行数据库的构建。将原始数据用一定的方法如归一法转换为可用于数据挖掘的数据，这个过程为数据转换 3.2 大数据分析技术 应用于油田的大数据分析技术为：因子分析技术、聚类分析技术、回归分析技术和数据挖掘技术。其中的因子分析技术是指，利用少数的因子对多个指标和因素间的相关性进行描述，一般将密切相关的多个变量归纳为一类，这一类数据就属于一个影响因子，用较少的因子反应大量数据的信息。聚类分析技术是指把具有某种共同特性的事物或者物体归属于一个类型，并按照这些特性划分为几个类别，同种类型的事物相似性较高。这样更利于辨别预先未知的事物特征。回归分析是指在一组数据的基础之上，研究一个变量和其他变量间隐藏的关系。利用回归方程，进行回归分析，从而有规律地把变量之间的不规则，不确定的复杂关系简单得表示出来 在使用大数据进行分析时，数据挖掘技术是最关键的一门技术。该技术将大量复杂的、随机性的、模糊的、不完整的数据进行分析，挖掘出对人类未来有用的数据，即提前获得未知信息的过程[3]。数据挖掘功能分为预测功能和描述功能。数据预测是指对数据进行处理推算，完成预测的目的。数据描述是展现集体数据的特性。数据挖掘功能是与数据的目标类型有关，有的功能适用于不同类型的数据，有的功能则只适用于特定功能的数据。数据挖掘的作用就是让人们能够提前得到未知的消息，提升数据的有效性，使其可以应用于不同的领域 4 大数据分析在油田生产中的应用研究 4.1 异常井自动识别 油田生产过程中影响最大的一个因素是异常井的出现，因此生产管理人员加大了对异常井的