河南油田数据仓库解决方案的技术实践.docVIP

河南油田数据仓库解决方案的技术实践 　　摘要：本论文通过对数据仓库解决方案中的几项关键技术进行的程序设计开发等技术实践，论述了其技术关键和应用特点，并结合企业网开发应用环境以及油田数据库技术应用现状，提出了构建具有石油专业领域特色的数据仓库应用的设想。 　　关键词：油田；数据仓库；数据整合；联机分析；数据挖掘；综合应用 　　中图分类号：TP393 文献标识码：A文章编号：1007-9599 (2011) 11-0000-01 　　Henan Oilfield Data Warehouse Solutions Technology Practice 　　Li Heng 　　(Henan Oilfield Information Center,Nanyang473132,China) 　　Abstract:Paper by which data storage solutions of several key technology for development of programming practice for data management,technology and application of the key features and integrated enterprise development environment,and the web application database technology application,made to build an oil field of data that the application. 　　Keywords:Oil;Data warehouse;Data integration;Online analysis;Data mining;Comprehensive application 　　一、油田开发数据仓库解决方案技术实践的目的 　　数据仓库是近几年来出现的一项新技术，目前，数据仓库技术在理论研究上有了较大的进展，围绕数据仓库解决方案的软件产品也如雨后春笋般出现。但油田开发有其很强的专业领域特征，并不是照搬照抄能做到的。因为数据仓库不是一个产品，虽然需要一定的软件产品作支持，但数据仓库本身必须根据企业自身的应用特点来构建。 　　经过多次调研分析和对比多家油田数据中心建设解决方案，我们认为河南油田数据中心建设的总体指导思想是要建设以数据整合和数据挖掘为核心的综合性数据仓库，在股份公司勘探与生产分公司和油田分公司建设现代化的数据管理与服务体系，形成集成的数据管理平台，使得所有专业数据得到科学的管理。 　　二、油田开发数据仓库解决方案技术实践的总体设计 　　该平台主要内容包括： 　　1.数据需求者根据需求，通过虚拟数据仓库抽取出所需要的数据建立数据集市。 　　2.根据以建立的数据集市提供用户数据挖掘、高级检索、OLAP所需的相关工具支持。 　　3.数据集市还包含地震、测井等大体数据。 　　三、技术关键 　　（一）关联模型 　　油田业务数据分别存放在不同数据库的各类业务表或文档中，这些业务表目前在各类应用系统中往往只能做到简单列举，无法揭示各类数据之间的联系，也难于得到综合的数据报表。虚拟数据仓库的关联模型就是要在各类业务表之间通过关键字段建立某种形式的关联，从而为用户综合的数据查询结果。 　　（二）元数据管理 　　元数据的定义一般泛称为：Data about data（管理数据的数据）。元数据的具体定义和应用随学科不同和应用领域不同而异。在石油领域，元数据是描述一个具体的油田数据库数据资源对象（数据集或数据），并能对这个对象进行定位管理，且有助于它的发现与获取的数据。 　　在具体实施中却存在着一系列难点问题需要解决，例如： 　　1.在石油领域里需要定义怎样的数据格式？ 　　2.元数据的规模有多大？ 　　3.如何将元数据的定义与数据源进行抽取、过滤、转换、映射关联在一起，从而实现元数据定义的自动化？ 　　4.如何为元数据管理提供完整易用的操作界面（甚至是图形化的界面）？ 　　考虑元数据在数据仓库中的作用，我们着重对元数据进行了内容设计、结构设计与编码设计。我们设计新的、科学的“源数据库―元数据库―实施项目库―结果数据视图”多层数据库架构，并采用界面定制、模板定制、计算公式定制等多项技术，提高系统的适应性和生命力。 　　（三）数据集市模型 　　采用雪花型的模式，实体表中存放着与石油相关指标数据，维度表主要有地区、时间和指标等维度等，另外地区维又和行业、隶属关系等动态维度进行关联。在这种数据集市模型下，可进行地区、时间和指标三个方向的任意组合查询。可实现跨年度、跨专业的查询和分析。 　　（四）数据存储架构