基于数据仓库的油田数据中心设计.pdf

应用技术 ChinaScienceand Review Technology 基于数据仓库的油田数据中心设计 朱秀云 (胜利油田物探研究院信息技术研究室，山东东营257022) [摘要]数据仓库是面向主题的、集成的、稳定的和随时间变化的数据集合。文中以数据仓库为基础，采用分层思想，进行了油田数据中心平台 架构设计，并对数据仓库ETL给出了具体实现，为企业数据中心建设提供了参考。 [关键词]数据仓库；ETL；4-#息孤岛；数据中心 中图分类号：G203文献标识码：A文章编号：1009—914X(2009)5(b)一0136—01 近年来油田信息化建设迅速发展，现有系统形成的“信息孤岛”严 有价值的信息，从而能对油田实际生产提供对策支持。因此，数据应用 重阻碍着油田信息化的发展。数据仓库是面向主题的、集成的、稳定的 层要求提供界面友好、功能强大的交互界面。考虑到油田先进的局域网 和随时间变化的数据集合。它以传统数据库技术作为存储数据和管理 资源的基本手段，以统计分析技术作为分析数据和提取信息的有效方 务。 法，以人工智能作为挖掘知识和发现规律的科学途径，通过对原有数据 2．数据仓库的数据抽取及清洗 进行抽取、转换、加载形成真实、全面、统一的数据。因此，构建一个以数 2．1数据抽取 据仓库系统为核心的综合数据中心平台能大大提高油田应用信息化水 数据抽取需要在项目调研阶段做大量的工作，首先要清楚数据是从 平。 1．数据仓库系统设计 否存在手工数据及数据量大小，是否存在非结构化的数据等等。当收集 1．1总体描述 完这些信息之后才可以进行数据抽取操作的设计。 构建油田数据中心涉及海量数据信息，既包括历史数据，又包括油 数据抽取通常按照以下几种情况进行： 田生产实时监测数据。数据仓库的建设应该支持油田生产经营的各个 (1)与数据仓库的数据库系统相同的数据源处理，数据库管理系统 方面，包括地质勘探、油藏分析、油气运输、经营管理等。采用分层结构 (SQL “自底向上”构建数据中心平台，系统数据流程为从源系统抽取数据，进 业务系统之间建立直接的链接关系就可以写Select语句直接访问。 行数据转换后加载数据仓库中，然后由多维分析工具多层次分类成有效 信息，与数据挖掘工具有机结合，最后通过可视化工具将分析结果呈现 过ODBC的方式建立数据库链接，如SQL 给用户。 能建立数据库链接，可以有两种方式完成，一种是通过将源数据，通过工 1．2系统功能设计 结合油田生产实际情况，油田数据仓库的体系结构如图1所示。从 ODS中；另外一种方法通过程序接口来完成。 图中可以看出，整个数据仓库的总体架构共分为源数据层、数据整合层、 (3)增量更新处理，增量更新是比较难处理的，对于数据量大的系 数据仓库管理层以及数据应用层4部分。 统，必须考虑增量抽取。一般情况，业务系统会记录业务发生的时间，我 源数据层主要是油田各业务系统数据库；油田业务涉及到多方面的 们可以用来作为增量的标志，每次抽取之前首先判断ODS中记录最大 数据源，如勘探数据、地质数据、油气运输数据等。此外还要考虑很多外 的时间，然后根据这个时间去业务系统取大于这个时间所有的记录。一 部数据源，如物料价格等。所有这些数据存储在不同区域、不同部门的 般情况下，业务系统没有或者部分有时间戳。 异构数据库中。源数据层收集、统计这些异构数据库，并明确各个数据 根据数据应用层的需求，数据抽取操作要进行相应的变更；通常情 况下，数据抽取选择在用户的非工作时间进行，以免影响系统的效率。 2．2