测井数据仓库设计与数据清洗技术实现-通信与信息系统专业论文.docxVIP

河北工业大学硕士学位论文 河北工业大学硕士学位论文 测井数据仓库设计与数据清洗技术实现 测井数据仓库设计与数据清洗技术实现 i i PAGE PAGE iv 测井数据仓库设计与数据清洗技术实现 摘 要 为提高测井数据的管理水平，克服传统测井数据管理中出现的保存不便、易于损坏、 利用效率低的缺点，各测井公司和采油厂纷纷建立了测井数据库，由于测井公司和采油 厂在数据库和数据库管理系统的选择上不尽相同，分布、异构、难以共享等特点致使它 们在一定程度上制约着测井数据的利用效率和油气勘探开发的顺利进行。为此，提出了 测井数据仓库的设计，它是一种能够提供最佳信息利用的解决方案。本文主要研究测井 数据仓库的构建和数据清洗技术的实现，具体工作如下： （1）常用数据仓库技术和数据清洗技术研究。在分析数据仓库技术基础上，确定 采用增量数据抽取方式及 SQL Server 2005 的 ETL 开发工具，建立包括数据源元数据、 清洗规则元数据、分析方法元数据等在内的元数据库；针对模式层和实例层可能出现的 数据质量问题，采用了不同的数据清洗方法，通过使用 SQL 命令和 SQL 编程实现了模 式层和实例层的数据清洗操作，实验结果表明其数据清洗方法是行之有效的。 （2）测井数据仓库的设计和研发。根据测井数据特点和各种测井数据库状况，基 于现有数据仓库系统提出了测井数据仓库设计方案，完成测井数据仓库的研发。依据数 据流向整个测井数据仓库的总体架构可设计为常规数据库、基础数据库、主题数据库和 应用系统四层。采用星型数据设计模型，建立维度表和事实表，实现基于文件和数据库 的数据集成。 （3）测井数据仓库的实际应用。根据研发的测井数据仓库开展 web 智能分析和数 据挖掘应用，在 Web 上支持用户对测井数据进行查询及下载，对油气产量进行占比分 析、比较分析、趋势分析等智能分析操作；与自主研发的智能数据挖掘系统进行了挂接 可以进行油层识别等测井解释工作，实际应用表明该测井数据仓库设计科学、合理，满 足应用需求。 关键词：测井数据仓库，数据集成，数据清洗 Design on Logging Data Warehouse and Realization on Data Cleaning Abstract To improve the management level of logging data and to overcome the disadvantage of inconvenience preservation, easily damaged and low efficiency in the traditional log data management, the logging companies and oil production factories have established logging databases in succession. For the reason that the choice of the databases and database management systems made by logging companies and oil production factories may be different, the characteristics of distributed, heterogeneous and sharing difficultly make it restricts the utilization efficiency of logging data and the successful exploration and development of oil and gas field. Therefore, the design of logging data warehouse is put forwarded, which can provide the best information utilization solution. In this paper, the construction on logging data warehouse and realization on data cleaning based on data warehouse are studied, the main works are shown as follows: Study on the commonly data warehouse and data cleaning technology. On the basis of data warehouse technology an