数据仓库构建技术剖析.docVIP

数据仓库构建技术剖析 　　摘要：该文从数据仓库的定义着手，结合数据仓库的通用体系结构，总结、探究了普通数据仓库和空间数据仓库的构建方法、模型及关键要点。 　　关键词：数据仓库；普通数据仓库；空间数据仓库；构建；模型 　　中图分类号：TP311文献标识码：A文章编号：1009-3044(2011)08-1725-02 　　Exploration to Data Warehouse Construction Techniques 　　YU Shao-jun 　　(Kunming University, Kunming 650213, China) 　　Abstract: This article from the data warehouse definition to begin, to combine the general system structure of data warehouse, it summarizes and explores the common data warehouse and spatial data warehouse building methods, model and key points. 　　Key words: data warehouse; common data warehouse; spatial data warehouse; construction; model 　　1 概述 　　随着不同的MIS系统在企业不同部门的大规模应用及企业对数据管理不断提出新的要求，不仅要求能实现传统的联机事务处理（on-line transaction processing,OLTP），而且越来越多的要求是各种应用系统能够在企业不断积累的以及从企业外部获取的丰富信息资源的基础上，把这些分散的、不一致的、凌乱的信息资源加以利用，即更多地参与数据分析和决策支持，由此出现了一种用于数据分析处理和决策支持的数据存储和组织技术，即数据仓库技术。现在根据笔者在读软件工程硕士相关课程讲授数据仓库技术的基础上，认真阅读大量技术论文、资料，结合自己的理解，对数据仓库的实现特别是大型数据仓库的构建进行归纳总结及初步探讨。 　　2 什么是数据仓库 　　美国著名信息工程学家“数据仓库”之父 W.H.Inmon 于1993年在其著作《构建数据仓库》中对数据仓库定义为：数据仓库是为决策支持服务的面向主题的、集成的并随时间变化而又相对稳定的数据集合。即数据仓库技术是将普通的操作型数据通过集成提取，进而提供分析型数据的一种信息技术；构建数据仓库的目的是企业为了充分利用丰富的内、外部数据资源，帮助用户更好地理解信息，从新的角度看待它们，以便获得更好的洞察力、发现模式和趋势，从中挖掘出信息和知识，更好地进行辅助决策。数据仓库的通用体系结构如图1 所示。 　　如上图数据仓库的体系结构分数据源、数据转换、数据仓库、数据集市和用户几部分。数据源，包括企业内部的业务数据、遗留数据、其它业务系统数据及相关WEB数据等；数据转换是数据仓库构建的重要环节，主要是对各种复杂的数据源进行抽取、转换、装载及其他处理，同时要实现数据质量跟踪监控以及元数据抽取与创建等工作；数据仓库主要实现对各种数据的组织、存储及管理等；数据集市（data mart）是为不同业务而单独设计的数据仓库系统，即开发者为企业内部的不同用户群定制特殊的数据仓库子系统。用户部分，即具体面向使用者的应用部分，主要是指数据仓库存取与检索为用户提供了访问数据仓库或数据集市的功能，其中分析与报告为用户使用数据仓库提供了一组工具，用于帮助用户对数据仓库或数据集市进行联机分析或数据挖掘等。 　　3 数据仓库构建方法 　　3.1 普通数据仓库构建方法 　　对于普通数据仓库的构建,企业在对整个系统的建设综合各种因素的基础上，集众人之长共同研究制定全面的、长远的、清晰的远景规划及技术实施远景,接着按“目标具体、全面规划、分步实施、步步见效、构建技术软硬件环境及建立支撑平台”的原则和步骤，将整个项目的实施分阶段、分步骤实施,可以在每一阶段建设的基础上分阶段纳入不同的业务系统，逐步建立起一个综合的、专题较为完善的、适合部门、子单位使用的完整、健壮的数据仓库系统,从而才能使投资尽快获得收益。 　　数据仓库建设的典型架构主要有以下三种:1) DB-DW架构: 对于此种架构数据仓库建设方法有两种基本类型：一种是自顶向下，即先建立全局级的、整体的数据仓库，然后从中抽取数据建立面向各个了部门、子单位的数据集市，此种方法的优点是所有数据在进入数据仓库前都要进行清洗和转换，能够保证数据的一致性，这种架构一般适用于相对独立集中或规模较小的企业；另一种是自底向上的建设方法，即先建立