g数据仓库和联机分析处理.doc

数据仓库和联机分析处理（OLAP） 1.1 数据仓库的概念及其特点 “什么是数据仓库？”这恐怕是每一个刚刚开始接触数据仓库的技术人员都会提出的一个问题。有人认为数据仓库就是一个大的数据库，也有人认为数据仓库是一项数据管理和分析的技术。这些定义都从一定的侧面反映了数据仓库的概念，但并不全面。 目前，业界公认的数据仓库定义是由数据仓库之父W.H.Inmon在《Building the Data Warehouse》[7]一书中给出：“数据仓库是面向主题的、集成的、随时间变化的、稳定的数据集合，用以支持管理中的决策制定过程。” 正如Inmon所描述的，数据仓库具有如下特点[6,7]： 数据仓库的数据是面向主题的 与传统数据库面向应用进行数据组织的特点相对应，数据仓库中的数据是面向主题进行组织的。所谓主题，是指在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象。 数据仓库的数据是集成的 建立数据仓库的主要目的就是为用户提供易于访问的商业信息。为了减少用户查询的响应时间，应该把数据从数据源中提取出来，放到数据仓库中去。在数据进入数据仓库之前，必须经过加工和集成，使原始数据结构做一个从面向应用到面向主题的大转变。 数据仓库的数据是不可更新的 数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一般情况下并不进行修改操作。数据仓库的数据不可更新使得数据仓库管理系统DWMS相比数据库管理系统DBMS而言要简单得多，同时也使我们可以对数据仓库进行最大限度的性能优化。 数据仓库的数据是随时间不断变化的 数据仓库中的数据不可更新是针对应用来说的，也就是说，数据仓库的用户进行分析处理时是不进行更新操作的。但并不是说，在从数据集成输入数据仓库开始到最终被删除的整个数据生存周期中，所有的数据仓库数据都是永远不变的。数据仓库会随时间的变化不断增加新的数据内容和删去过时的数据内容。 当然，数据仓库通常还具有一些其它的特点，如数据仓库中的数据量很大、数据仓库对系统软硬件的要求较高等等。 1.2 数据集市 数据仓库面向整个企业，不管是规模还是成本常常是巨大的。这时候，一种小型的、面向部门或工作组的数据仓库——数据集市就应运而生。不少人认为数据仓库就是数据集市的集合，这种观点是错误的，正如数据仓库之父Inmon在1998年所说：“你可以在大海中捕到很多的小鱼并堆积起来，但它们仍然不是鲸。” 数据集市是指具有特定应用的小型数据仓库，它专注于特定的主题域、特定的部门或特定的业务需求，而数据仓库中存储的则是整个企业内非常详细的数据[5,6]。数据集市的结构通常比较简单，数据量也少，所以管理起来也比较容易。在一个企业中，可能存在多个数据集市，它们分别按照所属的部门业务分类来组织数据，这些数据集市可以位于同一物理平台上，也可以分布于不同的物理平台。而一个企业通常只有一个面向全局的数据仓库。 数据集市有两种——独立的数据集市和从属的数据集市。独立的数据集市根据各自特定的业务范围直接到各数据源中提取相关数据，而从属的数据集市则需要一个中央的数据仓库来支持，这个中央数据仓库为所有的数据集市提供数据。 1.3 数据仓库与数据库的关系及比较 传统的数据库作为数据管理的手段，主要面向一个或一组记录的查询和修改，为企业的特定应用服务，人们关心的是响应时间、数据的安全性和完整性。为此要求数据库提供完善的数据锁、事务日志和并发控制等机制，以便安全可靠地处理具体业务。 数据仓库是在数据库基础之上发展起来的，数据仓库的作用就是为复杂的数据分析和高层决策提供支持。尽管现有的数据仓库大多还是采用传统的关系数据库或改进后的关系数据库来实现，但由于两者面向的应用截然不同，因此不管是在数据模型的设计上还是在数据的物理组织上都存在着相当大的差异。 1.4 决策支持系统与数据仓库 在讨论联机分析处理（OLAP）之前，我们先回顾一下更广泛的决策支持系统（DSS）的产生和发展过程，这是因为OLAP作为DSS中一个得到广泛应用的部分，其产生和发展与DSS的发展有着密不可分的关系。 1.4.1 传统的决策支持系统 决策支持系统是在管理信息系统和运筹学的基础上发展起来的，以支持用户的决策为目的的集成系统[5]。最初，人们认为决策支持系统可以作为一个人工智能系统，综合利用各种数据、信息、知识、特别是模型技术，以辅助各级决策者解决半结构化决策问题的人机交互系统。因此早在上个世纪八十年代，人们就提出了基于数据库、模型库和方法库的决策支持系统框架。 由于数据资源和分析工具的缺乏等原因，分析模型和算法的设计没有坚实的数据基础，而且对于系统的模型提炼和建立方法库的难度都超出了人们的设计能力。这时的决策支持系统，理论研究多于系统建