4.卓世燕-数据仓库概述.doc

数据仓库概述 数据仓库(DataWrarehouse简记为DW)是近年来兴起的一种新的数据库应用川，它是从数据库技术发展过程中出现的一种为决策服务的数据组织和存储技术，为决策支持系统开辟了新的途径，极大地提高了决策支持系统的信息存储量和信息分析能力，对于充分利用已有历史数据、提高决策的可靠性具有重要作用。在各大数据库厂商纷纷宣布其产品支持数据仓库并提出一整套用以建立和使用数据仓库的产品时，业界掀起了数据仓库应用技术的应用研究热潮。比如Info公司的数据仓库解决方案，Orale公司的数据仓库解决方案，ybase公司的交互式数据仓库解决方案等等。这同时也引起了学术界的极大兴趣，国际上许多重要的学术会议都出现了专门研究数据仓库、联机分析处理、数据挖掘的论文。本章将简要介绍一下数据仓库的基本概念、数据组织结构、设计方法、工具层等方面的内容。 从数据库到数据仓库 传统的数据库技术是以单一的数据资源，即以数据库为中心，进行从事务处理、批处理到决策分析等各种类型的数据处理工作。然而，不同类型的数据处理有着各自的处理特点，以单一的数据组织方式进行组织的数据库并不能反映这种差异，满足不了数据多标准化的要求。当前数据可以大致分为两大类:操作型数据和分析型数据。操作型处理也叫事务处理，是指对数据库联机的日常操作，通常是对一个或一组记录的查询和修改，注重的是响应时间，数据的安全性和完整性;分析型处理则用于管理人员的决策分析，经常要访问大量的历史数据。两者之间的巨大差异使得操作型处理和分析型处理的分离成为必然。数据库系统作为数据管理手段，主要用于事务处理，在其数据库中已经保存了大量的日常业务数据。尽管数据库在事务处理方面的应用获得了巨大的成功，但它对分析处理的支持却不能令人满意，人们逐渐认识到，事务处理和分析处理具有极不相同的性质，直接使用事务处理环境来支持DSS是行不通的，主要有以下几个方面差异: 1、事务处理与分析处理的性能特点问题 在事务处理环境中，用户的行为特点是数据的存取操作频率高以及每次操作处理时间短;而在分析处理环境用户的行为模式则完全不同，一个DSS应用程序可能会连运行几个小时，消耗大量的系统资源。 2、数据集成问题 D需要集成的数据，全面而正确的数据是有效的分析和决策的首要前提，相关据收集得越完整，得到的结果就越可靠。而事务处理的目的在于使业务处理自动化，般只需要与本部门有关的当前数据，而对整个企业范围内的集成应用考虑很少，当前大部分企业内数据的真正状况是分散的而不是集成的。 3、数据的动态集成问题 数据的静态集成就是仅在开始对所需数据进行集成，以后就一直以这部分集成的据作为分析的基础，不再与数据源发生联系。静态集成最大的缺点是不能将数据源的化反映给决策者，导致决策者使用过时的数据。因此，集成数据必须以一定的周期进刷新，即动态集成。显然事务处理系统不具备动态集成的能力。 4、历史数据问题 事务处理只需当前数据，在数据库中一般也只存储短期数据;但对于决策分析而言，历史数据是相当重要的，许多分析方法必须以大量的历史为依托。没有对历史数据的细分析，是难以把握发展趋势的。 5、数据的综合问题 在数据处理系统中积累了大量的细节数据，一般而言，DSS并不直接对这些细节据进行分析，而是在分析前对细节数据进行不同程度的综合，而事务处理系统不具备种综合能力。基于以上矛盾，企业发现要从积累的大量业务数据中获得有意义的信息，并利用有的数据来指导企业决策和发掘企业的竞争优势，即要提高分析和决策的效率和有性，分析型处理及其数据必须与操作型处理及其数据相分离，必须把分析型数据从事处理环境中提取出来，按照DSS处理的需要进行重新组织，建立单独的分析处理环境，数据仓库正是为了构建这种新的分析处理环境而出现的一种数据存储和组织技术。