10.4数据仓库.ppt

10.4 数据仓库 ; 数据仓库技术的提出是在20世纪90年代初,近几年得到了迅速发展。 目前,许多大型企业都建立或计划建立自己的数据仓库,以进行市场分析和决策支持。 商用数据库管理系统也纷纷推出自己的数据仓库软件。 企业已从数据仓库应用系统中取得了经济效益。 数据仓库系统主要涉及三个方面的技术内容： 数据仓库技术、 联机分析处理（OLAP）技术和数据挖掘（Data Mining,简记为DM）技术。 ; 10.4.1 数据仓库的定义与特征 目前,数据库应用主要有两类： 操作型处理和分析型处理。 操作型处理也称为联机事务处理（OLTP）。 OLTP注重数据库的完整性、 安全性以及高可用性。 它是对数据库联机的日常处理,当用户与RDBMS交互时,通过事务对数据库中的数据进行查询或修改。 对于每个事务,OLTP处理的数据是以结构化的、 可预知的方式存储在数据库表中的记录。 OLTP系统提供了最新的数据,这些数据经常被更新、 插入和删除,系统在商业交易实际发生时对它们进行存储。 ; 一个OLTP系统有许多并发用户,这些活动的用户执行读、 插入和修改数据的短小查询。 与OLTP不同,分析型处理主要用于管理人员的决策分析,通过对大量数据（特别是历史数据）的综合、 统计和分析得出有利于企业的决策信息。 这种分析查询,一般需要访问大量的数据和花费相对多的时间才能完成。 而数据仓库和联机分析处理（OLAP）等技术能够从多个数据源收集数据,提供用户进行决策分析。 ; W．H．Inmon在《Building Data Warehousing》一书中首先提出了数据仓库这个术语,以下是他的定义： 定义： 数据仓库是面向主题的、 集成的、 时间可变的、 非易失的数据集合,用以支持企业或组织的决策分析处理。 面向主题意味着在较高层次上,对所分析对象提供一个完整、 一致的描述,统一表示分析对象所涉及的数据及数据间的联系。 ; 而传统的事务处理是面向应用的,是根据企业各个部门的业务活动组织数据的。 例如,一个面向操作型处理的企业数据库中有库存量、 订单项、 应付款、 产量等数据。 当这些操作型数据被装入数据仓库时,数据转换为主题,如： 产品、 客户及金融信息等。 有关产品的信息在数据仓库中只出现一次,无论它在操作型数据库的不同表或域中会出现多少次。 ; 集成意味着数据在加入数据仓库前必须要经过加工和集成。 数据仓库中每个主题的源数据是面向应用的,并且可能分散在不同的结点中。 在集成数据时,要消除数据中的冲突,进行数据综合和计算。 数据仓库中的数据综合工作可以在抽取数据时生成,也可以在加入数据仓库以后进行综合时生成。 时间可变意味着数据是随时间变化的。 数据仓库系统必须周期性地捕捉OLTP数据库中的新数据,统一集成后增加到数据仓库中去； 另一方面,数据仓库中的数据也有存储时间,过期数据也要被删除,以适应决策分析的要求。 ; 非易失意味着数据是只读的。 数据周期性地装入数据仓库。 数据仓库主要是供决策分析之用,所涉及的数据操作主要是查询。 一般情况下,不要修改数据仓库中的数据。 因为修改会使历史信息失效并且违背数据仓库的主要用途——保存用于分析的商务历史记录。 唯一需要做的修改,就是更新那些一开始装入数据仓库时就不正确的数据。 ; 10.4.2 数据仓库系统 数据仓库系统由数据仓库、 数据仓库管理系统和分析工具三部分组成,其结构如图 10 ― 5 所示。 数据仓库的数据来源于多个数据源。 数据源可以是正在运行的数据库中的信息,也可以是跨平台的各种外部系统数据,还可以是各种应用程序软件产生的数据文件。 它的内容包括： 企业内部数据、 市场调查报告以及各种文档等外部数据。 ; 图 10 ― 5; 数据仓库管理包括： 对数据仓库进行数据建模,确定从源数据到数据仓库的数据抽取、 转换和装载等,最后确定数据仓库的存储方法。 数据仓库管理系统包括对元数据的管理。 元数据是数据仓库的核心,它用于存储数据模型、 定义数据结构、 定义转换规则、 确定控制信息等。 数据仓库管理还包括对数据的安全、 归档、 维护、 备份、 恢复等工作。 这些工作需要DBMS的支持。 同时它还负责监视信息数据源的变化,对新的或变化的信息进行过滤、 总结或同其他数据源信息进行合并,再装入数据仓库。 ; 数据仓库中的数据组织一般分为四级： 早期细节级(历史数据)