第1章数据仓库概述(免费阅读).pptVIP

数据仓库与数据挖掘 第一部分 基本原理篇 第一部分 基本原理篇 第1章 数据仓库概述 第2章 数据仓库的基本原理 第3章 OLAP的基本原理 第 1章 数据仓库概述 20世纪80年代，企业的数据库中积累了大量的数据。 人们已不再满足于简单的数据操作，产生了进一步使用现有数据的要求。也就是利用现有的数据进行分析和推理，从而为决策提供依据。 谁是最有价值的客户？什么产品可以交叉销售或提升销售？公司明年的收入前景如何？ 这种需求既要求联机服务，又涉及大量的数据。 第 1章 数据仓库概述 传统的数据库技术已无法满足这种需求，具体体现在以下三方面： （1） 决策所需的历史数据量很大，而传统的数据库一般只存储短期数据。 （2） 辅助决策的信息涉及许多部门的数据，而不同系统的数据难以集成。 （3） 由于访问数据库的能力不足，它对大量数据的访问性能明显下降。 第 1章 数据仓库概述 随着C/S技术的成熟和并行数据库的发展，信息处理技术的发展趋势是： 从大量的事务数据库抽取数据，并将其清理、转换为新的存储格式，即为决策目标把数据聚合在一种特殊的格式中。 这种90年代初出现的支持决策的、特殊的数据存储被称为数据仓库。 第 1章 数据仓库概述 数据仓库（Data Warehouse, DW）的概念形成是以Prism Solution 公司的副总裁W. H. Inmon在1992年出版的《Building the Data Warehouse》一书为标志的。 从目前的形式看，DW技术已紧跟Internet 而上，成为信息社会中获得企业竞争优势的又一关键。 第 1章 数据仓库概述 1.1 数据库到数据仓库的演变 1.2 OLTP与OLAP 1.3 商业智能系统的功能和构成 1.4 数据仓库在企业领域的应用 1.1 数据库到数据仓库的演变 1.1.1 蜘蛛网 1.1.2 操作型系统和分析型系统的分离 1.1.3 数据库与数据仓库的比较 1.1.1 蜘蛛网现象 以数据库为中心的运营环境，企业对数据库的需求是多方面的。 企业级的数据库； 部门级的数据库，可以提高数据的访问效率； 个人级的数据库。 随着数据的逐层抽取，很可能会形成“蜘蛛网”现象，使数据的抽取和访问显得错综复杂。 抽取程序 错综复杂的抽取将产生很多问题 （1）数据分析的结果缺乏可靠性 错综复杂的抽取将产生很多问题 （2）数据处理的效率很低 不同级别的数据库可能使用不同类别的数据库系统，难以集成。 错综复杂的抽取将产生很多问题 （3）难以将数据转化成信息 1.1.2 操作型系统和分析型系统的分离 要解决“蜘蛛网”问题，必须将用于事务处理的数据环境和用于数据分析的环境进行分离。 数据处理被分为两大类： 操作型处理 分析型处理 1.1.2 操作型系统和分析型系统的分离 操作型处理以传统的数据库为中心进行企业的日常业务处理。 如电信部门的计费数据库用于记录客户的通信消费情况； 银行的数据库用于记录客户的帐号、密码、存入和支出等一系列业务行为。 分析型处理以数据仓库为中心分析数据背后的关联和规律，为企业决策提供可靠有效的依据。 如对超市近期数据进行分析可以发现近期畅销的产品，从而为公司采购部门提供指导信息。 操作型处理分析型处理的比较 （1）使用的人员和处理的数据 操作型系统的使用人员通常是企业的具体操作人员，处理的数据通常是企业业务的细节信息，其目标是实现企业的业务运营。 分析型系统的使用人员通常是企业的中高层管理者，或者是从事数据分析的工程师，分析型系统包含的信息往往是企业的宏观信息而非具体细节，其目的是为企业的决策者提供支持信息。 如图1-8所示。 操作型处理分析型处理的比较 （2）环境 操作型处理和分析型处理的分离，划清了数据处理的分析型环境与操作型环境之间的界限，从而由原来以单一数据库为中心的数据环境发展为以数据库为中心的业务处理系统和以数据仓库为基础的分析系统。 如图1-9所示。 1.1.3 数据库与数据仓库的比较 1.2 OLTP与 OLAP 1.2.1 联机事务处理 (OnLine Transaction Processing，OLTP) ，也称在线事务处理。 以快速的事务响应和频繁的数据修改为特征，使用户利用数据库能够快速地处理具体的业务。 事务：如修改帐户余额。 基于联机事务处理的应用系统，如手机交费、银行交易、火车站售票、医院的收费系统、民航定票系统和银行ATM机等等。 联机事务处理的特点 OLTP事务处理量大，但事务处理内容比较简单且重复率高。 OLTP处理的数据是高度结构化的，涉及的事务比较简单，数据访问路径是已知的