ch3 数据仓库与OLAP技术.pptVIP

数据挖掘：概念与技术 Data Mining: Concepts and Techniques — Slides for Textbook — — Chapter 2 — 第3章 : 数据仓库与OLAP技术 什么是数据仓库? 多维数据模型 数据仓库的系统结构 数据仓库的实现 从数据仓库到数据挖掘 什么是数据仓库?(1) 著名的数据仓库专家William.H.Inmon在其著作《Building the Data Warehouse》中给予如下描述：数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，用于支持管理决策 面向主题的（subject-oriented）：数据仓库中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关 什么是数据仓库?(2) 集成的（integrated）：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以确保命名约定、编码结构、属性度量等的一致性 时变的（time-variant）：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测 什么是数据仓库?(3) 非易失的（nonvolatile）：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据的初始化装入和数据访问，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，即数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新，不需要事务处理、恢复和并发控制机制 数据仓库的构造需要数据集成、数据清理和数据统一 数据仓库的构造需要决策支持技术 数据仓库使用更新驱动而不是查询驱动的方法对异种数据库集成 数据仓库 vs.操作数据库系统 联机操作数据库系统的主要任务是执行联机事务和查询处理，称为OLTP系统 数据仓库在数据分析和决策方面为用户提供服务，称为OLAP系统 OLTP和OLAP的主要区别 OLTP和OLAP的主要区别 数据库与数据仓库分离的原因? 提高两个系统各自的性能 操作数据库— 为已知的任务和负载设计，如主关键字索引和散列、检索特定的记录等 数据仓库— 查询很复杂，涉及大量数据在汇总级的计算，需要特殊的数据组织、存取方法和基于多维视图的实现方法 操作数据库—支持多事务的并行处理，需要加锁和日志等并行控制和恢复机制； OLAP查询 —只需要对数据记录只读访问，进行汇总和聚类。若将并行控制和恢复机制用于OLAP操作，危害并行事务的运行，大大降低OLTP的吞吐量 系统数据结构、内容和用法不同 操作数据库— 数据丰富，但不提供历史数据，只维护详细的原始数据 决策支持—需要历史数据，需要将异种源的数据统一、聚集和汇总 第3章 : 数据仓库与 OLAP技术 什么是数据仓库? 多维数据模型 数据仓库的系统结构 数据仓库的实现 从数据仓库到数据挖掘 表?电子数据表?数据立方体 数据立方体由维和事实定义，以多维对数据进行建模和观察，如sales 维是关于一个组织想要记录的透视或实体。每个维都有一个表与之相关联，称为维表，如 item (item_name, brand, type), or time(day, week, month, quarter, year) 多维数据模型围绕中心主题组织。该主题用事实表表示。事实是数值度量的。事实表包括事实的名称或度量，以及每个相关表的关键字 数据仓库中，数据立方体是n-D的，第n-D(最低层)方体称为基本方体(base cuboid)， 最顶层0-D方体存放最高层汇总，称作顶点方体(apex cuboid)， 方体的格称作数据立方体(data cube) 概念比较：维 数据立方体 聚集 立方体：方体的格 数据仓库的概念模型 星型模式 (Star schema): 维表围绕中心表显示在射线上 事实表：一个包含大批数据和不含冗余的中心表 维表：一组小的附属表，每维一个 雪花模式 (Snowflake schema): 星型模式的变种，每维不止一个表表示 易于维护，节省存储空间 查询需要更多的连接操作，影响系统的性能 事实星座模式 (Fact constellations):多个事实表共享维表，又称星系模式(galaxy schema)或事实星座 数据仓库通常使用事实星座模式，因为它能对多个相关的主题建模；数据集市一般采用星型或雪花模式，因为它们都适合对单个主题建模 Example of Star Schema Exa