Lecture3数据仓库与OLAP技术概述.pptxVIP

数据挖掘: 概念与技术 — 第三、四章 —王家兵 博士华南理工大学计算机科学与工程学院E-mail: jbwang@scut.edu.cnData Mining: Concepts and TechniquesLecture 3: 数据仓库、 OLAP及数据立方体计算什么是数据仓库(data warehouse)? 多维数据模型数据仓库体系结构数据仓库实施Data Mining: Concepts and Techniques什么是数据仓库?有多种但并不严格的定义与操作数据库相隔离并单独维护的一个用来支持决策过程的数据库一个用来对整理过的历史数据进行分析以便支持信息处理的固定平台.“数据仓库是面向主题的、集成的、时变的、非易失的数据集合，它用来支持管理部门的决策过程”—W. H. InmonData Mining: Concepts and Techniques数据仓库—面向主题的围绕主题组织, 如消费者（customer）、产品（ product）， 销售量（sales）等。主要目的是对数据建模与分析，以便于决策者的决策过程，而不是日常操作与事物处理。排出那些对决策过程没有用的数据，为决策者提供一个简明的有关特定主题的视图。Data Mining: Concepts and Techniques数据仓库－集成的集成多个、异构数据源关系数据库，普通文件，联机事物记录。应用了数据清洗与数据集成技术确保多个数据源命名惯例、编码结构、属性度量等的一致性。在数据移入数据仓库之前，对它进行转换。 Data Mining: Concepts and Techniques数据仓库－时变的数据仓库跨越的时间比操作数据库要长的多.操作数据库: 当前值数据。数据仓库: 从历史的视角提供信息（如过去5-10的数据）数据仓库的健值属性隐式或显式地包含一个时间键。操作数据库可以也可以不包含时间键。Data Mining: Concepts and Techniques数据仓库－非易失的与操作数据库分隔存储。操作数据库的数据更新不在数据仓库环境出现。不需要事务处理，数据恢复以及并发控制机制。仅仅需要以下2种操作: 数据的初始装载与数据访问。Data Mining: Concepts and Techniques数据仓库 vs. 数据库管理系统联机事物处理 (OLTP ，on-line transaction processing)传统关系数据库的主要任务日常操作 : 购买, 存货, 财务等.联机分析处理 (OLAP，on-line analytical processing)数据仓库的主要任务数据分析与决策支持Data Mining: Concepts and TechniquesOLTPOLAP用户员工, IT专业人员知识工作者功能每天的日常操作决策支持DB设计面向应用+ER面向主题+Star数据当前的，详细的数据历史的, 汇总的, 多维的集成的, 整理过的使用重复的特定的访问读/写、索引多次扫描工作单元短的, 简单的事务处理复杂查询记录数/查询几十百万用户数上千百DB规模100MB-GB100GB-TBmetrictransaction throughputquery throughput, responseData Mining: Concepts and Techniques为什么要建立隔离的数据仓库?使得操作数据库与数据仓库都获得高性能DBMS—OLTP: 访问方法, 索引, 并发控制, 数据恢复。Warehouse—OLAP: 复杂OLAP查询, 多维视图, 整理。对数据与功能的要求不同:丢失的数据: 决策支持需要历史数据，而传统数据库并不一定维护历史数据。数据整理: 决策支持需要对异构数据源进行数据整理 。数据质量: 不同的数据源常常具有不一致的数据表示，编码结构与格式。Data Mining: Concepts and Techniques数据挖掘中的数据仓库与OLAP技术什么是数据仓库? 多维数据模型数据仓库体系结构数据仓库实施Data Mining: Concepts and Techniques由表和电子数据表到数据立方体 I数据仓库基于多维数据模型，以数据立方体的形式对数据进行观察。数据立方体，如销售，允许以多维来对数据进行建模与观察。维表：如维item (item_name, brand, type)，或维time(day, week, month, quarter, year) 。事实表包含度量（measures）：如销售额以及每个相关维表的关键字。Data Mining: Concepts and Techniques由表和电子数据表到数据立方体 II在数据仓库的研究文献中，一个n维立方体（n-D)称为基本方体(base