数据仓库跟数据挖掘的olap技术(武汉大学-李春葆).pptVIP

第2章　数据仓库和数据挖掘的OLAP技术 数据仓库－数据挖掘的有效平台。 数据仓库中的数据清理和数据集成，是数据挖掘的重要数据预处理步骤。 数据仓库提供OLAP工具，可用于不同粒度的数据分析。 很多数据挖掘功能都可以和OLAP操作集成，以提供不同概念层上的知识发现。 分类 预测 关联 聚集 2.1.2 数据仓库与操作数据库系统的区别 操作数据库系统的主要任务是联机事务处理OLTP 日常操作: 购买，库存，银行，制造，工资，注册，记帐等。 数据仓库的主要任务是联机分析处理OLAP 数据分析和决策支持，支持以不同的形式显示数据以满足不同的用户需要。 OLTP 和OLAP的比较 （1/3） 用户和系统的面向性 面向顾客（事务） ? 面向市场（分析）。 数据内容 当前的、详细的数据 ? 历史的、汇总的数据。 数据库设计 实体－联系模型（ER）和面向应用的数据库设计 ? 星型/雪花模型和面向主题的数据库设计。 OLTP 和OLAP的比较（2） 数据视图 当前的、企业内部的数据 ? 经过演化的、集成的数据。 访问模式 事务操作 ? 只读查询（但很多是复杂的查询） 任务单位 简短的事务 ? 复杂的查询。 访问数据量 数十个 ? 数百万个。 OLTP和OLAP的比较（3） 用户数 数千个 ? 数百个。 数据库规模 100M～数GB ? 100GB～数TB。 设计优先性 高性能、高可用性 ? 高灵活性、端点用户自治。 度量 事务吞吐量 ? 查询吞吐量、响应时间。 2.1.3 为什么需要一个分离的数据仓库? 提高两个系统的性能 DBMS是为OLTP而设计的：存储方式、索引、 并发控制和 恢复。 数据仓库是为OLAP而设计：复杂的 OLAP查询、 多维视图和汇总。 不同的功能和不同的数据: 历史数据：决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护。 数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）。 数据质量：不同的源使用不一致的数据表示、编码和格式，对这些数据进行有效的分析需要将他们转化后进行集成。 （1）数据提取（Data Extract） 从业务数据库只需提取出系统分析必需的那一部分数据。例如，某超市确定以分析客户的购买行为为主题建立数据仓库，则我们只需将与客户购买行为相关的数据提取出来，而超市服务员工的数据就没有必要放进数据仓库。 现有的数据仓库产品几乎都提供各种关系型数据接口，提供提取引擎，从关系型数据中提取数据。 　（2）数据转换（Data Transform） 由于业务系统可能使用不同的数据库厂商的产品，比如IBM DB2、Oracle、Informix、Sybase、 NCR Teradata、 SQL Server等，各种数据库产品提供的数据类型可能不同，因此需要将不同格式的数据转换成统一的数据格式。如时间格式“年/月/日”，“月/日/年”、“日-月-年”的不一致问题等。 （4） 数据加载（Data Load） 数据加载部件负责将数据按照物理数据模型定义的表结构装入数据仓库，包括清空数据域、填充空格、有效性检查等步骤。 2. 元数据（MetaData） “什么是元数据？”元数据是描述数据的数据。 　　　在数据仓库中，元数据是定义数据仓库对象的数据。元数据包括相应数据仓库的数据名和定义、数据提取操作时被提取数据的时间和地点以及数据清理或数据集成过程添加的字段等。它提供了有关数据的环境，用于构造、维持、管理、和使用数据仓库，在数据仓库中尤为重要。 3. 数据集市（Data Market） 数据仓库中存放的是整个企业的信息，并且数据是按照不同主题来组织的。比如市场发展规律的分析主题主要由市场部门的人员使用，我们可以在逻辑上或者物理上将这部分数据分离出来，当市场部门人员需要信息时，不需要到数据仓库的巨量数据中检索，而只需在相应的部门数据上进行分析，因此从效率和处理速度的角度出发，这种划分是合算的。 　　　 这种面向企业中的某个部门（主题）而在逻辑上或物理上划分出来的数据仓库中的数据子集称为数据集市。换句话说，数据集市包含了用于特殊目的数据仓库的部分数据。 数据仓库面向整个企业，而数据集市则是面向企业中的某个部门。典型示例是销售部门、库存和发货部门、财务部门和高级管理部门等的数据集市。数据仓库中存放了企业的整体信息，而数据集市只存放了某个主题需要的信息，其目的是减少数据处理量，使信息的利用更快捷、灵活。 4. OLAP OLAP（On-line Analytical Processing，在线分析处理或联机分析处理）就是一个