数据挖掘3第三章数据仓库与联机分析处理资料.pptVIP

OLAP服务器类型 * 关系OLAP (ROLAP) 使用关系和扩充关系DBMS存放并管理数据仓库，OLAP中间件支持其余部分。 包括每个DBMS后端的优化，聚集导航逻辑的实现，和附加的工具和服务 比MOLAP技术具有更大的可伸缩性 多维OLAP (MOLAP) 基于数组的多维存储引擎，支持数据的多维视图。 将多维视图直接映射到数据立方体数组结构。 能够对预计算的汇总数据进行快速索引 混合OLAP (HOLAP) 结合ROLAP和MOLAP技术，提高了用户的灵活性 特殊的SQL服务器 在星形和雪花模式上支持SQL查询 主要内容 ECUST--Jing Zhang * 什么是数据仓库？ 多维数据模型 数据仓库的系统结构 数据仓库实现 从数据仓库到数据挖掘 小结 数据立方体的有效计算 * 数据立方体可以被看成是方格体 最底层的方体是基本方体 最上层方体（顶点方体）只包含一个元 那麽一个具有L层的n维立方体有多少个方体？ Li是维i（除去虚拟的顶层all，因为概化到all等价于去掉一个维）的层次数 数据立方体的物化 方体的物化有三种选择 不预先计算任何“非基本”方体（不物化） 预先计算所有方体（全物化） 在整个可能的方体集中有选择地物化一个适当的子集（部分物化） 特点 第一种选择导致在运行时计算昂贵的多维聚集，可能很慢。 第二种选择可能需要海量存储空间，存放所有预先计算的方体。 第三种选择在存储空间和响应时间二者之间提供了很好的折衷。 立方体操作 ECUST--Jing Zhang * 立方体在DMQL中的定义和计算 索引OLAP 数据: 位图索引 * 在特定栏上的索引 这一栏上的每一个值都对应于一个位向量 位向量的长度：基本表中特定栏属性值的个数。 如果基本表中的给定行的属性值为v，则在位图索引的对应行，表示该值的位为1，该行的其它位均为0 对于基数较大的域不大适合 索引OLAP数据:连接索引 * 连接索引: 如果两个关系R(RID ,A)和S(B,SID )在属性A和B上连接，则连接索引记录包含JI（RID,SID)对，其中RID和SID分别来自R和S的记录标识符。 传统的索引将给定列上的值映射到具有该值的列表上，而连接索引登记来自两个关系数据库的可连接行 在数据仓库中，连接索引把星形模式的维值连接到事实表中的行，事实表和它对应维表的连接属性是事实表的外关键字和维表的主关键字 连接索引可以跨越多维，形成复合连接索引 OLAP查询的有效处理 ECUST--Jing Zhang * 物化方体和构造OLAP索引结构，目的是加快数据立方体中的查询处理。 给定物化的视图，查询处理应按如下步骤进行 确定哪些操作应当在可利用的方体上执行 将查询中的下钻，上卷等转换成对应的SQL 和/或OLAP操作, 例如, 数据立方体上的切片和切块可能对应于物化方体上的选择和/或投影操作 确定相关操作应当使用那些物化的方体 涉及找出可能用于回答查询的所有物化方体，使用方体之间的“支配”联系知识，剪去上集合，估计使用剩余物化方体的代价，并选择代价最低的方体。 数据仓库后端工具和实用程序 * 数据仓库系统使用后端工具和实用程序来加载和刷新数据。 工具和机制包括 数据提取 从多个异种的外部数据源收集数据 数据清理 检测数据中的错误，可能时更正它们。 数据变换 将数据由遗产或宿主格式转换成数据仓库格式 装入 排序、综合、合并、计算视图、检查整体性并建立索引和划分 刷新 传播由数据源到数据仓库的更新 主要内容 ECUST--Jing Zhang * 什么是数据仓库？ 多维数据模型 数据仓库的系统结构 数据仓库实现 从数据仓库到数据挖掘 小结 数据仓库的使用 ECUST--Jing Zhang * 三种数据仓库应用 信息处理 支持查询和基本的统计分析，并使用交叉表、表、图表或图进行报告 分析处理 数据仓库数据的多维分析 支持基本的OLAP 操作，包括切片、下钻、上卷和转轴 数据挖掘 隐含模式中的知识发现 支持关联模式，构造分析模型，进行分类和预测并使用可视化工具提供挖掘结果 从联机分析处理（OLAP)到联机分析挖掘(OLAM) ECUST--Jing Zhang * 为什么进行联机分析挖掘? 数据仓库中数据的高质量 数据仓库包含集成的、一致的和清理过的数据 环绕数据仓库的有价值的信息处理基础设施 ODBC/ OLE DB连接, Web 访问, 服务工具以及报表和OLAP分析工具 基于OLAP的探测式数据分析 用下钻，切片，旋转等进行挖掘 数据挖掘功能的联机分析选择 将多种数据挖掘功能、算法和任务聚集起来 一个集成的OLAM和OLAP结构 * 主要内容 ECUST--Jing Zhang * 什么是数据仓库？ 多维数据模型 数据仓库的系统结构 数据仓库实