数据挖掘2、数据仓库和数据挖掘的OLAP技术要点解析.ppt

数据仓库的应用 数据仓库的三种应用 信息处理 支持查询和基本的统计分析，并使用交叉表、表、图标和图进行报表处理 分析处理 对数据仓库中的数据进行多维数据分析 支持基本的OLAP操作，切块、切片、上卷、下钻、转轴等 数据挖掘 从隐藏模式中发现知识 支持关联分析，构建分析性模型，分类和预测，并用可视化工具呈现挖掘的结果 三种应用间的差别 从联机分析处理到联机分析挖掘 为什么要联机分析挖掘 数据仓库中有高质量的数据 数据仓库中存放着整合的、一致的、清理过的数据 围绕数据仓库的信息处理结构 存取、集成、合并多个异种数据库的转换，ODBC/OLEDB连接,Web访问和访问工具等 基于OLAP的探测式数据分析 使用上卷、下钻、切片、转轴等技术进行数据挖掘 数据挖掘功能的联机选择 多种数据挖掘功能、算法和任务的整合 联机分析挖掘的体系结构 数据仓库 元数据 多维数据库 OLAM 引擎 OLAP 引擎 用户图形界面 API 数据方体 API 数据库 API 数据清理 数据集成 第三层 OLAP/OLAM 第二层 多维数据库 第一层 数据存储 第四层 用户界面 数据的过滤、集成 过滤 数据库 基于约束的数据挖掘 挖掘结果 * DW在物理本质上，和DB,FILE SYSTEM一样，也是一堆数据的集合 * * 多维数据模型的潜力和概念分层的混合 * * 数据仓库的构架 * 高层数据模型为不同主题的数据提供一个全局的视图 概念分层 (1) 一个概念分层（concept hierarchy）定义一个映射序列，将低层概念映射到更一般的高层概念 E.g. 表示location的概念：杭州?浙江?中国?亚洲 概念分层允许我们在各种抽象级审查和处理数据 概念分层可以由系统用户、领域专家、知识工程师人工的提供，也可以根据数据分布的统计分析自动的产生 概念分层 (2): location维的一个概念分层 all Europe North_America Mexico Canada Spain Germany Vancouver M. Wind L. Chan ... ... ... ... ... ... all region office country Toronto Frankfurt city 许多概念分层的定义隐含在数据库的模式中。比如：location维的定义，office<city<country<region；这些属性 按一个全序相关，形成一个层次结构： year day quarter month week 维的属性也可以组成一个偏序，形成一个格： 概念分层 (3) ——使用 概念分层为不同级别上的数据汇总提供了一个良好的基础 综合概念分层和多维数据模型的潜力，可以对数据获得更深入的洞察力 通过在多维数据模型中，在不同的维上定义概念分层，使得用户在不同的维上从不同的层次对数据进行观察成为可能。 多维数据模型（数据立方体）使得从不同的角度对数据进行观察成为可能，而概念分层则提供了从不同层次对数据进行观察的能力；结合这两者的特征，我们可以在多维数据模型上定义各种OLAP操作，为用户从不同角度不同层次观察数据提供了灵活性： 多维数据模型上的OLAP操作 (1) 上卷(roll-up):汇总数据 通过一个维的概念分层向上攀升或者通过维规约 当用维归约进行上卷时，一个或多个维由给定的数据立方体删除 下钻(drill-down)：上卷的逆操作 由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现 (为给定数据添加更多细节) 切片和切块(slice and dice) 切片操作在给定的数据立方体的一个维上进行选择，导致一个子方 切块操作通过对两个或多个维进行选择，定义子方 多维数据模型上的OLAP操作 (2) 转轴(pivot) 立方体的重定位，可视化，或将一个3维立方体转化为一个2维平面序列 转轴是一种可视化操作，通过转动当前数据的视图来提供一个数据的替代表示 其他OLAP操作 钻过(drill_across)：执行涉及多个事实表的查询 钻透(drill_through)：使用关系SQL机制，钻到数据立方体的底层，到后端关系表 其他OLAP操作可能包括列出表中最高或最低的N项，以及计算移动平均值、增长率、利润、统计函数等等 * Data Mining: Concepts and Techniques * Fig. 3.10 Typical OLAP Operations 数据仓库设计：一个商务分析框架 (1) 数据仓库给商业分析专家提供了什么？ 通过提供相关数据与信息，获得竞争优势 通过有效的收集精确的描述组织的数据，获得生产力的提高 通过提供不同级别（部门、市场、商业）的客户视图，协助客户关系管理 通过追踪长期趋势、异常等，降低成本