数据挖掘2数据仓库和数据挖掘的OLAP技术.pptVIP

概念分层 (1) ? 一个概念分层（ concept hierarchy ）定义一个 映射序列，将低层概念映射到更一般的高层概 念 ? E.g. 表示 location 的概念：杭州 ? 浙江 ? 中国 ? 亚 洲 ? 概念分层允许我们在各种抽象级审查和处理数据 ? 概念分层可以由系统用户、领域专家、知识工 程师人工的提供，也可以根据数据分布的统计 分析自动的产生 概念分层 (2): location 维的一个概念分 层 all Europe North_America Mexico Canada Spain Germany Vancouver M. Wind L. Chan ... ... ... ... ... ... all region office country Toronto Frankfurt city 许多概念分层的定义隐含在数 据库的模式中。比如： location 维的定义， officecitycountryregion ；这 些属性 按一个全序相关，形成 一个层次结构： year day quarter month week 维的属性也可以组成一个偏 序，形成一个格： 概念分层 (3) —— 使用 ? 概念分层为不同级别上的数据汇总提供了一个良好的 基础 ? 综合概念分层和多维数据模型的潜力，可以对数据获 得更深入的洞察力 ? 通过在多维数据模型中，在不同的维上定义概念分层，使得 用户在不同的维上从不同的层次对数据进行观察成为可能。 ? 多维数据模型（数据立方体）使得从不同的角度对数 据进行观察成为可能，而概念分层则提供了从不同层 次对数据进行观察的能力；结合这两者的特征，我们 可以在多维数据模型上定义各种 OLAP 操作，为用户 从不同角度不同层次观察数据提供了灵活性： 多维数据模型上的 OLAP 操作 (1) ? 上卷 (roll-up): 汇总数据 ? 通过一个维的概念分层向上攀升或者通过维规约 ? 当用维归约进行上卷时，一个或多个维由给定的数据立方体删除 ? 下钻 (drill-down) ：上卷的逆操作 ? 由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下 或引入新的维来实现 ( 为给定数据添加更多细节 ) ? 切片和切块 (slice and dice) ? 切片操作在给定的数据立方体的一个维上进行选择，导致一个子方 ? 切块操作通过对两个或多个维进行选择，定义子方 多维数据模型上的 OLAP 操作 (2) ? 转轴 (pivot) ? 立方体的重定位，可视化，或将一个 3 维立方体转化为 一个 2 维平面序列 ? 转轴是一种 可视化 操作，通过转动当前数据的视图来提 供一个数据的替代表示 ? 其他 OLAP 操作 ? 钻过 (drill_across) ：执行涉及多个事实表的查询 ? 钻透 (drill_through) ：使用关系 SQL 机制，钻到数据立方 体的底层，到后端关系表 ? 其他 OLAP 操作可能包括列出表中最高或最低的 N 项， 以及计算移动平均值、增长率、利润、统计函数等等 May 9, 2020 Data Mining: Concepts and Techniques 36 Fig. 3.10 Typical OLAP Operations 数据仓库设计：一个商务分析框架 (1) ? 数据仓库给商业分析专家提供了什么？ ? 通过提供相关数据与信息，获得竞争优势 ? 通过有效的收集精确的描述组织的数据，获得生产力的提高 ? 通过提供不同级别（部门、市场、商业）的客户视图，协助 客户关系管理 ? 通过追踪长期趋势、异常等，降低成本 ? 有效构建数据仓库的关键：理解和分析商业需求 ? 通过提供一个商业分析框架，综合各种不同的数据使用者的 视图 数据仓库设计：一个商务分析框架 (2) ? 数据仓库设计的四种视图 ? 自顶向下视图 ? 允许我们选择数据仓库所需的相关信息 ? 数据源视图 ? 揭示被操作数据库系统所捕获、存储和管理的信息 ? 数据仓库视图 ? 由事实表和维表所组成 ? 商务查询视图 ? 从最终用户的角度透视数据仓库中的数据 数据仓库设计：一个商务分析框架 (3) ? 数据仓库的构建与使用涉及多种技能 ? 商业技能 ? 理解系统如何存储和管理数据 ? 数据如何提取 ? 数据如何刷新 ? 技术方面的技能 ? 如何通过使用各种数据或量化的信息，到处可以提供决策支持 的模式、趋势、判断等 ? 如何通过审查历史数据，分析发展趋势等 ? 计划管理技能 ? 如何通过与不同的技术、厂商、用户交互，来及时、有效、经 济的提交结果 数据仓库的设计过程 (1) ? 自顶向下法、自底向上法或者两者的混合方法 ? 自顶向下法：由总体设计和规划开始 ? 在技术成熟、商业理