2、数据仓库跟数据挖掘的olap技术(浙大_王灿).pptVIP

联机分析挖掘的体系结构 数据仓库 元数据 多维数据库 OLAM 引擎 OLAP 引擎 用户图形界面 API 数据方体 API 数据库 API 数据清理 数据集成 第三层 OLAP/OLAM 第二层 多维数据库 第一层 数据存储 第四层 用户界面 数据的过滤、集成 过滤 数据库 基于约束的数据挖掘 挖掘结果 * DW在物理本质上，和DB,FILE SYSTEM一样，也是一堆数据的集合 * 多维数据模型的潜力和概念分层的混合 * 数据仓库的构架 * 高层数据模型为不同主题的数据提供一个全局的视图 概念分层 (2): location维的一个概念分层 all Europe North_America Mexico Canada Spain Germany Vancouver M. Wind L. Chan ... ... ... ... ... ... all region office country Toronto Frankfurt city 许多概念分层的定义隐含在数据库的模式中。比如：location维的定义，officecitycountryregion；这些属性 按一个全序相关，形成一个层次结构： year day quarter month week 维的属性也可以组成一个偏序，形成一个格： 概念分层 (3) ——使用 概念分层为不同级别上的数据汇总提供了一个良好的基础 综合概念分层和多维数据模型的潜力，可以对数据获得更深入的洞察力 通过在多维数据模型中，在不同的维上定义概念分层，使得用户在不同的维上从不同的层次对数据进行观察成为可能。 多维数据模型（数据立方体）使得从不同的角度对数据进行观察成为可能，而概念分层则提供了从不同层次对数据进行观察的能力；结合这两者的特征，我们可以在多维数据模型上定义各种OLAP操作，为用户从不同角度不同层次观察数据提供了灵活性： 多维数据模型上的OLAP操作 (1) 上卷(roll-up):汇总数据 通过一个维的概念分层向上攀升或者通过维规约 当用维归约进行上卷时，一个或多个维由给定的数据立方体删除 下钻(drill-down)：上卷的逆操作 由不太详细的数据到更详细的数据，可以通过沿维的概念分层向下或引入新的维来实现 (为给定数据添加更多细节) 切片和切块(slice and dice) 切片操作在给定的数据立方体的一个维上进行选择，导致一个子方 切块操作通过对两个或多个维进行选择，定义子方 多维数据模型上的OLAP操作 (2) 转轴(pivot) 立方体的重定位，可视化，或将一个3维立方体转化为一个2维平面序列 转轴是一种可视化操作，通过转动当前数据的视图来提供一个数据的替代表示 其他OLAP操作 钻过(drill_across)：执行涉及多个事实表的查询 钻透(drill_through)：使用关系SQL机制，钻到数据立方体的底层，到后端关系表 其他OLAP操作可能包括列出表中最高或最低的N项，以及计算移动平均值、增长率、利润、统计函数等等 数据仓库设计：一个商务分析框架 (1) 数据仓库给商业分析专家提供了什么？ 通过提供相关数据与信息，获得竞争优势 通过有效的收集精确的描述组织的数据，获得生产力的提高 通过提供不同级别（部门、市场、商业）的客户视图，协助客户关系管理 通过追踪长期趋势、异常等，降低成本 有效构建数据仓库的关键：理解和分析商业需求 通过提供一个商业分析框架，综合各种不同的数据使用者的视图 数据仓库设计：一个商务分析框架 (2) 数据仓库设计的四种视图 自顶向下视图 允许我们选择数据仓库所需的相关信息 数据源视图 揭示被操作数据库系统所捕获、存储和管理的信息 数据仓库视图 由事实表和维表所组成 商务查询视图 从最终用户的角度透视数据仓库中的数据 数据仓库设计：一个商务分析框架 (3) 数据仓库的构建与使用涉及多种技能 商业技能 理解系统如何存储和管理数据 数据如何提取 数据如何刷新 技术方面的技能 如何通过使用各种数据或量化的信息，到处可以提供决策支持的模式、趋势、判断等 如何通过审查历史数据，分析发展趋势等 计划管理技能 如何通过与不同的技术、厂商、用户交互，来及时、有效、经济的提交结果 数据仓库的设计过程 (1) 自顶向下法、自底向上法或者两者的混合方法 自顶向下法：由总体设计和规划开始 在技术成熟、商业理解透彻的情况下使用 自底向上法：以实验和原型开始 常用在模型和技术开发的初期，可以有效的对使用的技术和模型进行评估，降低风险 混合方法：上述两者的结合 从软件过程的观点 瀑布式方法：在进行下一步前，每一步都进行结构化和系统的分析 螺旋式方法：功能渐增的系统的快速产生，相继版本之间间隔很短 数据仓库的设计过程 (2) 典型的数据仓库设计过程 选取待建模的商务过