第二章：数据仓库和数据挖掘的olap技术.pptVIP

http://www.cs.sfu.ca/~han Thank you !!! 一个星型网的查询模型 第二章：数据仓库和数据挖掘的OLAP技术 ?什麽是数据仓库？ ?多维数据模型 ?数据仓库的系统结构 ?数据仓库实现 ?数据立方体技术的进一步发展 ?从数据仓库到数据挖掘 数据仓库的设计：一个商务分析框架 关于数据仓库设计的四种视图 自顶向下视图 允许选择数据仓库的所需的相关信息 数据源视图 揭示被操作数据库系统捕获、存储和管理的信息。 数据仓库视图 由事实表和维表构成 商务查询视图 从最终用户的角度透视数据仓库的数据 数据仓库的设计过程 使用自顶向下方法、自顶向上方法或二者结合的混合方法设计。 自顶向下：由总体设计和规划开始(当技术成熟并以掌握，这种方法是有用的) 自底向上方法: 以实验和原型开始(在商务建模和技术开发的早期阶段，这种方法是有用的) 从软件工程的观点 瀑布式方法: 在进行下一步前，每一步都进行结构化和系统的分析 螺旋式方法: 涉及功能渐增的系统的快速产生，相继版本的时间间隔很短 典型的数据仓库设计过程 选去待建模的商务处理，例如，订单，发表等 选取商务处理的粒度 选取用于每个事实记录的维 选取安放在事实表中的度量 多层体系结构 三种数据仓库模型 企业仓库 搜集了关于主题的所有信息，跨越整个组织 数据集市 包含企业范围数据的一个子集，对于特定的用户是有用的，其范围限于特定的、选定的用户，如：商场的数据集市。 独立的数据集市和依赖的数据集市（直接来自数据仓库） 虚拟仓库 操作数据库上视图的集合 只有一些可能的汇总视图被物化。 数据仓库开发的推荐方法 分布式数据集市 定义高层数据模型 企业数据仓库 数据集市 数据集市 多层数据仓库 模型提炼 模型提炼 OLAP服务器类型 关系OLAP (ROLAP) 使用关系和扩充关系DBMS存放并管理数据仓库，而OLAP中间件支持其余部分。 包括每个DBMS后短的优化，聚集导航逻辑的实现，和附加的工具和服务 更大的可伸缩性 多维OLAP (MOLAP) 基于数组的多维存储引擎（稀疏矩阵技术） 对预计算的汇总数据的快速索引 混合OLAP (HOLAP) 用户的灵活性，例如，低层次：相关的，高层次：数组 特殊的SQL服务器 在星型和雪花模式上支持SQL查询 第二章：数据仓库和数据挖掘的OLAP技术 什麽是数据仓库？ 多维数据模型 数据仓库的系统结构 数据仓库实现 数据立方体技术的进一步发展 从数据仓库到数据挖掘 数据立方体的有效计算 数据立方体可以被看成是方格体 最底层的方体是基本方体 最上层方体（顶点方体）只包含一个元 那麽一个具有L层的n维立方体有多少个方体？ 数据立方体的物化 物化每一个立方体（全物化），不物化任何“非基本”方体（不物化）或有选择的物化其中一部分（部分物化） 选取哪一些立方体进行物化？ 根据方体的大小，存取频率等 立方体操作 基于关系OLAP(ROLAP)的方体计算方法 方体计算的有效方法 基于ROLAP 的方体算法 基于数组的方体算法 自底向上的计算方法 基于ROLAP的方体算法 排列、散列和分组操作用于维属性，以便对相关元组重新排序和聚类 在某些子聚集上分组，作为“部分分组步骤” 可以由以前的聚集计算新的聚集，而不必由基本事实表计算 数据立方体计算中多路数组聚集 将数组分成块（块是一个子方，其大小能放入可用的内存） 压缩的稀疏数组寻址: (chunk_id, offset) 通过访问立方体单元，计算聚集。可以优化访问单元的次序，使得每个单元必须重复访问的次数最小化，从而减少存储访问开销和访问开销 A 数据立方体计算中多路数组聚集 数据立方体计算中多路数组聚集 数据立方体计算中多路数组聚集(Cont.) 方法：根据平面大小的升序序列来搜索和计算平面 看详细例子，例2.12 (p50) 思想：把最小的平面放入主存，对最大的平面每次只取一块来计算 这个方法的局限：只对具有少数维的方体计算有效。 如果具有很多维，可以采用“自底向上计算”和冰山方计算的方法。 索引OLAP 数据: 位图索引 在特定栏上的索引 这一栏上的每一个值都对应于一个位向量 位向量的长度：基本表中特定栏属性值的个数。 如果基本表中的给定行的属性值为v，则在为图索引的对应行，表示改值的位为1，该行的其它位均为0 对于基数较大的域不大适合 索引OLAP数据:连接索引 连接索引: 如果两个关系R(RID ,A)和S(B,SID )在属性A和B上连接，则连接索引记录包含JI（RID,SID)对，其中RID和SID分别来自R和S的记录标识符。?? 传统的索引将给定列上的值映射到具有该值的列表上?? 它物化了JI文件中的关系连接并加速了关系连接——这是一个相当