4数据仓库与数据挖掘的OLAP技术.pptVIP

* 数据仓库的构架 * 多维数据模型的潜力和概念分层的混合 * * * 数据仓库的构架 * 数据仓库的构架 * * * 数据立方体的有效计算：概述 数据仓库中的OLAP查询是一种海量数据计算 用户却希望这个计算能在数秒钟内完成 解决方法在于给出一种有效的计算数据立方体的方法 数据立方体可以被看成是一个方体的格 最底层的方体是基本方体 最顶端的方体（顶点）只包含一个单元的值 一个n维的数据立方体，每维L层，可能产生的方体总数是多少？ (item) (city) ( ) (year) (city, item) (city, year) (item, year) (city, item, year) 数据立方体的物化 数据立方体的物化可以提高查询处理的效率,数据立方体的物化可以有以下三种选择： 全物化 预先计算所有方体，导致可能需要海量的存储空间存放预计算方体 不物化 不预先计算任何“非基本”方体,导致运行时计算昂贵的多维聚集 部分物化 有选择的计算一个所有方体的适当子集,在存储空间和响应时间二者 之间提供好的折衷 考虑那些方体需要物化 基于存储空间 基于共享 基于访问频度等 部分物化应考虑的因素 确定要物化的方体子集 利用查询处理时物化的方体 在装入和刷新时，有效更新物化的方体 数据立方体的物化 有效率的数据立方体计算方法 基于ROLAP的立方体算法 (Agarwal et al’96) 基于数组的立方体算法 (Zhao et al’97) 自下向上的计算方法 (Bayer Ramarkrishnan’99) H-cubing计算(Han，PeiWang:SIGMOD’01) 索引OLAP数据：位图索引 在给定的属性上进行索引 属性上的每个值都有一个对应的位向量：位操作比较快速 位向量的长度由基本表的记录数量决定 如果基本表中给定记录的属性值为v，则在位图索引的对应行，表示v的位为1，该行的其他位均为0 不适合基数较大的域 基本表 Region位图索引表 Type位图索引表 连接索引: JI(R-id, S-id) where R (R-id, …) ?? S (S-id, …) 传统的索引将给定列上的值映射到具有该值的行表上 必须物化JI中的关系连接， 执行有很大开销的连接操作 在数据仓库的星型模式中，连接 索引维护维的属性值和事实表的 对应行之间的关系 E.g. 具有维location和item的事实表sales location维的连接索引维护了location维表上的值与sales事实表中的相应元组的连接关系 连接索引可以跨越多维 索引OLAP数据：连接索引 OLAP查询的有效处理 确定哪些操作应当在可利用的方体上执行： 将查询中的选择、投影、上卷和下钻等操作转化为对应的SQL或/和OLAP操作，如：dice = selection + projection 确定相关操作应当使用哪些物化的方体 找寻MOLAP中可以利用的索引结构以及压缩的或是稠密的数组结构 有效处理OLAP查询（示例） 立方体的定义为： sales[time,item,location]: sum(sales_in_dollar) time的维层次 dayweekmonthquateryear location的维层次 streetcityprovince_or_statecountry item的维层次 item_namebrandtype 现在要处理一个year＝2000，定位在 brand 和 province_or_state 级别的查询，现有四个可用的已经物化的方体： ① {item_name, city, year} ② {brand, country, year} ③ {brand, province_or_state, year} ④ {item_name, province_or_state}其中year＝2000 Question：以上四个方体，选那个来处理查询？ (要考虑计算的量，以及可以使用的索引等因素） 数据概化 数据库中的数据和对象通常包含原始概念层的细节信息，数据概化就是将数据库中的跟任务相关的数据集从较低的概念层抽象到较高的概念层的过程。 主要方法： 数据立方体（OLAP使用的方法） 面向属性的归纳方法 数据泛化 1 2 3 4 5 概念描述 什么是概念描述？ 概念描述是一种最简单的描述性挖掘 当所描述的概念所指的是一类对象时，也称为类描述 概念指的是一类数据的集合--e.g. 研究生，大客户 概念描述是指为数据的特征化和比较产生描述(当所描述的概念所指的是一类对象时，也称类描述) 特征化：提供