数据仓库原理设计教材.pptVIP

1．B—Tree索引 1.4.5 数据仓库的物理模型设计 二、确定索引策略 B—Tree就具有一定的局限性，它存在以下的缺点： (1)B—Tree通常要求被索引的字段具有很好的选择性。 (2) B—Tree索引对于从大表中选择少数的几个数据记录的查询工作是非常适合。 (3)B—Tree的快速索引性能实际上是通过较大的代价换取的。 1.4 数据仓库模型设计 第一章 数据仓库原理 第六十三页，共九十二页。 2．位索引技术 1.4.5 数据仓库的物理模型设计 二、确定索引策略 Sybase公司推出的数据仓库Sybase IQ，采用位索引技术，它在处理复杂的查询时，比传统数据库索引B-Tree有了突破。 位索引技术在存储数据的方式上与传统的关系数据库有所不同，它不是以“行记录”而是按“列”为单位存储数据，即对数据进行垂直分割。对于每一个记录的字段满足查询条件的真假值用1或0的方式表示，或者用字段中不同取值来表示。 1.4 数据仓库模型设计 第一章 数据仓库原理 第六十四页，共九十二页。 2．位索引技术 1.4.5 数据仓库的物理模型设计 二、确定索引策略 一般DSS查询往往仅涉及大量数据记录中的少数列，因而不需要访问原始数据就能快速获得查询结果。显然，利用字段的不同取值也能快速进行数据聚类、分组、求最大值、求最小值及求平均值等。 对于高度可选择的数（称高基数），如姓名或地址等可能有数万个选择值，用（1，0）真假值来索引是不合适的。 1.4 数据仓库模型设计 第一章 数据仓库原理 第六十五页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 进行逻辑模型设计所要完成的主要工作有： （1）系统数据量的估算 （2）数据粒度的选择 （3）确定数据分割策略 （4）增加时间字段 （5）去除纯操作型数据 （6）进行合理的表划分 （7）定义关系模式 （8）增加导出字段 （9）定义记录系统 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十一页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 一、系统数据量估算 数据仓库数据量级的一个简单估算方法是： 设在概念模型中出现的表个数为N(这些表中应当不包括不会放进数据仓库的表)，对于每个表i(0i=N)计算表的大小Si和表的主关键字大小Ki，然后估计每张表i在单位时间内最大记录数Lmax和最少记录数Lmin。则数据仓库的粗略数据量在如下范围： 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十二页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 一、系统数据量估算 其中，T是数据在数据仓库中存在的周期。通常轻度综合的数据在数据仓库中存放的周期是5~10年。α是考虑由于数据索引和数据冗余而使得数据量增大的冗余因子，α通常可取1.2~2。 上式的含义是数据仓库数据量=(表记录的大小十主关键字大小)×记录的数量／单位时间×存储时间×冗余因子。 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十三页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 一、系统数据量估算 表i在单位时间内最大记录数Limax需要按照公司的客户数量或者市场的占用情况估算。比如对电信公司的计费表记录数量的估计，可以采用电信公司的客户数量×单位时间内平均通话的次数×每个存储时间来估计表的记录数量。 以上方法估算的结果只能作为数据粒度选样和软硬件平台选取的参考数据，它同实际系统的数据量可能会有较大的出入。 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十四页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 二、数据颗粒度的选择 1、单一数据粒度的概念： 直接存储细节数据并定期在细节数据基础上进行数据综合。 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十五页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 二、数据颗粒度的选择 2、双重粒度的概念： 对于细节数据只保留近期的数据在数据仓库中，当保留周期到达时，将距离当前较远的数据导出到磁盘上，从而为最新的数据腾出空间。这样，数据仓库只保留在细节数据保留周期之内的数据，对于这个周期之后的信息，数据仓库只保留其综合数据。 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十六页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 二、数据颗粒度的选择 2、双重粒度的概念（续）： 1.4 数据仓库模型设计 第一章 数据仓库原理 第三十七页，共九十二页。 1.4.4 数据仓库的逻辑模型设计 二、数据颗粒度的选择 2、双重粒度的概念（续）：