第一讲数据仓库技术.ppt

3.4 提高数据仓库的性能－物理设计中的其他问题 （3）引入冗余 如果数据分析要涉及不同表的多个属性，一些表的某些属性可能在许多地方都要用到，且这些属性上的值是不常更新的，则可将这些属性复制到多个主题中，以减少处理时存取表的个数。 3.4 提高数据仓库的性能－物理设计中的其他问题 引入冗余与合并表的方法不同 合并表是将两个或多个相关表的相关记录物理上存放在一起，但逻辑上仍是两个或多个表。即没有改变各表的关系模式，只是对表记录的存放策略的改进，并没有冗余的数据。 引入冗余是对表结构的改变，同一数据属性存在于多个关系模式中，这样的关系模式不再是规范化的。 3.4 提高数据仓库的性能－物理设计中的其他问题 （4）表的物理分割 前面讲的分割是表的逻辑分割，还可以依据数据的存取频率和稳定性进行表的物理分割。 3.4 提高数据仓库的性能－物理设计中的其他问题 （5）生成导出数据 事先在原始数据的基础上总结或计算，生成导出数据，则可在应用时直接利用这些导出数据。这样即减少了I/O的次数又免去了计算或汇总的步骤，还在更高级别上建立了公用数据源。 3.4 提高数据仓库的性能－物理设计中的其他问题 （6）建立广义索引 “广义索引”对于处理最值问题效果非常明显。在从OLTP中抽取数据向数据仓库装载时，就可根据需要建立许多这样的“广义索引”。以后每次DW装载时，重新生成这些“广义索引”的内容，而不用为了建立“广义索引”再去扫描DW。 第三章 数据仓库设计 3.1 数据仓库系统设计概述 3.2 数据仓库体系结构与实施框架 3.3 数据仓库设计的三级数据模型 3.4 提高数据仓库的性能 3.5 数据仓库中的元数据 3.6 数据仓库设计步骤 3.5 数据仓库中的元数据 ?数据仓库元数据是定义仓库对象的数据，它在DW中扮演一个新的重要角色。 元数据为决策人员访问DW提供直接或辅助信息； 元数据描述和管理从DBS到DW的数据转换； 元数据要管理DW中的数据。 3.5 数据仓库中的元数据 元数据在DW的上层，并且记录DW中对象的位置。典型的元数据包括： 数据仓库表的结构 数据仓库表的属性 数据仓库的源数据（记录系统） 从记录系统到数据仓库的映射 数据模型的规格说明 抽取日志 访问数据的公用例行程序 第三章 数据仓库设计 3.1 数据仓库系统设计概述 3.2 数据仓库体系结构与实施框架 3.3 数据仓库设计的三级数据模型 3.4 提高数据仓库的性能 3.5 数据仓库中的元数据 3.6 数据仓库设计步骤 3.6 数据仓库设计步骤 ? 概念模型? 技术准备? 逻辑模型 ? 物理模型? DW生成? 运行维护 第一步：概念模型设计 1.界定系统的边界 ?要做的决策类型有哪些？ ?决策者感兴趣的是什么问题？ ?这些问题需要什么样的信息？ ?要得到这些信息需要包含原有DBS哪些部分的数据？ 3.6 数据仓库设计步骤－概念模型设计 2.确定主要的主题域 先确定系统所包含的主题域，再对每个主题域进行明确的描述。内容包括： ?主题域的公共码键； ?主题域之间的联系； ?充分代表主题域的属性组。 3.6 数据仓库设计步骤－概念模型设计 【例】以商场的DW设计为例，商场经营者最迫切的需求是：准确地把握商场经营情况，跟踪市场趋势，更加合理地制定商品采购与营销政策。 1.界定系统的边界 需要进行的分析： ?分析顾客购买趋势 ?分析商品供应市场的变化趋势 ?分析供应商信用等级 3.6 数据仓库设计步骤－概念模型设计 需要的数据包括： ?商品销售数据 ?商品采购数据 ?商品库存数据 ?顾客信息 ?供应商信息 ?通过需求分析，可界定系统边界为：包含原有的销售子系统，采购子系统，库存子系统在内的集合。 3.6 数据仓库设计步骤－概念模型设计 2.确定主要的主题域 ?主题：商品，供应商，顾客 ?主题之间的联系： ? 商品与供应商： 每个供应商供应多种商品，一种商品可由多个供应商提供，它们之间的联系是商品供应关系。 3.6 数据仓库设计步骤－概念模型设计 ? 商品与顾客： 一位顾客购买多种商品，一种商品又有多位顾客购买，它们之间的联系是商品销售关系。 ? 顾客与供应商： 一个顾客可购买不同供应商提供的商品，一个供应商提供的商品可被不同顾客购买，可看出它们间的联系是间接的，通过商品实现。 商 品 商品销售信息 商品采购信息 商品固有信息 商品库存信息 日期 商品号 供应商 供应商品信息 供应商固有信息 日期 供应商号 顾 客 顾客固有信息 顾客购物信息 日期 顾客号 用E-R图表示 3.6 数据仓库设计步骤－概念模型设计主题