第5章-数据仓库和技术.pptVIP

* * * * * * * * * * * * * * * * * * 第5章 数据仓库和技术 数据仓库的索引 大多数索引建立在维度表上 通常，数据仓库索引比业务系统多 索引越多，需要存储空间越大 大量的索引会影响装置过程 位图索引 位图是一个按序排列的点阵，每个点对应索引列的不同取值 位图索引支持低可选择性的查询。相比B树，占用存储空间更少 如果有新值加入，位图索引必须重新构建 在访问位图索引之后总是要访问数据表 位图索引的优势 如果将位图组织为向量组，可以不必加载整个位图，而只获取与查询有关的向量的磁盘页 可以非常高效的使用布尔运算符 事实表的索引 为全部的主键建立一个B树索引 经常用到的键作为组合键中级别高的键 经常查询的字段也可以建立索引 指定范围的现金销售额 位图索引不适应事实表 维度表的索引 主键上建立B树索引 为经常查询的列建立位图索引 常用于连接的列建立单独的索引 5.21 元数据 元数据描述数据以及管理数据的环境，担任数据仓库的数据组织工作。元数据常常被定义为“关于数据的数据”。 文件/表 逻辑名 顾客 定义 购买商品或服务的团体或个人 物理名 TDW_CST 记录编辑过程名 PRC_CST 属性 逻辑名 顾客标识 定义 赋予每个顾客的唯一标识 物理名 CST _ID 类型 CHARACTER 长度 6 能否为空 NOT　NULL 域编辑过程名 PFC_CST_ID 元数据的一个例子 元数据的内容 元数据在数据仓库环境主要包括以下方面： 表结构、表属性、源数据、记录到数据仓库的映射、数据模型说明、抽取日志、访问数据的公用例行程序、数据的定义/描述、数据单元之间的关系。 可分为业务元数据与技术元数据二类 * 5.4.3 元数据模型 输入/输出对象 IO对象ID 定义 IO类型 状态 向导 存档周期 关系成员 关系ID（FK） IO对象ID（FK） 关系角色编码 关系级别 关系约束 关系ID 关系类型 业务规则 关系 IO对象ID 数据集名 文件 IO对象ID 主题区ID DB位置 表 IO类型 关系键 关系ID（FK） IO对象ID（FK） 域ID（FK） 顺序号 域 IO对象ID（FK） 域ID（FK） 数据元素名（FK） 列号 起始位置 类型 长度 域ID 赋值约束 缺省值 源系统ID 图格式 角色编码 最后被访问数据 数据元素名 定义 类型 长度 向导 域ID 数据元素 * 元数据工作的一个例子 13 社会保险号 雇员 社会保险号（FK） 技能编码（FK） 雇员技能 技能编码 技能 12 IO对象ID 雇员 雇员技能 技能 输入输出对象 关系ID IO对象ID 12 雇员 12 雇员技能 13 雇员技能 13 技能 关系成员 关系ID 12 13 关系键 关系 关系ID IO对象ID 域ID 12 雇员 社会保险号 12 雇员技能 社会保险号 13 技能 技能编码 13 雇员技能 技能编码 元数据的作用 描述什么在数据仓库中。 制作系统设计文档。 测量数据品质。 监视数据同步操作。 规定什么样的数据进入和离开数据仓库。 根据事件时间表安排数据抽取和监视导入（import）工作。 绘制由源系统数据转换为数据仓库数据的映射图。 选择不同级别的数据综合算法。 元数据的作用 元数据在操作型环境与数据仓库中扮演着不同的角色: 在操作型环境中,元数据几乎是事后补记,并归入到与文档相同的重要性级别。而数据仓库环境中元数据重要性提高。 二种环境中元数据服务于不同的群体。操作型服务于IT人员，数据仓库服务于DSS分析人员 元数据涉及到对二种环境中数据的映射管理 数据仓库环境中的元数据需要随时间变化追踪数据结构的变化 元数据的收集与维护 1．元数据的收集 （1）来源于源系统 元数据 操作型系统数据模型 系统文档的数据元素定义 COBOL写字板及控制块规范 物理文件布局及字段定义 程序规范 外部数据来源的文件布局和字段定义 其他来源（如：电子表格） 源系统中元数据收集 (2) 来源于抽取的数据 元数据 源平台的数据和连接 所选择的数据源的布局和定义 每个平台上初始抽取文件的合并准则 用于抽取的字段定义 标准化字段类型与长度的规则 数据抽取计