第5章数据仓库的管理和应用.pptVIP

第 5 章 数据仓库的管理与应用 内容提要 5.1 数据仓库管理 5.2 数据仓库的决策支持与决策支持系统 5.3 数据仓库应用实例 5.1 数据仓库管理 5.1.1 用户使用数据仓库的管理 5.1.2 数据管理 为什么需要对数据仓库进行管理？ 数据仓库中的数据也会随时间的延伸迅速的增长。 （1）数据仓库收集历史数据。 （2）数据仓库包含满足未知需求的数据集。 （3）数据仓库既包括了详细数据也包括了汇总数据。 （4）数据仓库还包含外部数据。 5.1.1 用户使用数据仓库的管理 1. 信息使用者使用数据仓库的性能优化 2. 探索者使用数据仓库的性能优化 1.信息使用者使用数据仓库的性能优化 非规格化 创建数据阵列 预连接表格 预聚集数据 聚类数据 压缩数据 定期净化数据 合并查询 2.探索者使用数据仓库的性能优化 （1）概括分析 分析数据的完整性和准确性（数据质量）。 （2）抽取 数据抽取的任务就是从数据仓库中抽取指定的数 据，并组织起来，送入支持探索者分析的探索仓 库中。 （3）建模 通过概括分析来理解数据，通过抽取来准备数 据，通过建模来分析数据。 5.1.2 数据管理 5.1.2.1 休眠数据 5.1.2.2 脏数据的产生和清理 5.1.2.3 监视数据 5.1.2.4 元数据管理 5.1.2.1 休眠数据 1．休眠数据概念 休眠数据是那些存在于数据仓库中当前不使用，将来也很少使用或不使用的数据。 数据仓库中的数据随着时间的延续，数据被使用的情况会减少，休眠数据随之逐年增加。 一些事实： 国外的统计表明： 第1年内，数据仓库近期数据和综合数据几 乎被全部使用。 第2年内，休眠数据开始出现，数据仓库中 的数据不少未被使用。 第3年内，休眠数据在增长。 第4年内，休眠数据迅速增长。 2．休眠数据的产生与查找 （1）休眠数据的产生 ①在数据仓库中输入了过多的近期基本数据。 ②过多的增加了不必要的综合数据。 ③超过预测需求的历史数据均是休眠数据 （2）查找休眠数据 查找休眠数据的最好方法是监视用户查询 数据仓库的活动。 ① 监视用户查询的SQL语句。 ② 监视返回给用户的查询结果数据集。数 据仓库管理员能知道哪些数据没有被使用， 它们很可能就是休眠数据。 3．删除休眠数据 （1）直接删除休眠数据 ①删除用户不访问的数据。 ②通过数据访问模型来删除休眠数据。 （2）对休眠数据归档存储 （3）邻线（Near Line）存储 “邻线” 存储是一种二级数据存储方式。 “邻线”介于“在线（On Line）”和“离线（Off Line）”之间，将休眠数据从数据仓库的在线存储中转移到邻线存储中，平时不参与数据仓库的运行。 5.1.2.2脏数据的产生和清理 脏数据是指在数据源中抽取、转换和装载到数据仓库的过程中出现的多余数据和无用数据。 1．产生脏数据的途径 （1）开始时定义了一些多余的数据或由于一些不合适的转换规则在转换过程中产生的无用数据。 （2）来自不同数据源的数据在数据结构、数据编码、数据定义等方面是不兼容的，在集成这些数据时未对所有不同情况的数据都转换成统一形式，产生遗漏或用了不匹配的转换方法而产生脏数据。 （3）输入的数据已经过期。 （4）用户需求的改变或数据质量有了新的要求时，那些没有适应改变要求的数据成了无用的脏数据。 2．清理脏数据 （1）检查抽取数据的定义和数据转换规则的正确性，对那些不合适的定义与规则所造成的脏数据进行清理。 （2）在对多个数据源进行集成时，清除那些遗漏或不匹配方法而产生的脏数据。 （3）对过期数据，对数据量较少时进行重新整理；对数据量大时，增加一些时间限制的规则来帮助对数据的使用。 5.1.2.3 监视数据 1.监视休眠数据 2.监视脏数据 5.1.2.4元数据管理 1．评估元数据的价值 （1） 在应用程序中：描述应用程序的操作数据的机制和控制运行机制的元数据，使系统开发人员就能够理解应用程序内部结构和数据之间相互关系。 5.1.2.4 元数据管理 1．评估元数据的价值 （1） 在应用程序中：描述应用程序的操作数据的机制和控制运行机制的元数据，使系统开发人员就能够理解应用程序内部结构和数据之间相互关系。 （2） 在数据仓库环境中元数据通过三种方式发挥作用。 描述源数据和目标的数据模型 在填充数据时描述转换集成的数据流 允许终端用户使用有意义的导航数据 （3） 获取数据和使用数据的元数据是元数据价值最大的用途。 2．管理元数据 （1）支持企业范围内的体系结构理解各种元数据目录，以及它们在企业范围内的体系结构的作用。 （2）基于知识库的方法 元数据一般存储在属性知识库中。转移到一个共享的、公共的元数据知识库中。