第三章 数据仓库管理技术-精品·公开课件.ppt

第三章 数据仓库管理技术 数据仓库的管理主要包括: 对数据的管理 对系统的管理 数据仓库管理技术 数据仓库的管理主要指对数据的管理: 休眠数据的管理 元数据的管理 数据质量的管理(清理数据) 数据仓库管理技术 数据仓库的管理主要指对数据的管理: 休眠数据的管理 元数据的管理 数据质量的管理(清理数据) 休眠数据的管理 数据仓库增长曲线与休眠数据增长曲线 休眠数据的定义 存在休眠数据的原因 休眠数据的处理 休眠数据的管理 数据仓库增长曲线与休眠数据增长曲线 休眠数据的定义 存在休眠数据的原因 休眠数据的处理 休眠数据的管理 数据仓库增长曲线与休眠数据增长曲线 休眠数据的定义 存在休眠数据的原因 休眠数据的处理 休眠数据的定义 休眠数据是指那些存在于数据仓库中的、当前并不使用、将来也很少使用或者根本就不会使用的数据。 休眠数据是指那些被装载到由数据库所管理的活动存储区域内、并不包含任何数据库的系统数据。 休眠数据的管理 及时地对休眠数据清理的过程会对整个数据仓库系统性能的提高起到积极的作用。 系统可以更快速地查询我们所要地数据，而不必再消耗大量地资源来处理那些本来可以不加考虑地数据。 休眠数据的管理 数据仓库增长曲线与休眠数据增长曲线 休眠数据的定义 存在休眠数据的原因 休眠数据的处理 存在休眠数据的原因 由于概括表格的创建 由于错误估计实际上所需要的历史数据的年限 由于随着时间的推移，需求的现实性逐渐明显 由于坚持让详细数据驻留在数据仓库中 休眠数据的管理 数据仓库增长曲线与休眠数据增长曲线 休眠数据的定义 存在休眠数据的原因 休眠数据的处理 休眠数据的处理 查找休眠数据 删除休眠数据 选择删除的数据 确定访问可能性 休眠数据的处理 查找休眠数据 删除休眠数据 选择删除的数据 确定访问可能性 查找休眠数据 休眠数据的处理 查找休眠数据 删除休眠数据 选择删除的数据 确定访问可能性 删除休眠数据 垃圾桶 归档存储 近线存储 (邻线存储 Near Line) 休眠数据的处理 查找休眠数据 删除休眠数据 选择删除的数据 确定访问可能性 选择删除的数据 用一个活动监视器，即一个数据使用跟踪器来确定数据仓库中的数据访问模型。 基于数据访问模型的方法来删除数据是一种正确的方法。 休眠数据的处理 查找休眠数据 删除休眠数据 选择删除的数据 确定访问可能性 确定访问可能性 确定已被或未被访问的数据； 基于过去的活动建立一个访问轮廓； 基于所建立的这种轮廓来确定访问可能性。 数据仓库管理技术 数据仓库的管理主要指对数据的管理: 休眠数据的管理 元数据的管理 数据质量的管理(清理数据) 元数据的管理 回顾：元数据的定义、作用和分类 元数据的管理方法 企业级中心知识库的管理方法 元数据的管理 元数据的管理方法 企业级中心知识库的管理方法 元数据的管理方法 支持企业范围内的体系结构 基于知识库的方法 配置管理 支持开放的元数据交换标准 元数据的管理 元数据管理方法 企业级中心知识库的管理方法 企业级中心知识库的管理方法 集成元数据的作用 中心知识库的必备条件： 非私有的关系数据库管理系统 可扩展的元数据模型 应用程序接口级访问 数据的控制中心 灵活的命名标准 强大的报表和查询功能 数据仓库管理技术 数据仓库的管理主要指对数据的管理: 休眠数据的管理 元数据的管理 数据质量的管理(清理数据) 数据质量的管理 脏数据：在数据源中抽取、转换和装载到数据仓库的过程中，出现的多余数据和无用的数据。 数据质量的管理 脏数据的产生和清理 脏数据进入的四种方式 清理脏数据 过期数据的清理 数据质量的管理 脏数据的产生和清理 脏数据进入的四种方式 清理脏数据 过期数据的清理 脏数据产生的四种方式 定义了多余的数据，或者由于一些不合适的转换规则在预处理过程中产生； 来自不同数据源的数据不兼容，在集成时没有转换成统一形式、产生遗漏或者用了不匹配的转换方法； 以前输入的数据已经过期； 用户需求的改变，或添加了对数据质量的不同要求。 脏数据进入的四种方式 数据质量的管理 脏数据的来源和清理 脏数据进入的四种方式 清理脏数据 过期数据的清理 清理脏数据 检查抽取数据的定义和数据转换规则的正确性 在对多个数据源进行集成时，必须对所有的不同结构、不同编码和定义的数据，严格按照统一形式转换后再集成 对过期数据，在数据量较少时进行重新整理，当数据量较大时，增加一些时间限制的规则来帮助对数据的使用 数据质量的管理 脏数据的来源和清理 脏数据进入的四种方式 清理脏数据 过期数据的清理 数据仓库管理技术 数据仓库的管理主要包括: 对数据的管理 对系统的管理 系统管理 数据仓库的系统管理主要包括: 服务水平 性能监控 存