第3章 数据仓库的数据获取与管理.pptVIP

第3章 数据仓库的数据获取与管理 对数据仓库的数据组织有一文的认识, 明确数据仓库数据的抽取、集成过程握粒度、分割和数据追加等概念。 能够全面理解数据库体系化环境的概念。 第3章 数据仓库的数据获取与管理 ? 3.1 数据仓库的数据获取 ? 3.1 数据仓库的数据获取 数据仓库中的数据是集成了各个异构信息源中的数据形成的。而数据库中的数据真正要存储在数据仓库中, 还必须经过抽取、转换和装载的一个过程, 该过程即 ETL (Extraction, Transform Load) 过程。 数据仓库中的数据来自于多种业务数据源, 这些数据源可能是在不同的硬件平台上, 使用不同的操作系统, 因而数据以不同的格式存在不同的数据库中。如何向数据仓库中加载这些数量大、种类多的数据, 已成为建立数据仓库所面临的一个关键问题。 ? 3.1 数据仓库的数据获取 ? 在数据迁移的过程中, 通常需要将操作数据转换成另一种格式, 以更加适用于数据仓库设计。在大多数情况下, 转换是将数据汇总, 以使它更有意义。 在转换过程中, 确保能找出一种最好的方法以保证数据从传统的存储到数据仓库存储的同步策略。 同步策略应当把重点放在转换语言的标准化、数据移动平台、通信策略和支持策略方面。 数据仓库与操作数据存储器之间的同步过程能够采取不同的结构。 除寻找自动化转换工具之外, 还应估计数据转换的复杂性。大多数传统的数据存储方法缺乏标准, 常常有些不规则的数据或数据关系让人摸不着头脑。 ? 3.1 数据仓库的数据获取 ? 一些有用的工具正在不断改进以促进转换过程的自动化, 包括复杂问题, 如隐藏的数据、传统标准的缺乏及不统一的关键数据。 提取数据是数据仓库成功的关键。在提取过程中, 数据会被格式化, 并分发给需要从操作环境中共享数据的资源。元数据的工作是定义和解释数据资源和数据标准。因此, 在操作数据上执行的转换过程应该用元数据中定义的标准数据格式放置数据。 经过一段时间的发展, 人们最终认识到 ETL 工具的重要性, 于是相关的 ETL 工具也纷纷出台, 其中比较著名的是 IBM 的 Visual Warehouse, Ardent 公司的 Data Stage 等。 ? 数据质量 ? 3.1 ? 数据质量 数据质量制约着决策用户能否制定正确的决策; ? 查数据质量的标准 ⑴ 数据是准确的 数据必须保证它的准确性。如姓名、地址对营销部门必须正确。 ⑵ 数据符合它的类型要求和取值要求 定义了字段类型后, 所有记录都应该有类型 (如字符型、实数型等) 。数据在该字段的取值应在指定的范围内, 如性别只有 “男” 或 “女”。 ? 数据质量 ? 3.1 ? ⑶ 数据具有完整性和不冗余 数据应该是完整的, 对不同的需求, 都能获得所需要的数据。更新数据时不会由于多用户同时使用数据而发生冲突和丢失。由于业务需要所出现的数据冗余也应该尽量减少。 ⑷ 数据是集成的和一致的 数据是从多个部门和多个平台集成而来。数据的集成将减少冗余数据, 保持数据的一致性, 减少接口处理等, 实现数据共享。数据应该在形式逻辑上与内容上是一致的。 ? 数据质量 ? 3.1 ? ⑸ 数据是及时的,遵循业务规则,满足业务要求 对不同时间要求的数据 (如按月) 能按时提供, 达到及时性要求。数据要遵循业务规则, 如贷款余额不能是负数。对不同部门均能提供所需的数据。 ? 按数据质量标准净化和清洁数据 数据具有高质量时, 它才是一种资产, 错误的数据会导致错误的决策。例如, 地址的错误造成找不到顾客；向没有孩子的夫妇推荐学生用具, 会造成不好的影响。数据在进入数据仓库前, 必须按照数据质量标准进行净化和清洁。 ? 数据变换 ? 3.1 ? 数据变换 数据变换中最简单的形式是变换一次，改变一个数据属性而不考虑该属性的背景或与它相关的其他信息。 ? 数据类型转换 最常见的简单变换是转换一个数据元的类型。当应用程序存储某个类型的数据只在该应用程序的背景下有意义, 在企业水平上却没有意义时, 就常常要求进行这类变换。 这类转换可通过编码程序中的简单程序逻辑或者运用数据仓库数据变换工具完成。 ? 数据变换 ? 3.1 ? ? 日期/时间格式的转换 因为大多数业务环境都有许多不同的日期和时间类型, 所以几乎每个数据仓库的实现都必须将日期和时间变换成标准的仓库格式, 这可以通