第2章 数据仓库系统.pptVIP

第2章 数据仓库系统 对数据仓库的数据组织有一定的认识, 包括数据仓库结构、数据仓库系统结构、系统运行结构及数据集市结构; 掌握掌握粒度、分割等概念;。 数据仓库的数据模型从逻辑上讲是多维数据模型, 可使用不同的存储机制和表示模式来实现, 掌握多维模型的意义及星型模型和雪花模型构成及特点; 掌握元数据概念, 深刻认识元数据在数据仓库的建造、运行中的重要作用; 了解数据仓库中元数据大致包含内容, 掌握几类元数据 (包括: 关于数据源的元数据、关于数据模型的元数据、关于数据仓库映射的元数据和关于数据仓库使用的元数据) 的作用及内容; 明确数据仓库数据的抽取、集成过程。 第2章 数据仓库系统 ? 数据仓库结构 ? 2.1 ? 2.1 数据仓库组织结构 数据仓库结构 据仓库是在原有关系型数据库的基础上发展形成的, 但不同于数据库系统的组织结构形式, 它从原有的业务数据库中获得的基本数据和综合数据被分成一些不同的层次 (levels)。 ? 数据仓库的结构组成 如图2.1 所示, 包括： 当前基本数据 (Current Detail Data)； 历史基本数据 (Older Detail Data)； 轻度综合数据 (Lightly Summarized Data)； 高度综合数据 (Highlysumma－rlzed Data)； 元数据 (Meta Data)。 ? 数据仓库结构 ? 2.1 ? ? 数据仓库的物理设计包括的内容 ⑴ 划分粒度 粒度是数据仓库的重要概念, 是指数据仓库中数据单元的详细程度和级别。它既影响数据仓库中的数据量, 也影响数据仓库所能回答询问的种类。 粒度越小, 细节程度越高, 综合程度越低, 回答查询的种类就越多 例如回答 “张三在某时某地是否给李四打过电话” 这样关于细节的问题；但这必然造成数据仓库中数据大量堆积, 当回答 “张三去年共打了几次长途电话” 这样的综合性问题时, 要从大量细节数据中综合并计算答案, 效率将会十分低下。 ? 数据仓库系统结构 ? 2.1 ? 反之, 粒度的提高将会提高查询效率 比如在一个大粒度的数据层中记录的是每个客户每年所打的长途／普通电话费用, 那么, 这组综合数据将使许多查询的效率大大提高, 比如回答如下问题：某地区今年长途与普通电话费用之比、今年长途／普通电话费用增长率、根据近几年的数据预测未来长途／普通电话费用变化趋势，等等；但同时也造成回答细节问题能力的下降。 在数据仓库中, 多重粒度是必不可少的 由于数据仓库的主要作用是DSS分析, 因而其绝大部分查询都基于一定程度的综合数据之上, 而只有极少的查询涉及细节。所以应将大粒度数据存于快速设备, 而小粒度数据则可存于低速设备。 ? 数据仓库系统结构 ? 2.1 ? ⑵ 进行分割 (分类) 分割是数据仓库中的另一个重要概念。是指把逻辑统一的数据分割成较小的、可以独立管理的物理单元 (类) 进行存储, 以便重构、重组和恢复。数据分割后的数据单元称为分片。 数据分割的理由 在进行实际的分析处理时, 对于存在某种相关性的数据集合的分析是最常见的, 如对某一时间或某一时段的数据的分析、对某一地区的数据的分析、对特定业务领域的数据的分析, 等等。如果我们将具有这种相关性的数据组织在一起, 无疑会提高效率。 ? 数据仓库系统结构 ? 2.1 ? 数据分割的标准 可以根据实际情况来确定, 通常可选择按日期、地域或业务领域等来进行分割, 也可以按多个分割标准的组合来进行。一般而言，分割标准总应包括日期项，它十分自然而且分割均匀。 分割之后, 小单元内的数据相对独立, 处理起来更快, 更容易。数据分割使数据更易于重构、索引、重组、恢复、监控和顺序扫描; 使数据仓库的开发人员和用户具有更大的灵活性。 一个简单的分割例子 见表1-2, 分片是按时间标准来组织的。 ? 数据仓库系统结构 ? 2.1 ? 数据仓库系统结构 数据仓库系统由数据仓库(DW)、仓库管理和分析工具三部分组成, 其结构形式如图2.2所示。 ? 数据仓库系统结构 ? 2.1 ? 数据仓库系统 (Data warehouse system) 以数据仓库为基础，通过查询工具和分析工具，完成对信息的提取，满足用户的各种需求。 我们可以扩充原有的数据仓库结构，得到一幅更详尽的数据仓库体系结构图 (见下图) ? 数据仓库系统结构 ? 2.1 ? 图中包括数据仓库层、工具层及它们之间的相互关系，展示了各部分是如何有机集成的。