2019年数据仓库的概念与体系结构概述.ppt

数据仓库的组成 数据库 数据抽取工具 元数据 访问工具 数据集市 数据仓库管理工具 信息发布系统 数据仓库数据库 数据仓库系统中的数据库是整个数据仓库系统的核心，是数据信息存放的地方，对数据提供存取和检索支持。相对于传统数据库来说，它突出的特点是对海量数据的支持和快速的检索技术。 数据抽取工具 数据抽取工具把数据从各种各样的存储环境中提取出来，进行必要的转化、整理，再存放到数据仓库中。对各种不同的数据存储方式的访问能力是数据抽取工具的关键，数据转换通常包括： 删除对决策分析没有意义的数据 转换成统一的数据名称和定义 计算统计和衍生数据 填补缺失数据 统一不同的数据定义方式 元数据 元数据是描述数据仓库内数据的结构和建立方法的数据。元数据（Metadata）是描述数据的数据 。 在关系数据库中，数据是存放在表中的，表结构的定义、关于结构的描述就是元数据。在数据仓库中，元数据就是定义数据仓库对象的数据。 元数据分为： 技术元数据 业务元数据 技术元数据 技术元数据是系统的开发和管理人员使用的、描述数据的技术细节的元数据。主要包括： 数据仓库结构的描述 仓库模式、视图、维、层次结构、导出数据的定义，以及数据集市的位置和内容 操作元数据 包括数据血统(data lineage)、数据类别(currency of data)，以及监视信息 汇总用的算法 由操作环境到数据仓库的映射 关于系统性能的数据 索引，数据刷新、更新或复制事件的调度和定时 数据仓库的组成 业务元数据（商务元数据） 从业务角度描述了系统中的数据，是介于使用者和真实系统之间的语义层，使得不懂计算机技术的业务人员也能够“理解”系统中的数据。 业务元数据主要包括： 用户的业务术语和它们表达的数据模型信息 对象名称及其属性 数据的来源信息和数据访问的规则信息。 商务术语和定义、数据拥有者信息、收费政策等 元数据的作用 元数据与数据一起，构成了数据仓库中的数据模型，元数据所描述的更多的是这个模型的结构方面的信息。 在数据仓库中，元数据的主要用途包括： 用作目录，帮助决策支持系统分析者对数据仓库的内容定义 作为数据仓库和操作性数据库之间进行数据转换时的映射标准 帮助业务人员和技术人员更好地理解当前业务和系统数据 提高系统的管理效率。 便于系统集成和可重用 访问工具 访问工具 访问工具是为用户访问数据仓库提供手段，如数据查询和报表、应用开发工具、数据挖掘工具和数据分析工具。 数据集市 数据集市(Data Mart) ，也叫数据市场。 数据集市是企业级数据仓库的一个子集 ，是为了特定的应用目的，从数据仓库中独立出来的一部分数据，也称为部门数据或主题数据。 在分析、内容、表现，以及易用性方面迎合专业用户群体的特殊需求。 在数据仓库的实施过程中，通常可以从一个部分的数据集市着手，再逐渐用几个数据集市组成一个完整的数据仓库（自底向上）。 数据仓库的组成 数据仓库管理 数据仓库管理包括安全与权限管理、数据更新跟踪、数据质量检查、元数据的管理与更新、数据仓库使用状态的检测与审计、数据复制与删除、数据分割与分发、数据备份与恢复、数据存储管理等。 信息发布系统 信息发布系统是把数据仓库中的数据或其他相关的数据发送给不同的地点和用户。基于Web的信息发布系统是当前流行的多用户访问的最有效方法。 OLTP和OLAP 联机事务处理OLTP（on-line transaction processing） 联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果. 背景 数据库系统作为数据管理手段，主要用于事务处理。在进行事务处理的同时，积累了大量的数据，传统决策支持系统一般就建立在这种事务处理环境上。 数据库技术一直在尽量胜任事务处理、批处理到分析处理，虽然在事务处理应用方面取得了成功，但分析处理的支持随着数据的增长越来越无法胜任。 结果就是将事务处理系统和分析处理系统分离，建立两个独立的系统。 OLTP OLTP 也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。 这样做的最大优点是可以即时随地处理输入的数据，及时回答。也称为实时系统(Real time System)。 衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(Response Time) 特点 OLTP支持大量并发用户定期添加和修改数据 反映随时变化的单位状态，但不保存其历史记录 具有复杂的结构。 OLAP与数据仓库的区别 OLAP