第4章 数据仓库基本原理.ppt

本章目标 随着信息技术的不断推广和应用，许多企业都已在使用MIS系统处理管理事务和日常业务，积累了大量信息 企业管理者开始考虑如何利用这些海量信息为企业管理提供决策支持。因此，产生了与传统数据库有很大差异的数据环境要求和从这些海量数据中获取特殊知识的深层需求。 这种需求加上计算机软硬件能力的飞速发展，导致了数据仓库和数据挖掘技术的出现。 本章目标 本章目标是： 了解数据仓库的定义和特点 了解数据仓库的数据组织方式 理解数据仓库的体系结构和参照结构 了解数据仓库管理员的作用和常用工具集 目 录 1 数据仓库的起源 2 数据仓库的定义和特点 3 与数据仓库相关的几个概念 4 数据仓库的数据组织 5 数据仓库的体系结构 6 数据仓库的层次结构 7 数据仓库管理员 8 数据仓库常用工具集 练 习 1. 数据仓库的起源 1.1 数据库技术的发展 60年代早期：利用文件系统，生成各种报告 60年代中期：大量的文件使得维护和开发的复杂性提高，数据的同步亦成问题 70年代早期：E. F. Codd提出关系数据模型和E-R数据建模方法，数据库技术日趋成熟 70年代中期：高性能的OLTP应用越来越广泛 1. 数据仓库的起源 1.1 数据库技术的发展 80年代早期：OLTP，MIS/DSS，以IBM的“Information Warehouse”为代表，提出了数据仓库的思想 80年代中期：由于技术和实现费用的原因，数据仓库思想没有引起太多注意 90年代：以W.H.Inmon为代表，数据仓库(Data Warehouse)迅速兴起 = OLAP，DM，OLAM 1. 数据仓库的起源 1.2 从传统数据库到数据仓库 随着市场竞争的加剧，信息系统的用户已经不满足于仅仅用计算机处理每天所发生的事务数据，而是需要利用信息辅助管理决策过程。这就需要一种能够将日常业务处理中所收集到的各种数据转变为具有商业价值信息的技术，而传统的数据库系统无法承担这一责任，主要表现在决策处理中的系统响应问题、决策数据需求问题和决策数据操作问题，等等。 数据仓库与传统数据库的对比 2. 数据仓库的定义和特点 Prism Solutions公司创始人之一的W.H.Inmon在《Building the Data Warehouse》一书中对“数据仓库(DW)”定义如下： 数据仓库是一个面向主题的、集成的、随时间变化的、非易失性的数据集合，用于支持管理决策过程。 2. 数据仓库的定义和特点 数据仓库特点： 面向主题性 数据集成性 数据的时变性 数据的非易失性 数据的集合性 支持决策作用 5. 数据仓库的体系结构 5.1 数据仓库的概念结构 从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。 5.2 数据仓库的虚拟结构 虚拟数据仓库利用描述业务系统中数据位置和抽取数据算法的元数据，直接从业务系统中抽取查询的数据，进行概括、聚合操作后，将最终结果提供给用户 5.3 数据集市 在为企业建立数据仓库时，开发人员必须针对所有的用户、从企业的全局出发，来对待企业需要的任何决策分析。这样建立数据仓库就成了一个代价高、时间长、风险大的项目。 因此，更加紧凑集成、拥有完整应用工具、投资少、规模小的数据集市（Data Market）就应运而生。 数据集市也称为面向应用的数据仓库，是一种更小、更集中的数据仓库，可以为企业提供分析商业数据的一条廉价途径。 数据集市是具有特定应用的数据仓库，主要针对某个具有战略意义的应用或具体部门级的应用。 它支持客户利用已有的数据获得重要的竞争优势，或找到进入新市场的整体解决方案。 5.4 单一数据仓库结构 将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。 5.5 分布式数据仓库结构 在企业各个分公司具有相当大的独立性时，企业总部设置一个全局数据仓库，各个分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据 6. 数据仓库的层次结构 数据仓库的基本功能层包含：数据抽取，数据筛选、清洗，清洗后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。 数据仓库的管理层：分为数据管理与元数据管理两部分，主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。 环境支持层：包含数据传输和数据仓