第2章 数据仓库和数据挖掘的OLAP技术.pptVIP

第2章 数据仓库和数据挖掘的OLAP技术 什么是数据仓库? 多维数据模型 数据仓库的系统结构 数据仓库的实现 数据立方体技术的进一步发展 从数据仓库到数据挖掘 什么是数据仓库? 1、需求产生DW 使顾客满意，不断增加利润，提高市场份额，这些是目前商业竞争的基本目标。利用IT可以使我们获得成功。 答案之一就是DW： （1）?? 公司的目标如何与信息系统结合； （2）?? 如何建立具有交叉功能的信息系统； 数据的合理组织和利用。 2、数据处理分为两大类： （1）?? 事务处理：DB联机的日常操作，对一个或一组记录的查询和修改，为 企业服务。 （2）?? 分析型处理：用于管理人员的决策分析。例如DSS、EIS和多维分析，经常要访问大量的历史数据。 3、事务处理环境不适宜DSS应用的原因 （1）?? 事务处理和分析处理的性能特性不同 （2）?? 数据集成问题（DSS需要集成的数据） a. 事务处理应用的分散； b.蜘蛛网问题； c.数据不一致问题； d.外部数据和非结构化数据。 （3）?? 数据动态集成问题：数据必须以一定的周期进行刷新。 历史数据问题。在DB中存在大量的历史数据，没有充分利用。 DW的主要驱动力是市场竞争要求捕获和分析事务的业务数据，必须把分析型数据从事务处理环境中提取出来; DW是为了建立这种新的分析处理环境而出现的一种数据存储和组织技术。 “数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程”—W. H. Inmon 什么是建立数据仓库？ 我们把建立数据仓库看作是构造和使用数据仓库的过程 数据仓库的面向主题性 数据仓库是面向在数据模型中已定义好的公司的主要主题领域的，典型的例子有顾客、产品、销售等 数据仓库主要关注DSS分析员的数据建模与分析，而不是集中于组织机构的日常操作和事务处理 数据仓库排除对于决策无用的数据，提供特定主题的简明的视图 数据仓库的集成性 数据仓库是将多个异种数据源的数据集成在一起 异种数据源包括有关系数据库、一般文件和联机事务处理记录等 数据仓库使用数据清理和数据集成技术 数据清理和数据集成技术确保多个异种数据源中命名约定、编码结构、属性度量等的一致性 例如，宾馆的价格要考虑到货币的汇率、税金、是否包括早餐等 当数据从操作型环境进入到数据仓库，已经被进行过清理和转换 数据仓库的时变性 数据仓库中的数据时间期限要远远长于操作型系统中的数据时间期限 操作型系统含有“当前值”数据，时间期限一般是60-90天 数据仓库从历史的角度提供信息，其中的数据仅仅是一系列某一时刻生成的复杂的快照，时间期限通常是5-10年 数据仓库中的键码结构 数据仓库中的关键结构，隐式或显式地包含时间元素 操作型系统的键码结构可能不包括时间元素 数据仓库是非易失的 数据仓库总是物理地、分离存放数据 数据仓库中不进行操作型环境中的数据更新 数据仓库不需要事务处理、恢复和并发控制机制 数据仓库通常只需要两种数据访问： 数据的初始化装入和数据访问 怎样建立数据仓库？ 把建立数据仓库看作是构造和使用数据仓库的过程 主题是对应某一分析领域的分析对象 DW是一个用以更好地支持企业或组织的决策分析处理的、面向主题的、集成的、不可更新的、非易失的数据集合。 实现DW要做： ??????? 从不同数据来源中如何集成数据 ????????? 数据质量：精确和简炼 数据的概括和聚集 每当数据源中创建了新数据时，如何保证DW和数据源的同步更新 在同一台计算机和RDB的平台上，当DW的DB和工具共享时如何保证性能 DW中的数据组织 在DW中的数据分为四个级别：早期细节级、当前细节级、轻度综合级、高度综合级。 源数据经过综合后，首先进入当前细节级，并根据具体需要进行进一步的综合从而进入轻度综合级及至高度综合级 数据仓库主要用于集中 存放用户需要分析的历史数据 数据仓库的逻辑结构 近期基本数据层 历史数据层 综合数据层(为决策服务) 数据仓库的物理结构 星型结构（一般使用） 雪花结构 数据仓库的特征： 面向主题 集成性 时变的 非易失的 数据仓库中的数据分类 详细型数据 过去详细数据 当前详细数据 汇总型数据 轻度汇总数据 高度汇总数据 元数据 数据仓库的主要组成部分： (1)数据源 (2)数据抽取(Extraction)、 转换(Transformation)和装载(Load)工具。 (3)数据建模工具 (4)核心仓储(Central Repositor