数据仓库和数据挖掘的OLAP技术数据挖掘概念与技术 教学ppt课件.ppt

第2章　数据仓库和数据挖掘的OLAP技术;数据仓库－数据挖掘的有效平台;　 20世纪80年代中期，“数据仓库”这个名词首次出现在号称“数据仓库之父”W.H.Inmon的《Building Data Warehouse》一书中。 　　在该书中，W.H.Inmon把数据仓库定义为“一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程”。;　　数据仓库还有许多不同的定义，如： “数据仓库是融合方法、技术和工具以在完整的平台上将数据提交给终端用户的一种手段”。 “数据仓库是对分布在企业内部各处的业务数据的整合、加工和分析的过程”。 “数据仓库是一种具有集成性、稳定性和提供决策支持的处理”。 “为查询和分析（不是事务处理）而设计的关系数据库” ;　　在众多的数据仓库定义中，公认的仍然是W.H.Inmon的定义，该定义指出了数据仓库面向主题、集成、稳定、随时间变化这4个最重要的特征。;（2）集成 　　数据仓库中存储的数据一般从企业原来已建立的数据库系统中提取出来，但并不是原有数据的简单拷贝，而是经过了抽取、筛选、清理、综合等工作。这是因为： 1） 原有数据库系统记录的是每一项业务处理的流水帐，这些数据不适合于分析处理。在进入数据仓库之前必须经过综合、计算，同时抛弃一些分析处理不需要的数据项，必要时还要增加一些可能涉及的外部数据。 2） 数据仓库每一个主题所对应的源数据在源分散数据库中有许多重复或不一致之处，必须将这些数据转换成全局统一的定义，消除不一致和错误之处，以保证数据的质量；显然，对不准确，甚至不正确的数据分析得出的结果将不能用于指导企业做出科学的决策。 3） 源数据加载到数据仓库后，还要根据决策分析的需要对这些数据进行概括、聚集处理。;（3）稳定性即非易失的 　　业务系统的数据库中一般只存储短期数据，因此在数据库系统中数据是不稳定的，它记录的是系统中数据变化的瞬态。 　　但对于决策分析而言，历史数据是相当重要的，许多分析方法必须以大量的历史数据为依托。没有大量历史数据的支持是难以进行企业的决策分析的，因此数据仓库中的数据大多表示过去某一时刻的数据，主要用于查询、分析，不像业务系统中的数据库那样，要经常进行修改、添加，除非数据仓库中的数据是错误的。;（4）随时间而变化即时变的 　　数据仓库中数据是批量载入的，是稳定的，这使得数据仓库中的数据总是拥有时间维度。从这个角度，数据仓库实际是记录了系统的各个瞬态，并通过将各个瞬态连接起来形成动画，从而在数据分析的时候再现系统运动的全过程。数据批量载入（提取）的周期实际上决定了动画间隔的时间，数据提取的周期短，则动画的速度快。;2.1.2 数据仓库与操作数据库系统的区别;OLTP 和OLAP的比较 （1/3）;OLTP 和OLAP的比较（2）;OLTP和OLAP的比较（3）;2.1.3 为什么需要一个分离的数据仓库?;2.1.4 数据仓库中的关键名词;（1）数据提取（Data Extract） 从业务数据库只需提取出系统分析必需的那一部分数据。例如，某超市确定以分析客户的购买行为为主题建立数据仓库，则我们只需将与客户购买行为相关的数据提取出来，而超市服务员工的数据就没有必要放进数据仓库。 现有的数据仓库产品几乎都提供各种关系型数据接口，提供提取引擎，从关系型数据中提取数据。; 　（2）数据转换（Data Transform） 由于业务系统可能使用不同的数据库厂商的产品，比如IBM DB2、Oracle、Informix、Sybase、 NCR Teradata、 SQL Server等，各种数据库产品提供的数据类型可能不同，因此需要将不同格式的数据转换成统一的数据格式。如时间格式“年/月/日”，“月/日/年”、“日-月-年”的不一致问题等。; 　（3）数据清洗（Data Clean） 　　所谓“清洗”就是将错误的、不一致的数据在进入数据仓库之前予以更正或删除，以免影响决策支持系统决策的正确性。; （4） 数据加载（Data Load） 数据加载部件负责将数据按照物理数据模型定义的表结构装入数据仓库，包括清空数据域、填充空格、有效性检查等步骤。 ; 2. 元数据（MetaData） “什么是元数据？”元数据是描述数据的数据。 　　　在数据仓库中，元数据是定义数据仓库对象的数据。元数据包括相应数据仓库的数据名和定义、数据提取操作时被提取数据的时间和地点以及数据清理或数据集成过程添加的字段等。它提供了有关数据