数据仓库和数据挖掘的OLAP技术(武汉大学李春葆).pptxVIP

第2章　数据仓库和数据挖掘的OLAP技术;数据仓库－数据挖掘的有效平台。;　 20世纪80年代中期，“数据仓库”这个名词首次出现在号称“数据仓库之父”W.H.Inmon的《Building Data Warehouse》一书中。 　　在该书中，W.H.Inmon把数据仓库定义为“一个面向主题的、集成的、稳定的、随时间变化的数据的集合，以用于支持管理决策过程”。;　　数据仓库还有许多不同的定义，如： “数据仓库是融合方法、技术和工具以在完整的平台上将数据提交给终端用户的一种手段”。 “数据仓库是对分布在企业内部各处的业务数据的整合、加工和分析的过程”。 “数据仓库是一种具有集成性、稳定性和提供决策支持的处理”。 “为查询和分析（不是事务处理）而设计的关系数据库” ;　　在众多的数据仓库定义中，公认的仍然是W.H.Inmon的定义，该定义指出了数据仓库面向主题、集成、稳定、随时间变化这4个最重要的特征。;（1）面向主题 　　主题就是在一个较高的管理层次上对信息系统的数据按照某一具体的管理对象进行综合、归类所形成的分析对象。如顾客、供应商、产品和销售组织等。 　　从数据组织的角度看，主题是一些数据集合，这些数据集合对分析对象作了比较完整的、一致的描述，这种描述不仅涉及到数据自身，而且涉及到数据之间的关系。 　　面向主题的数据组织方式，就是在较高层次上对分析对象的数据的一个完整、一致的描述，能完整、统一地刻画各个分析对象所涉及的企业的各项数据，以及数据之间的联系。;（2）集成 　　数据仓库中存储的数据一般从企业原来已建立的数据库系统中提取出来，但并不是原有数据的简单拷贝，而是经过了抽取、筛选、清理、综合等工作。这是因为： 1） 原有数据库系统记录的是每一项业务处理的流水帐，这些数据不适合于分析处理。在进入数据仓库之前必须经过综合、计算，同时抛弃一些分析处理不需要的数据项，必要时还要增加一些可能涉及的外部数据。 2） 数据仓库每一个主题所对应的源数据在源分散数据库中有许多重复或不一致之处，必须将这些数据转???成全局统一的定义，消除不一致和错误之处，以保证数据的质量；显然，对不准确，甚至不正确的数据分析得出的结果将不能用于指导企业做出科学的决策。 3） 源数据加载到数据仓库后，还要根据决策分析的需要对这些数据进行概括、聚集处理。;（3）稳定性即非易失的 　　业务系统的数据库中一般只存储短期数据，因此在数据库系统中数据是不稳定的，它记录的是系统中数据变化的瞬态。 　　但对于决策分析而言，历史数据是相当重要的，许多分析方法必须以大量的历史数据为依托。没有大量历史数据的支持是难以进行企业的决策分析的，因此数据仓库中的数据大多表示过去某一时刻的数据，主要用于查询、分析，不像业务系统中的数据库那样，要经常进行修改、添加，除非数据仓库中的数据是错误的。;（4）随时间而变化即时变的 　　数据仓库中数据是批量载入的，是稳定的，这使得数据仓库中的数据总是拥有时间维度。 从这个角度，数据仓库实际是记录了系统的各个瞬态，并通过将各个瞬态连接起来形成动画，从而在数据分析的时候再现系统运动的全过程。数据批量载入（提取）的周期实际上决定了动画间隔的时间，数据提取的周期短，则动画的速度快。;2.1.2 数据仓库与操作数据库系统的区别;OLTP 和OLAP的比较 （1/3）;OLTP 和OLAP的比较（2）;OLTP和OLAP的比较（3）;2.1.3 为什么需要一个分离的数据仓库?;不同的功能和不同的数据: 历史数据：决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护。 数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）。 数据质量：不同的源使用不一致的数据表示、编码和格式，对这些数据进行有效的分析需要将他们转化后进行集成。;2.1.4 数据仓库中的关键名词;（1）数据提取（Data Extract） 从业务数据库只需提取出系统分析必需的那一部分数据。例如，某超市确定以分析客户的购买行为为主题建立数据仓库，则我们只需将与客户购买行为相关的数据提取出来，而超市服务员工的数据就没有必要放进数据仓库。 现有的数据仓库产品几乎都提供各种关系型数据接口，提供提取引擎，从关系型数据中提取数据。; 　（2）数据转换（Data Transform） 由于业务系统可能使用不同的数据库厂商的产品，比如IBM DB2、Oracle、Informix、Sybase、 NCR Teradata、 SQL Server等，各