数据仓库的基本原理.pptVIP

2.3.6 清理数据仓库的数据 同任何系统一样，数据仓库系统中数据也具有自身的生命周期，数据清理是数据仓库设计人员需要重点考虑的问题之一。 数据仓库的清理与普通系统中数据清理的含义有区别。在普通的系统中，数据清理意味着将数据删除。而数据仓库系统中清理并不是简单地删除，而是从细化级别的数据逐渐上升为高级综合度的数据，直到数据已经不再具备任何意义时被清除的过程。 数据仓库中清理的过程如下： ?? 数据从操作型环境进入分析型环境； ?? 数据从细节数据逐渐转换为综合数据； ?? 数据从高速磁盘中转移到低速存储介质上； ?? 数据失去实际意义，最终被清除。 这个过程实际上也是数据在数据仓库中的生命周期。 2.4 OLAP的基本原理 2.4.1 基本概念 变量 维：与某一事件相关的因素在关系模型的抽象。 例子：客户打电话这一事件中包含客户、时间、地点、业务提供商、业务类型等 维的层次性：时间维度可以用“日”作为单位刻度，也可以使用“周”、“月”、“年”等作为时间维度的单位刻度。 维的取值： 例子：地理维由国家、省、地区3 个层次构成，则“中国福建省厦门地区”是维的一个取值。 维的分类： 例子：产品可分成“畅销”、“不畅销”。 事实：不同维度在某一取值下的交叉点，它是对事件的度量。 多维数据立方体： 例子：立方体的3 个维度分别是客户维、时间维、地理维，反映的是客户通话情况。立方体中每一个交点对应于一个事件，比如图中标明的那个点代表事件“王五于2001 年1 月1 日在北京进行了一次通话”。 2.4.1 OLAP 的基本分析动作 数据切片 多维数据是由多个维度组成的，如果在某一维度上选定一个取值，则多维数据就从n 维 下降成了n-1 维，我们称多维数组的子集（维度1、维度2、维度3……维度i，维度i+1，…..维度n，度量变量）为多维数组在维度i 上的切片。 例子：如果存在一个（时间，城市，产品，价格）的数据立方体，其中时间、城市、产品是3 个维度，价格是度量变量。在城市维上取定“上海”、“广州”，则分别形成两个在城市维上的数据切片，分别显示的是上海和广州各年各种产品的价格情况。 再如，图中右下角在产品维中取定“电视机”、“电冰箱”，则分别生成两个在产品维上的数据切片，显示的是各个城市各年份电视机和电冰箱的价格情况。 数据切块 将完整的数据立方体切取一部分数据而得到的新的数据立方体 例子：假设问题同时间维、地理维、产品维相关，指定时间维的取值为1998~2001，地理维指定为（上海、北京、广州），产品维指定为（计算机、电冰箱、电视机），则我们可以得到如图数据切块，它是原先完整的数据立方体的一部分。 数据钻取：从较高的维度层次下降到较低的维度层次上来观察多维数据。 例子：展示了一个企业在不同时间和地理上的销售量的分布情况。图中的第一张表，时间层次是“年“，如果我们选择时间维度向下钻取，得到图中的第二张表，第二张表显示的是该企业每年每季度在各个分区上的销售情况。同理，如果我们在季度层次上继续向下钻取，则得到第三张表，它显示的该企业每年、每季度、每月在各个分区上的销售情况。 数据聚合 是钻取的逆向操作 数据旋转 改变维度的位置关系，使最终用户可以从其他视角来观察多维数据。 例子：在维度层次之间进行了交换，这使得最终用户能够更好地对不同年份同时期的数据进行比较。 2.5 数据挖掘基础 2.5.1 数据挖掘的概念 在“数据矿山”中找到蕴藏的“知识金块”，帮助企业减少不必要投资的同时提高资金回报。 数据挖掘分为描述性分析（Description）和预测性分析（Prediction）。 描述性分析用于了解系统实际数据存在的特性，其目的是为了预测作准备。 包含了关联（Association）分析、序列（Sequential）分析、聚类（Clustering）分析和滤除（Distillatin）分析等方法。 预测性分析是在描述性分析得到结论的基础上对系统的发展进行估计，通过预测性分析能得到最终需要的结果，能够为决策者提供直接的依据。 分成分类（Classification）型预测和统计回归（Statistical Regression）型预测。 常用的数学模型包括：决策树（Decision Trees）模型、规则推理（Rule Induction）模型和神经元网络（Neural Networks）模型。 2.5.2描述性挖掘分析 主要有关联规则、序列模型分析、聚类分析 举关联规则例子如下： 规则：“If 条件成立，then 结论”。分有用 的、价值不高的、费解的三种。 支持度：假定有一个超市，如果88%的顾客都购买了商品A，则我们定义88%为商品A 的支持度。 可信度：假定68%的顾客购买了商品A、B 和C，则我们可以定义这样一条规则，