数据与数据挖掘-1要点解析.pptVIP

变量 ：变量是数据的实际意义，即描述数据“是什么”，例如“商品销售额”，往往也是待分析的内容。 维：维是人们观察数据的特定角度。如产品维、顾客维、时间维等。 维的层次：数据的细节不同程度为维的层次。如日、月、季、年是时间维的层次。 维成员：维的一个取值称为该维的一个维成员。如“某年某月某日”是时间维的一个成员。 多维数组：一个多维数组可以表示为：（维1，维2，……，维n，变量）， 一个4维数组结构举例，（产品，地区，时间，销售渠道，销售额）。 数据单元（单元格）：多维数组的取值称为数据单元，如，4维数据单元（牙膏，上海，1998年12月，批发，销售额为100000元）。 （1）OLAP的基本概念术语 切片和切块（Slice and Dice）：根据维的限定作投影、选择等数据库操作，从而获取相应数据 旋转（Pivoting）：将表格（维）的横纵坐标交换 钻取：上钻（Roll up）和下钻（Roll down），根据维的层次提升所关心的数据或降低观察层次 （2）OLAP基本分析功能 例如，以“产品、城市、时间”三维数据，如图 对三维数据，通过“切片” ，分别从城市和产品等不同的角度观察销售情况： 切片 切块 （1）在多维数组的某一个维上选定某一区间的维成员的操作 切块可以看成是在切片的基础上，确定某一个维成员的区间得到的片段，也即由多个切片叠合起来。 （2）选定多维数组的一个三维子集的操作 在多维数组（维1，维2，……，维n，变量）中选定3个维，维i、维j、维k，在这3个维上分别取一个区间，或任意维成员，而其它维都取定一个维成员。 三维数据切块 钻取 钻取有向下钻取（drill down ）和向上钻取（drill up ）操作。 向下钻取是使用户在多层数据中能通过导航信息而获得更多的细节性数据。 向上钻取获取概括性的数据。 例如，2005年各部门销售收入表如下： 对时间维进行下钻操作，获得新表如下： 2005年 部门 1季度 2季度 3季度 4季度 部门1 200 200 350 150 部门2 250 50 150 150 部门3 200 150 180 270 旋转 通过旋转可以得到不同视角的数据。旋转操作相当于平面数据将坐标轴旋转。例如，旋转可能包含了交换行和列，或是把某一个行维移到列维中去。 或是把页面显示中的一个维和页面外的维进行交换（令其成为新的行或列中的一个） 旋 转 时间维 产品维 产品维 时间维 （a） 行列交换 旋转以改变 显示布局 时间维 地区维 产品维 时间维 产品维 地区维 旋转前的数据 实例 旋转后的数据 旋转后再切片 （3）OLAP分析模型 如何用OLAP分析数据的思路 绝对模型 解释模型 思考模型 公式模型 绝对模型 通过比较历史数据值或行为来描述过去发生的事实。 绝对模型只能对历史数据进行比较，并且利用回归分析等一些分析方法得出趋势信息。 解释模型 利用系统已有的多层次的综合路径层层细化，找出事实发生的原因。 假设今年销售量下降，那么解释模型应当能找出原因，即下滑与时间、地区、商品及销售渠道四者中的何种因素有关。 思考模型 说明在一维或多维上引入一组具体变量或参数后将会发生什么。 What-If 分析。 例如该公司决策者为了解某商品的销售量是否与顾客的年龄有关，引入了行变量－年龄，即在当前的多维视图上增加了顾客的年龄维。 公式模型 该模型表示在多个维上，需要引入哪些变量或参数，以及引入后所产生的结果。 公式模型自动完成上述变量引入工作，从而最终找出与销量有关的全部因素，并给出了引入后的结果。 （六）数据仓库的开发流程 启动项目 建立技术环境 设计分析主题，进行数据建模 设计数据仓库中的数据库 开发数据转换程序 管理元数据 开发用户决策的数据分析应用软件 管理数据仓库环境 * * SAS软件研究所观点： 数据仓库是一种管理技术，旨在通过通畅、合理、全面的信息管理，达到有效的决策支持。 2. 数据仓库特点 面向主题 集成性 非易失性（稳定性、非活性） 随时间变化 （1）面向主题 数据仓库的面向主题与数据库的面向应用相对应。 主题是在较高层次上进行数据归类的标准，每一个主题基本对应一个宏观的分析领域。 例如，银行的数据仓库的主题：客户 DW的客户数据来源： 从银行储蓄DB、信用卡DB、贷款DB等三个DB中抽取同一客户的数据整理而成。 在DW中分析客户数据，可决定是否继续给予贷款。 数据进入数据仓库之前，必须经过加工与集成。 对不同的数据来源进行统一数据结构和编码。统一原始数据中的所有矛盾之处，如字段的同名异义，异名同义，单位不统一，字长不一致等，将原始数据结构做一个从面向应用到面