第06章 数据库和数据仓库技术试卷.pptVIP

数据库的分布 从OLTP到OLAP OLAP和数据仓库 OLAP应用构建于数据仓库而非数据库之上，主要是由于以下三个技术方面的原因 ： 计算机处理速度阶跃式增长，单位字节的存储和处理成本大幅度降低，是保证数据仓库有效运行的物理基础； 决策分析理论的完善和应用使得数据仓库中的分析技术能够有效实现，使得决策人员可以直接从系统中获得需要的决策支持信息； 数据仓库系统中，数据用于支持各种分析任务，并生成多角度，多层次和不同粒度上的分析结果. OLAP中的基本概念 ⑴ 变量:从现实系统中抽象出来，用于描述数据的实际含义。 维:人们观察数据的特定角度 维的层次 类别:构成一个维的独立的数据元素，是存在于层里每一个数据。 OLAP中的基本概念 ⑵ 维的取值：也称为维的成员 度量：企业收集和存储的用于评价业务状况的数值性数据，以监测和评估企业成效。 多维数组 数据单元（单元格） 多维数组的取值称为数据单元 OLAP的基本操作 －切片（Slice） 在多维数组的某一维上选定其维成员的动作称为切片 在多维数组（维1，维2，…维n，度量）中选中某一维，如维i，并取其某一维成员（设为维成员Vi），所得的多维数组的子集（维1，维2，…维成员Vi，…维n，度量）称为在维i上的一个切片。 OLAP的基本操作 －切块（Dice） 数据切块就是将完整的数据立方体切取一部分数据而得到的新的数据立方体。 选取多维数组（维1，维2，…，维n，度量）中若干维度（通常是3个维度便于图形显示）的取值范围，从而形成了多维数据的子集（维1，维2，…，Ai 维i Bi，…，Bj 维j Bj，…，维度n，度量），这个多维数据子集被称为切块。 OLAP的基本操作 － 下钻/上卷（Drill Down/Roll Up） 数据下钻（向下钻取）是从较高的维度层次下降到较低的层次上来观察多维数据 数据上卷是下钻的逆向操作，是对数据进行高层次聚合的操作。 OLAP的基本操作 －旋转（Rotate） 数据旋转是改变维度的位置关系，使最终用户可以从其他视角来观察多维数据。 OLAP的准则(Codd 1993) 准则1：多维概念视图 准则2：透明性 准则3：存取能力 准则4：稳定的报表功能 准则5：客户机/服务器体系结构 准则6：维的等同性 准则7：动态稀疏矩阵处理 准则8：支持多用户 准则9：非限定的跨维操作 准则10：直观的数据处理 准则11：柔性报表 准则12：不受限的维与层次聚类 商务智能、多维数据分析和数据挖掘 商务智能 知识发现、数据挖掘与商务智能 20世纪80年代末，机器学习方法在数据分析中的应用导致数据库知识发现（KDD，Knowledge Discovery in Database）的产生。 20世纪90年代以来，以数据挖掘技术为核心的商务智能（知识发现在商业的应用）受到了学术界和业界的广泛关注。 数据挖掘 (Data Mining) 数据挖掘的特点 传统的决策分析技术中，都是决策人员事先给出逻辑假设和模型，而后在数据中进行检验和参数评估。 数据挖掘是数据驱动，始于纷繁复杂的海量数据，利用强大的数据分析工具和特定的知识提取方法，从数据出发，挖掘中其中有效的模式，从而获得潜在的、新颖的以及有用的知识。 数据挖掘的任务 数据挖掘的基本任务是预测（prediction）和描述(description） 预测就是利用数据中已知的变量和字段来确定一些感兴趣的未知或未来的值，如分类等。 描述则集中于寻找一种人类能够理解和解释的模式对数据进行刻画，如聚类、关联规则等。 数据挖掘的分类 按所挖掘的模式的类型将数据挖掘划分为： 概念描述（归纳或简约） 分类和预测 聚类 关联规则 其它的一些模式识别和统计方法 数据挖掘－概念描述（归纳） 概念描述与数据概化密切相关 以简洁的形式在更一般的（而不是在较低的）抽象层描述数据是很有用的 允许数据集在多个抽象层概化，便于用户考察数据的一般行为 与OLAp的区别 更为复杂的数据类型 用户控制与自动处理 数据挖掘－分类和预测 分类：给定已有的数据和类别，通过分类算法得到描述和区分数据类或概念的模型。 预测：将上述分类模型应用到要进行测试的数据上，对未来或者未知的数据进行预测。 数据挖掘－聚类分析 聚类是将一个数据集按照某个标准分成几个簇的过程。 每个簇内部的数据按照该标准具有很高相似性，而簇之间的数据的相似性很低。 聚类与分类不同 分类中，类标记事先给出，是一种监督学习的方法； 聚类没有事先给定类别，属于一种非监督的学习。 数据挖掘－关联规则挖掘 关联规则挖掘，就是对业务的所有不同类型的信息进行全面的处理，得到不同类型信息之间的相互关系，从而进一步分析