第11章数据仓库与数据挖掘技术.pptVIP

第11章 数据仓库与数据挖掘技术 11.1 数据仓库概述 11.2 数据仓库与操作数据库系统的区别 11.3 数据仓库的结构 11.4 数据仓库系统的结构 11.5 数据仓库开发 11.6 从数据仓库到数据挖掘 11.7 数据挖掘 11.8 小结 11.1 数据仓库概述 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。 11.1.1 数据仓库概念 数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策。 11.1 数据仓库概述 11.1.2 数据仓库的特征 面向主题的 集成的 相对稳定的 反映历史变化 11.2 数据仓库与操作数据库系统的区别 11.3 数据仓库的结构 数据仓库结构包括当前基本数据、历史基本数据、轻度综合数据、高度综合数据和元数据。 当前基本数据是最近时期的业务数据，是数据仓库用户最感兴趣的部分，数据量大。当前基本数据随时间的推移，由数据仓库的时间控制机制转为历史基本数据。 轻度综合数据是从近期基本数据中提取出的，这层数据是按时间段选取，或者按数据属性（attributes）和内容（contents）进行综合。高度综合数据层这一层的数据是在轻度综合数据基础上的再一次综合，是一种准决策数据。 11.4 数据仓库系统的结构 数据仓库系统由数据仓库（DW）、仓库管理和分析工具三部分组成。结构如图11-1所示： 11.5 数据仓库开发 11.5.1数据仓库开发过程 数据仓库的开发过程分为4个阶段12个步骤，如图11-2所示： 11.6 从数据仓库到数据挖掘 数据仓库与数据挖掘之间有着非常密切的关系。将数据挖掘技术扩充到它的数据仓库系统环境中，可以增强客户的决策支持能力。数据挖掘是建立在数据仓库之上的决策支持技术。 开始，数据仓库主要用于产生报告和回答预先定义的查询。渐渐地，它用于分析汇总的和细节的数据，结果以报告和图表形式提供。稍后，数据仓库用于决策，进行多维分析和复杂的切片和切块操作。最后，数据仓库可能用于知识发现，并使用数据挖掘工具进行决策。在这种意义下，数据仓库工具可以分为存取与检索工具、数据库报表工具、数据分析工具和数据挖掘工具。 11.6 从数据仓库到数据挖掘 另一种更广泛的观点可能被接受：数据挖掘包含数据描述和数据建模。由于OLAP系统可以提供数据仓库中数据的一般描述，OLAP的功能基本上是用户指挥的汇总和比较（通过上、下钻，旋转，切片，切块和其它操作）。这些尽管有限，但都是数据挖掘功能。同样根据这种观点，数据挖掘的涵盖面要比简单的OLAP操作宽得多，因为它不仅执行数据汇总和比较，而且执行关联、分类、预测、聚类、时间序列分析和其它数据分析任务。 数据挖掘不限于分析数据仓库中的数据。它可以分析现存的、比数据仓库提供的汇总数据粒度更细的数据。它也可以分析事务的、文本的、空间的和多媒体数据，这些数据很难用现有的多维数据库技术建模。在这种意义下，数据挖掘涵盖的数据挖掘功能和处理的数据复杂性要比OLAP大得多。 11.7 数据挖掘 简单的说，数据挖掘就是从存放在数据库及数据仓库或其他信息库中大量数据中获取有效的、潜在有用的信息和知识的一种新技术。 11.7.1 数据挖掘概述 技术上的定义 数据挖掘（Data Mining）就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。 商业角度的定义 数据挖掘是一种新的商业信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理，从中提取辅助商业决策的关键性数据。 11.7.1 数据挖掘概述 数据挖掘与传统分析方法的区别 11.7.2 数据挖掘的模式类型 分类模式(Classification ) 聚类模式(Clustering ) 回归模式(Regression) 关联模式(Association ) 序列模式（Sequential) 偏差模式(Deviation) 11.7.3 数据挖掘的方法 关联规则挖掘 决策树方法 神经网络方法 遗传算法 粗集方法 11.7.4 数据挖掘的应用 数据挖掘解决的商业领域的应用 在电信业中的应用 在银行、金融、证券、