数据挖掘复习资料.docVIP

PAGE1

PAGE7

TOC\o1-3\h\z\u第1章数据挖掘概述 1

第2章数据采集集成与预处理技术 2

第3章多维数据分析与组织 5

第4章预测模型研究与应用 6

第5章关联规则模型及应用 8

第6章聚类分析方法与应用 8

第7章粗糙集方法与应用 8

第八章 9

第九章 10

第十章 10

第十一章 10

第1章数据挖掘概述

数据仓库（DataWarehouse,DW）属于一种高层管理的新型数据库技术。

数据仓库通常是一个面向主题的、集成的、相对稳定的、反映历史变化的数据的集合，用以支持经营管理中的决策制定过程。

1.1.2数据挖掘的定义与解释

数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。

1.2数据仓库系统的相关技术

数据仓库系统中主要包括：数据仓库、数据挖掘、联机分析处理、KDD和相关的数据集成、数据标准化、数据仓库建模技术、数据挖掘技术与方法、数据集市、可视化技术、自然语言解释、人机交互、知识发现与知识推理、网络集成技术等研究内容。

1.4.2数据挖掘的相关技术与工具

数据挖掘的相关技术

预测技术人工智能技术

关联规则技术决策树技术

聚类分析技术统计分析方法

粗糙集技术知识获取、知识表示、知识推理和知识搜索技术

进化计算技术决策与控制理论

灰色系统技术可视化技术

模糊逻辑技术并行计算技术和海量存储

1.4.3数据挖掘应用及发展

针对特定领域的应用，人们开发了许多专用的数据挖掘工具，包括天文学、生物医学、医疗保健、DNA分析、银行、金融、零售业和电信业等。

评价数据挖掘工具的标准

产生模式种类的数量

解决复杂问题的能力

扩展性和与其他产品的接口

并行计算

数据存取能力

数据处理能力

模型算法多样性和完备性

自动建模能力

易操作性和可视化技术

第2章数据采集集成与预处理技术

2.1数据采集的对象

1.时序数据

所谓时间序列类型数据就是按照时间先后顺序排列各个观测记录的数据集。

2.Web数据

Web挖掘与传统的数据挖掘相比有许多独特之处：

Web挖掘的对象是大量异质分布的Web文档。

Web在逻辑上是一个由文档节点和超链接构成的图，因此Web挖掘所得到的模式可能是关于Web内容的，也可能是关于Web结构的。

由于Web文档本身是半结构化或无结构的且缺乏机器可理解的语义，而传统数据挖掘的对象局限于数据库中的结构化数据并利用关系表格等存储结构来发现知识，因此有些数据挖掘技术并不适用于Web挖掘。即使可用也需要建立在对Web文档进行预处理的基础之上。

Web挖掘可分为三类：

Web内容挖掘：是从文档内容或其描述中抽取知识的过程。

Web结构挖掘：是从WWW的组织结构和链接关系中推导知识的过程。

用户访问模式挖掘。

2.1数据采集的对象

3.多媒体数据

多媒体数据挖掘（MultimediaDataMining,MDM）是目前国际上数据库、多媒体技术和信息决策领域最前沿的研究方向之一，是数据挖掘的一个新兴且富有挑战性的领域。

4.空间数据

空间数据挖掘（SpatialDataMining,SDM）是指从空间数据库中提取出用户感兴趣的空间模式与特征、空间与非空间数据的普遍关系及其他的一些隐含在数据库中的普遍的数据特征。

2.2数据集成技术与方法

数据集成是将多个数据源中的数据（如数据库、数据立方体或一般文件）结合起来存放到一个一致的数据存储（如数据仓库）中的一种技术和过程。

2.2数据集成技术与方法

2.2.13G与MIS的集成模式

2.2.2异构数据集成的设计与实现

2.2.13G与MIS的集成模式

2.3数据预处理技术与方法

数据预处理流程如图所示

2.3数据预处理技术与方法

数据清理是数据准备过程中最花费时间、最乏味的，但也是最重要的一步。

初始获得的数据主要有以下几种情况需要处理：

含噪声数据

错误数据

缺失数据

冗余数据

2.3.2数据融合的方法

数据融合，即把数据融合的思想引入到数据预处理的过程中，加入数据的智能化合成，产生比单一信息源更准确、更完全、更可靠的数据进行估计和判断，然后存入到数据仓库或数据挖掘模块中。

常见的数据融合方法见下表

数据融合方法分类