数据挖掘的研究与应用进展-昆明理工大学学报.PDFVIP

第 27 卷 第 5 期 昆　明　理 　工 　大 　学 　学 　报 Vol . 27 　No . 5 2002 年 10 月 Journal of Kunming University of Science and Technology Oct . 2002 数据挖掘的研究与应用进展 卢启程 ,邹 平 ( 昆明理工大学 管理与经济学院 ,云南 昆明　650093) 摘要 : 介绍了数据挖掘技术的总体研究进展 ,主要涉及数据挖掘的定义 、特点、主要过程 、主要任 务 、分类和主要技术手段 , 同时介绍了一些主要应用领域及商业产品. 结合当前数据库技术的发 展 ,分析了数据挖掘的主要发展趋势. 关键词 : 数据挖掘 ;数据库知识发现 ;发展趋势 中图分类号 :G202 文献标识码 :A 文章编号 :1007 - 855X (2002) 05 - 062 - 05 0 引 言 在社会与经济生活中,任何组织经过若干年的发展 ,都会积累海量的、以各种形式存储的数据 ,但要从 中发现有价值的信息或知识 ,改变“数据丰富 ,信息缺乏”尴尬境地 ,却是非常艰巨的. 为弥合数据与信息之 ( ) 间的鸿沟 ,数据挖掘 Data Mining 应运而生 ,使人们能从海量数据中发现感兴趣的知识 ,而这些知识是隐 含的、事先未知的信息. 1 数据挖掘与知识发现 1. 1 知识发现与数据挖掘的兴起 知识发现与数据挖掘是人工智能、机器学习与数据库技术相结合的产物. 在传统的决策支持系统中 , 知识库中的知识和规则是由专家和程序人员建立的 ,是由外部输入的. 对于那些决策者明了的信息 ,可以 用查询 、联机分析处理直接获取 ,而另外一些隐藏在大量数据中的关系 、趋势 ,是既难以发现又至关重要 ( ) ( ) 的 ,这类问题就可以用数据挖掘来处理. 知识发现的研究经历了从 ML 机器学习 到 MD 机器发现 到 ( ) KDD Knowledge Discovery in Database 基于数据库的知识发现 几个阶段. KDD 主要研究 : ①定性知识和定 量知识的发现 ; ②数据汇总 ; ③知识发现方法 ; ④数据依赖关系的发现和分析 ; ⑤发现过程中知识的应用 ; ⑥集成的交互式的知识发现系统 ; ⑦知识发现的应用. 1. 2 数据挖掘的定义 数据挖掘(Data Mining) ,又译作数据采集 ,一种公认的定义是 W . J . Frawley , G. Piatet skyShapiro 等人 提出的:数据挖掘 ,就是从大型数据库的数据中提取人们感兴趣的知识 ,这些知识是隐含的、事先未知的、 ( ) ( ) ( ) ( ) 潜在有用的信息 ,提取的知识可表示为概念 Concept s 、规则 Rules 、规律 Regularities 、模式 Patterns 等 形式. 此定义把数据挖掘的对象仅定义为数据库. 广义地讲 :数据挖掘是在一些事实或观察的集合中寻找 模式的决策支持过程. 也就是说 ,数据挖掘的对象不仅是数据库 ,也可以是文件系统 ,或其它任何数据集 合. 从数据挖掘的定义可以看出 ,数据挖掘和数据库知识发现 KDD 具有很大的重合度 ,甚至许多学者认 ( ) 为数据挖掘和数据库知识发现是等价的概念 ,人工智能 A I 领域习惯称 KDD ,而数据库领域习惯称数据 挖掘. 长期以来 ,在知识发现领域这两个术语的范畴和使用界限一