KDD的研究现状及数据相关性分析.pdfVIP

维普资讯 第 6卷 第 3期 淮 北职 业技术 学院学报 Vo1．6No．3 2007年 6月 joURNALOFHUAIBEIPROFESSIONALAND TECHNICALC0LLEGE Jun．2007 KDD的研究现状及数据相关性分析 池金玲 (淮北职业技术学 院 财经系，安徽 淮北 235000) 摘要 ：阐述什么是 KDD和 DataMining，及 目前 国外在 DataMining中研究的一部分重要 内容的概况 ，并提 出一种 用于数据预处理 的方法——相关性分析 ，它可使数据 的性质与 KDD的 目标更加紧密的相连 ，并能提取 出正确和 容 易理解的数据 ，用 于后 续的KDD分析 。 关键词 ：KDD；DataMining；相 关性 分析 ；预 处理 中图分类号 ：TP311．131 文献标识码 ：A 文章编号 ：l671—8275(2007)03—0065—02 引 言 我认为 DataMining的定义可略为扩充，从 5至 8步有 一 般而言，人们通常用各种各样 的数据库来保存各种 时在广义上都可看作是 DataMining的范畴。所 以不妨把 1 信息。长期积累下来 ，有些数据库变得非常庞大，目前数百 至 4步称为 DataMining的前处理 ，而 (8)，(9)则称作其后 万乃至数千万条记录的数据库 已比比皆是 。这些数据是一 处理 。KDD可看作一个有效的迭代和在上述任何两步之间 种宝贵的资源。但不幸 的是，我们从 中发掘所需矿物 的能 可能包含环路 的循环过程 ，KDD是一个经过用户评估 的大 力却非常有限，有时我们不得不有所取舍 ，仅能开发其 中的 闭环过程 ，DataMining是其 中的一个 内环 。在后处理的检 一 小部分而 已。 验和应用 中，若发现不一致或不合适则可 回头对前面步骤 目前的数据库系统基本上是一个检索工具 ，仅能产生 进行修改，直至得到较满意的结果 。从这一意义上来讲 ，我 一 定的检索、汇总或统计量 ，还谈不上进行理解和概括 。所 认为 DataMining可 以看作是在一个 比较确定的数据库上 ， 以传统的信息处理方法很大程度上是一种手工作业 ，通过 采用特定的数据采掘方法提取出隐含 的、未知的、有潜在应 统计方法把数据库 的大量数据简化到人类能处理和理解 的 用价值 的信息的过程 。 范围，然后 由人类专家根据经验对之进行分析、理解 ，最后 二 、DataMining在 国外的部分研 究情况 给 出相应 的结论 。但是随着海量数据库和数据仓库 的大量 1989年 AAAI组织 了一个 KDD专题研讨会 ，其论文 出现 ，用这类传统的方式进行处理显得非常费时、费力，而 集于 1991年 出版 ，标志着 KDD 的正式诞生 。之后逐渐升 且主观性很大 。因此 ，当前迫切需要更好 的方式和工具来 温 ，越来越多的研究者投身其 中。而近几年为 了处理数据 处理和发掘这些 日益庞大的数据库 。于是一个新 的研究领 仓库和 Internet上浩如烟海 的信息数据 ，象 IBM ，NASA， 域—— 数 据 库 中 的知识 发 现 (KnowledgeDiscoveryin GM ，MICROSOFT等大公司竞相投入资金推动 KDD的研 Databases简称 KDD)也就应运而生 ，并在近几年里迅速发 究及其实用化 ，因此近两年来形成一股 KDD研究热潮 。从 展起来 。这个领域实质上是智能技术与数