一种离群数据集延伸知识发现框架.pdfVIP

华 南 理 工 大学 学 报 (自然科 学版 ) JournalofSouthChinaUniversityofTechnology Vo1．36 NO．9 第 36卷 第9期 ． 2008年9月 (NaturalScienceEdition) September 2008 文章编号：1000-565X(2008)09—0031—06 一 种离群数据集延伸知识发现框架木 金义富 朱庆生 (重庆大学 计算机学院，重庆400044) 摘 要：现有离群数据研究主要集中于离群检测．为了对离群数据的来源、分类、含义、行 为特征以及离群趋势等进行全面分析，以现有离群挖掘技术为基础，结合 已提出的离群约 简与关键域子空间等一系列概念及其搜索算法，定义了离群最近邻、原子离群类及离群变 异类等概念，提 出了离群簇分析及离群趋势分析方法，建立了一种完整的离群数据集特征 描述及延伸知识发现的整体框架．通过对移动通信业务数据的离群分析进行具体讨论，表 明了这种离群延伸知识发现框架在实际应用中的有效性． 关键词：数据挖掘；离群分析；关键域子空间；知识发现框架 中图分类号：TP311 文献标识码：A 离群数据检测是数据挖掘的重要组成部分．在 对每一种离群数据进行聚类分析，以及对时序数据 数据空间中，离群点是那些远离常规对象 的数 的离群趋势进行分析等． 据 ‘，表现为与多数常规对象有 明显差异，以至于 现有离群数据研究主要集 中于离群数据挖 被怀疑可能是 由另外一种完全不同的机制产生．离 掘 ，且其挖掘的 目的仅仅是为了去除被发现的 群点对常规数据挖掘算法会产生严重的影响 ．离 离群对象以获得更好的数据质量，为常规数据挖掘 群点可能是在数据形成过程 中出现的错误所导致 ， 与分析提供更稳定、更可靠的结果，较少对挖掘出的 这类数据一般可以剔除或以某种方法进行替换 ；但 离群数据作进一步的研究．虽然对离群数据集进行 离群点也可能表明的是一些并非错误的特殊情况， 准确完整的分析不可避免地要具备足够的问题领域 其中可能蕴含着极其重要的信息，如在信用卡欺诈 知识，但从数据集及离群点在属性域子空间中的分 检测、通信盗用及网络入侵检测等领域中，离群点是 布特性等方面进行研究，可 以获得相当丰富的关于 数据分析的主要对象 ；在疾病诊断、天文观察乃 离群点的扩展知识． 至所有科学研究领域，离群数据对象可能预示着一 文中以现有离群挖掘算法为基础 ，结合 已提出 种新的视角 ，从而导致新理论或新应用 的出现．显 的离群约简及关键域子空间等一系列概念 ，以及相 然，应该对这类离群点作进一步的分析，以获取从常 应的离群约简及关键域子空间搜索算法 、离群数据 规模式不能得到的新知识．因此，对离群数据集的研 聚类算法 j，对关键域子空间进行分类讨论，定义 究包含如下两个方面： 了离群最近邻、原子离群类及离群变异类等概念，提 (1)离群数据挖掘．从数据集 中挖掘 出离群对 出离群簇分析及离群趋势分析方法，建立一种完整 象形成离群数据集是研究的前提． 的离群数据集特征描述及延伸知识发现的框架 (2)离群数据分析．对挖掘出的离群数据进行 (CEKDO)，以期对离群数据 的分类 、来源 、含义 、行