离群点检测方法研讨.pdfVIP

II 摘要 摘 要 离群数据挖掘就是从大量复杂的数据集中发现存在于小部分异常数据中的 新颖的、与常规数据模式显著不同的新的数据模式。从数据挖掘的角度来看， 在一些应用中，稀有事件往往比常规事件更令人感兴趣。例如，错误数据的查 找，金融、通信领域的欺诈分析，网络入侵的检测，消费极高或极低收入的客 户行为的分析等。因此，离群数据挖掘方法的研究具有十分重要的意义。 本文在研究了数据挖掘相关理论的基础上，对离群点检测及高维及高维空 间上的离群点检测算法进行了分析研究。首先研究分析了离群点的定义，对离 群数据挖掘算法的研究现状进行了分类评述。基于距离的离群数据挖掘方法因 为接近Hawkins 的离群数据本质定义且直观、易于理解，在实际中应用得较多， 本文分析研究了两种基于距离的离群点检测算法-嵌入式循环离群点检测算法和 基于空间索引的离群点检测算法，并通过实验对这两种算法进行了比较。 遗传算法是一种建立在生物进化基础上，基于自然选择和种群遗传机理的 搜索算法，它模拟了自然选择和自然遗传过程中发生的选择、交叉和变异现象。 本文研究了遗传算法的相关理论，深入研究分析了一种基于遗传算法的高维离 群点检测算法，并对该算法进行了改进，将异常候选集引入该算法，提出了改 进后的基于遗传算法的高维离群点检测算法，提高了离群点检测的精度，并通 过实验证明了改进算法的有效性。 关键词：数据挖掘；离群数据；遗传算法；交叉；变异 I Abstract Abstract Outlier data mining is a method for the finding of novel data model from a mass of data, which is existing in a small portion of abnormal data, and significantly different from conventional data model. For data mining, rare events are more attractive than conventional events in some applications, for instance, the search of incorrectness data, fraud analysis in financial and communication areas, detection of network intrusion, the analysis of customer behavior, which has extremely high consume or low income, etc. Therefore, the studying of outlier data mining method is very important. In this paper, based on the study of relevant data mining theories, high dimensional or high dimensional space outlier detection algorithm was analyzed. First, the definition of outlier was studied, and current research of outlier data mining algorithm was separately reviewed. The outlier data mining method, based on distance, was used in man