基于PSO算法的离群点检测方法研究及其应用.docVIP

基于PSO算法的离群点检测方法研究及其应用 中文摘要 聚类、分类和关联规则分析等数据挖掘技术实现从海量数据中抽取出共同特征和一般模式，为科学决策提供有用信息。离群点检测恰恰相反，关注的是数据集中明显偏离其他数据对象、与数据集一般特征相背离的少部分对象。这样一些潜在的离群对象可能蕴含了重要的领域知识，如信用卡欺诈、网络入侵和异常疾病等现象。因此，对离群点检测技术进行研究具有重要的现实意义。 传统的离群点检测方法存在参数设置困难、计算开销大或相似度概念失效等问题。为了克服这些问题，近期一些学者尝试将粒子群算法应用于离群点检测，取得了良好的效果，但依然存在一些缺陷。本文对如何有效地应用粒子群算法进行离群点检测进行较为深入地探讨。基于目标函数最小化的思想，分别通过保护粒子多样性来避免算法的早熟收敛和更合理定义适应值函数这两个角度出发，提出两种新的基于PSO思想的群体智能搜索算法并应用于离群点检测，改进了现有的一些研究成果。本文的主要研究包括： 1、为减缓粒子多样性随迭代深入而逐渐降低的速度，提出一种对聚集粒子进行动态扩散的改进方法(CPD-PSO)。算法结合变异机制，通过控制惯性系数和收敛因子来使粒子以较强的全局探索能力跳出局部极值点，对粒子的扩散受迭代次数和粒子聚集程度的影响。仿真实验结果表明，基于聚集粒子扩散的粒子群算法优于标准粒子群算法和其他一些改进算法。 2、在离群点检测问题中，粒子编码为对象编号和邻域半径。为将CPD-PSO算法应用于检测离群点，需对算法进行调整：将粒子相似度定义为这两个维度上的绝对差异之和，使算法仅对编号相同而邻域半径存在略微差异的部分粒子进行扩散。对若干UCI数据集的实验结果表明CPD-PSO算法较标准粒子群算法具有更好的检测效果。 3、Mohemmed等人新近提出将离群点检测转化为目标函数最小化问题的离群检测方法，并利用粒子群优化算法进行求解。通过对Yeast数据集的实验跟踪发现，该方法可能出现粒子适应值和相应对象离群度不匹配的不合理现象，本文分析了产生该现象的原因，提出一种新的适应值函数，并给出理论分析和实验对比的结果。实验表明，采用新适应值函数的检测算法优于原方法及LOF、LDOF和KNN等检测方法。 关键词：离群点检测，粒子群算法，离群度，适应值函数，聚集粒子扩散Research and Application of Outlier Detection Methods based on PSO Abstract Data mining techniques like clustering, classification and association rule analysis try to extract general models and common features from massive amounts of data. These models and features provide help for scientific decisions. On the contrary, outlier detection focuses on the minority which is obviously different from the other objects and deviates so much from general model of the data set. Such potential outliers may indicate important domain knowledge like credit card fraud, network intrusion, novel disease and so on. Hence, the research on outlier detection is of great realistic significance. Traditional outlier detection methods may encounter problems like difficulty in parameter setting, high computational overhead and meaningless definition of similarity. To overcome problems mentioned above, the scholars have recently made efforts to apply particle swarm optimization algorithm to outlier detection and achieved good effects. But there