网格环境下的分式离群数据挖掘方法研究.pdf

I f I rlllfIIIfllIIflrllffl lIII fllf Y1789511 中 文 摘 要 离群数据是数据挖掘的重要研究内容之一，是发现数据集中明显与其他数据 行为不一致的对象，在许多邻域有着，。泛的应用，例如：网络入侵检测、信用卡 欺诈、天气预报监测等。但随着分布、异构、海量数据集的大量出现，采用集中 式方法将无法满足实际需求。本文，针对两种不同的数据集分割(水平划分和垂 直划分)，采用网格作为分布式计算平台，对离群数据分饰式挖掘算法进行了研 究，其主要研究工作如下： (1)网格环境下的离群数据分布式挖掘算法。该算法针对数据集的垂直分割， 首先采用局部离群因子LOF，在各个分节点上，计算数据对象之fBJ的局部距离； 其次，在主节点上，利用网格服务合并生成MinPts距离邻域，从而完成KNN查 询过程；然后，将MinPts距离邻域传回分节点，完成LOF值的计算；最后，采 用KDDCUP99作为数掘集，实验结果验证了算法的有效性。 (2)基于微粒群和子空fHJ的离群数据分布式挖掘算法。该算法针对数据集的 水平分割，以基于微粒群和子空l、日J的离群数据挖掘(OM—PSO)为基础，在各个分 节点上计算局部稀疏子空问，将各个局部稀疏子空间及在局部稀疏子空fHJ中的数 据个数传输到主节点上；利用网格服务将各个相同的局部稀疏子空间，合并生成 全局子空间，计算各个全局子空InJ的适应值，通过适应值阈值的判断，确定全局 稀疏子空问，并确定离群数据；采用离散化的天体光谱数据作为数据集，实验验 证了算法的有效性。 关键字：离群数据，网格，LOF，KNN，0M—PSO，稀疏子空间 ABSTRACT Outlier isoneofthemost research Mining，which importanttopics indata discover which。are inconsistentwith mining，can objects other datas’behaviorindata is in sets，and appliedmanyfields，for example， internet cards instrusion，credit forecast cheat，weather etc．However,with the of appearance data distributed，heterogeneous，mass sets，using centralized methodcannotmeetthe of requirement