基于粗粒度单元的离群点检测算法研究.pdfVIP

第３３卷 第６期 世界科技研究与发展 Ｖｏｌ．３３ Ｎｏ．６ 　 　 ２０１１年１２月 １０４５－１０４８页 ＷＯＲＬＤＳＣＩＴＥＣＨＲ＆Ｄ Ｄｅｃ．２０１１ ｐｐ．１０４５－１０４８ 基于粗粒度单元的离群点检测算法研究 朱庆生　王　震 （重庆大学计算机学院，重庆４０００３０） 摘　要：对现有的基于单元的算法进行改进，利用ＫＮＮ算法思想得到距离与比例参数的合理先验值，以加快离群点检测的收敛速 度；同时通过扩大单元粒度，减少了单元区域查询次数与算法的空间复杂度，从而在整体上提高了离群点的检测效率。通过实验， 验证了改进后算法的可行性，同时比较了其与原算法在不同参数下的性能优劣。 关键词：单元；离群点；数据挖掘 中图分类号：ＴＱ３１６２４１　　　文献标识码：Ａ　　　 ＲｅｓｅａｒｃｈｅｓｏｎＩｍｐｒｏｖｅｍｅｎｔＣｅｌｌｂａｓｅｄＯｕｔｌｉｅｒＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔｈｍ ＺＨＵＱｉｎｇｓｈｅｎｇ　ＷＡＮＧＺｈｅｎ （ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＣｈｏｎｇｑｉｎｇＵｎｉｖｅｒｓｉｔｙ，Ｃｈｏｎｇｑｉｎｇ４０００３０） Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｐｏｓｅｄ，ｔｈｅｏｒｉｇｉｎａｌｃｅｌｌｂａｓｅｄａｌｇｏｒｉｔｈｍｉｓｉｍｐｒｏｖｅｄｂｙｅｘｐａｎｄｉｎｇｔｈｅｇｒａｎｕｌａｒｉｔｙｏｆｔｈｅｃｅｌｌ．Ｔｈｅｐｒｏｃｅｓｓｏｆ ｏｕｔｌｉｅｒｄｅｔｅｃｔｉｏｎｉｓｏｐｔｉｍｉｚｅｄｂｙｇｉｖｉｎｇａｍｏｒｅｒｅａｓｏｎａｂｌｅｉｎｉｔｉａｌｐａｒａｍｅｔｅｒｕｓｉｎｇＫＮＮｍｅｔｈｏｄ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｏｕｔｌｉｅｒｓａｒｅｌｏｏｋｅｄｕｐｉｎｔｈｅ ｅｘｐａｎｄｅｄｃｅｌｌｔｏｒｅｄｕｃｅｔｈｅａｍｏｕｎｔｏｆｔｉｍｅａｎｄｓｅａｒｃｈｉｎｇｉｎｖｏｌｖｅｄ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｖｅｒｉｆｉｅｄｔｈｅｆｅａｓｉｂｉｌｉｔｙａｎｄｒｅｌｉａｂｉｌｉｔｙｏｆｔｈｅｉｍ ｐｒｏｖｅｄａｌｇｏｒｉｔｈｍ．Ｍｅａｎｗｈｉｌｅ，ｔｈｅｐｅｒｆｏｒｍａｎｃｅｉｎｄｅｘｅｓｏｆｉｍｐｒｏｖｅｄａｎｄｏｒｉｇｉｎａｌａｌｇｏｒｉｔｈｍｗｅｒｅｃｏｍｐａｒｅｄｔｈｒｏｕｇｈｔｈｅｅｘｐｅｒｉｍｅｎｔ． Ｋｅｙｗｏｒｄｓ：ｃｅｌｌ；ｏｕｔｌｉｅｒ；ｄａｔａｍｉｎｉｎｇ 本文结合划分单元的思路与包含离群点数据集的特点， １　引言 提出了基于粗粒度单元的离群点检测算法（ＣｏａｒｓｅＧｒａｉｎｅｄ 离群点检测作为知识发现的重要部分，被广泛的应用于 Ａｐｐｒｏａｃｈ），其基本思想是：针对数据集离群点相对孤立，而 欺诈识别、入侵检测、故障诊断恶劣天气预报等许多应用中。 非离群点相对集中的特点，一方面，结合ＫＮＮ算法思想计算 相对于知识发现的其他三个研究领域，即依赖性检测、类型 合适的初始距离与比例参数，以避免参数选择不合理而导致 ［４］ 识别、类型描述 ，离群点检测着眼于数据集中所占比例极 的离群点检测过程中的复杂收敛过程；另一方面，通过适当 小的一部分特殊数据，而这些数据却通常蕴含着一些真实 的扩大单元粒度，而以少部分点与点之间距离计算为代价， 的、又出乎意料的有价值的知识。离群点的定义最早由 来提高离群点检测的整体效率。实验表明，此算法能够快速 Ｈａｗｋｉｎｓ提出，其被描述为：离群点是一个观测值，它与其他 的检测到数据集中的基于距离的离群点，同时