基于聚类和LOF算法的异常数据检测方法.pdfVIP

2011年 6月 伊犁师范学院学报 (自然科学版) Jun．20l1 第 2期 JournalofYiliNormalUniversity (NaturalScienceEdition) NO．2 基于聚类和LOF算法的异常数据检测方法 张 晓 (伊犁师范学院 物理与电子信息学院，新疆 伊宁 835000) 摘 要：聚类可用于异常检测，但其检查结果往往是不精准的．首先通过聚类算法DBSCAN 对数据进行异常分析，然后再利用 LOF算法对检出的异常数据进行异常程度的分析，最终得 出 异常数据集． 关键词：异常检测；聚类算法；DBSCAN；LOF 中图分类号：TP391 文献标识码：A 文章编号：l673—999x (2011)02—0048一O3 聚类算法都具有一定的异常检测能力，但大多 算法：REPEAT． 数聚类算法在进行异常检测时，都存在一个共同的 (1)从数据库中抽取一个未处理过的点； 问题，就是要采用一个全局的距离标准作为检测依 (2)IF抽出的点是核心对象； 据．而 “异常”这个概念本身就存在一定的 “局部” (3)找出所有从该点密度可达的对象，形成 特性，即与其一定范围内的邻居的分布有关．因而， 一 个簇； 只通过聚类算法得出的异常数据集是不精准的．本 (4)ELSE抽出的点是边界对象； 文首先利用 DBSCAN 算法找出初步异常数据集， (5)跳出本次循环，寻找下一个点； 然后再根据异常的局部特性，利用LOF算法分析每 (6)UNTILL所有点都被处理过． 个异常数据的局部异常程度，最终根据实际情况来 1．2 LOF算法 确定异常数据集． M．Breunig等人在基于密度 的聚类算法与异常 检测相结合的基础上，提出了局部异常因子 LOF 1 DBSCAN算法与LoF算法 (LocalOutlierFactor)的概念． 1．1 DBSCAN算法 1．2．1 局部异常的定义 该算法是通过检查数据集中每个对象的 ．邻 1．2．1．1 对象P的k一距离 (k—distance) 域来寻找聚类．如果一个对象P的 ．邻域包含多于 对任意的自然数 k，定义P的k．距离(k．distance MinPts个对象，则创建一个以P为核心对象的新簇． (P))为P和某个对象O之间的距离，这里的O满 DBSCAN 反复地寻找这些核心对象直至直接密度 足： 可达的对象．这一过程可能会涉及一些密度可达簇 (I)至少存在 k个对象O’eD＼{p)，使得 d(p， 的合并．当没有新的对象可以添加到任何簇时，算 o’)≤d(p，o)； 法结束．此时，不属于任何簇的对象为 “异常”数 (II)至多存在 k—1个对象O’cD＼{p}，使得 d(p， 据． O’)d(p，o)． DBSCAN算法描述： 1．2．1．2 对象P的k．距离邻域 (Nk．distance) 输入：包含n个对象的数据集合： 给定P的k-距离 k-distance(p)，P的k一距离邻 簇中最小数据对象数 目 (MinPts)； 域包含所有