异常检测算法综述.pptVIP

异常检测算法综述 异常探测简介 异常探测是数据挖掘中一个重要方面，用来发现”小的模式”(相对于聚类)，即数据集中间显著不同于其它数据的对象。 异常探测应用 电信和信用卡欺骗 贷款审批 药物研究 气象预报 金融领域 客户分类 网络入侵检测等 什么是异常（outlier）？ Hawkins(1980)给出了异常的本质性的定义：异常是在数据集中与众不同的数据，使人怀疑这些数据并非随机偏差，而是产生于完全不同的机制。 聚类算法对异常的定义：异常是聚类嵌于其中的背景噪声。 异常探测算法对异常的定义：异常是既不属于聚类也不属于背景噪声的点。他们的行为与正常的行为有很大不同。 异常探测方法的分类 基于统计（statistical-based)的方法 基于距离 (distance-based)的方法 基于偏差(deviation-based)的方法 基于密度(density-based)的方法 高维数据的异常探测 基于统计的方法 假设给定的数据集服从一个随机分布（如正态分布等），用不一致性测试（discordancy test）识别异常。 存在问题 在许多情况下，用户并不知道这个数据分布。而且现实数据也往往不符合任何一种理想状态的数学分布； 即使在低维（一维或二维）时的数据分布已知，在高维情况下，估计数据点的分布是极其困难的。 基于距离的方法 Knorr和Ng（VLDB’1998）提出一种基于