离群点检测概述参考.pdfVIP

EXCHANGEOFEXPERIENCE经验交流 离群点检测概述 ◆宋奎勇 寇香霞 摘要：离群点检测是-3前大数据挖掘的研究热点。离群点检测在信用卡欺诈、入侵检测、医疗诊 断、工业损毁检测等领域有着重要应用。 关键词：离群点检测；大数据挖掘 一、离群点(异常)产生原因 黑色对象作为整体形成两个集体离群点，然而，每个黑色对 象个体对于整个数据集并不是离群点。 离群点是与噪声不同，噪声是随机误差引起的值的变化， o o o o o O 研究噪声并没有太大价值。而离群点是某种机制下产生的， 这种产生离群点原因是研究者关心的。 。。oo站。o。 O o — o o OO (1)数据采集或记录错误：数据在采集和记录的过程中， P o o O o o o o O 由于一些外在因素导致记录了错误的数据，如在数据采集过 o o O O O o o o 程中，由于设备异常导致采集信息不准确甚至错误；在记录 图2集体离群点 过程中，由于记录人员操作不当，导致数据记录不准确甚至 错误。 三、离群点检测方法 (2)数据的自然变异。从统计学的角度。数据集服从某 一种统计分布，如正态分布。在正态分布中，钟型曲线形状 (1)基于统计的方法。基于统计的离群点检测方法假设 由期望和方差决定，大部分数据集中在期望值附近，远离期 数据集中正常数据由某个统计模型产生，即符合一定统计分 望值的数据出现概率低，这些低概率的点最有可能是离群点。 布规律，而违背该规律的数据点就是离群点。这种假设也可 (3)数据来源于不同的类。如果一个数据对象来源于 以通过概率来描述，正常数据是在随机模型的高概率区域发 一个与其他数据对象不同的类，那么它通常会表现的异于其 生的，而离群点数据则是在模型的低概率区域。这种方法是 他数据对象。在入侵检测数据中，黑客在一定时间攻击网络， 最早用于离群点检测的，它高度依赖于给定数据的模型假定。 产生一系列攻击数据包；信用卡数据中，由于信用卡丢失或 (2)基于近邻的方法。基于近邻的离群点检测方法假 被盗等原因，他人使用信用卡引起信用卡消费数据异常。这