离群点分析报告.pptxVIP

离群点分析; ;第1节 离群点的简介;数据行为不一致的离群点，往往预示着欺诈行为，因此成为执法者所关注的。此外，在销售中确定极高和极低收入的客户的销售行为，或者在医疗分析中发现对各种医疗处置的不寻常的反应。 1.4 离群点检测遇到的困难 第一，?在时间序列样本中发现离群点一般比较困难，因为这些离群点可能会隐藏在趋势、季节性或者其他变化中； 第二，?对于维度为非数值型的样本，在检测过程中需要多加考虑，比如对维度进行预处理等； 第三，?针对多维数据，离群点的异常特征可能是多维度的组合，而不是单一维度就能体现的。 ;第2节 离群点的检测方法;2.1.1 不和谐检验 不和谐检验需要检查两个假设：工作假设和备择假设。 工作假设H，假设n个对象的整个数据集来自一个初始的分布模型F，即： 不和谐检验就是检查对象 关于??布F是否显著地大（或小）。 如果某样本点的某个统计量相对于数据分布的是显著性概率充分小，那么我们则认为该样本点是不和谐的，工作假设被拒绝，此时备用假设被采用，它声明该样本点来自于另一个分布模型。如果某个样本点不符合工作假设，那么我们认为它是离群点。如果它符合某个备择假设，那么它就是符合这一备择假设分布的离群点。 ;例1 假如我们设儿童上学的具体年龄总体服从正态分布，所给的数据集是某地区随机选取的开始上学的20名儿童的年龄具体的年龄特征如下: 年龄={6,7,6,8,9,10,8,11,7,9,12,7,11,8,13,7,8,14,9,12} 那么.相应的统计参数是: 均值=9.1; 标准差=2.3 如果选择数据分布的阈值为： 阈值=均值±2×标准差 则在[4.5 ,13.7]区间以外的数据都是潜在的离群点， 将最大值取整为13。所以年龄为14的孩子可能是个例外。而且由均值可知，此地的孩子普遍上学较晚.教育部门以后可据此作一些政策上的改进。 ;2.1.2 基于统计分布的离群点检测的优缺点 优点 建立在非常标准的统计学原理之上，当数据和检验的类型十分充分时，检验十分有效。 缺点 第一，?绝大多数检验是针对单个属性的，不适合多维度空间，这也是一个主要的缺点； 第二，?需要预先知道样本空间中数据集的分布特征，而这部分知识很可能是在检测前无法获得的，就不能确保所有的离群点被发现。;2.2 基于距离的离群点检测;（2）嵌套—循环算法 嵌套一循环算法和基于索引的算法有相同的计算复杂度，但是它避免了索引结构的构建，它把内存的缓冲空间分为两半，把数据集合分为若干个逻辑块。通过精心选择逻辑块装入每个缓冲区域的顺序，能够提高效率。 （3）基于单元的算法 基于单元的算法中，数据空间被划为边长等于?dmin?/(? )的单元。每个单元有两个层围绕着它。第一层的厚度是一个单元，而第二层的厚度是 。该算法逐个单元地对离群点计数，而不是逐个对象地进行计数。 2.2.3 基于距离的离群点检测的优缺点 基于距离的方法与基于统计的方法相比，不需要用户拥有任何领域知识，与序列异常相比，在概念上更加直观。 三种类型的基于距离的离群检测算法中，都要求用户设置参数pct和dmin，寻找这些参数的合适设置可能涉及多次的试凑，复杂度高。;2. 2.4 基于距离和(DS)检测算法: 与DB (p, d)离群点一样，DS离群点使用同样的距离公式，如绝对距离或欧式距离，但不根据pct和dmin来判定孤立点，而是先计算数据对象两两之间的距离，再计算每个对象与其他对象的距离之和。 设M为用户期望的孤立点个数，则距离之和最大的前M个对象即为要挖掘的孤立点，这样可消除用户设置参数pct和dmin的需要。 ;2.3 基于密度的离群点检测;2.3.2 局部离群点因子（LOF）;显而易见，如果使用k-distance(p)来量化对象p的局部空间区域范围，那么对于对象密度较大的区域，k-distance(p)值较小，而对象密度较小的区域，k-distance(p)值较大。 （2）对象p的第k距离邻域 已知对象p的第k距离，那么，与对象p之间距离小于等于k-distance(p)的对象集合称为对象p的第k距离领域，记作： 该领域其实是以p为中心，k-distance(p)为半径的区域内所有对象的集合（不包括P本身）。由于可能同时存在多个第k距离的数据，因此该集合至少包括k个对象。 可以想象，离群度较大的对象 范围往往比较大，而离群度小的对象 范围往往比较小。 （3）对象p相对于对象o的可达距离 公式： 也就是说，如果对象p远离对象o，则两者之间的可达距离就是它们之间的实际距离，但是如