离群点的判定讲义.doc

2014数学建模竞赛选拔 承 诺 书 我们仔细阅读了数学建模竞赛选拔的规则. 我们完全明白，在做题期间不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人研究、讨论与选拔题有关的问题。 我们知道，抄袭别人的成果是违反选拔规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守选拔规则，以保证选拔的公正、公平性。如有违反选拔规则的行为，我们将受到严肃处理。 我们选择的题号是（从A/B/C中选择一项填写）： A 队员签名 ：1. 2. 3. 日期： 2014 年 8 月 23 日 2014年南数学建模竞赛选拔 编 号 专 用 页 评阅编号（评阅前进行编号）： 评阅记录（评阅时使用）： 评 阅 人 评 分 备 注 A题：离群点的判定 摘要 离群点（outlier）是指数值中，远离数值的一般水平的极端大值和极端小值。称之为歧异值，有时也称其为野值。本文对问题一，, 离群值是指粗差即粗大误差或过失误差的测量值。为了准确地判别离群点，本文建立了合适的判别模型，通过已知条件建立学生化残差模型来判别一维数据的离群点，通过一维数据的均值，残差等找出了离群点。最后通过DPS数据处理系统，结合3S检验准则、狄克松准则、格拉布拉斯准则对结果进行了合理的检验。 针对问题，最后对本文所建立的模型及使用的方法的优缺点进行了相关的讨论，并分析了在其他情况下的推广应用问题。关键词： 3. 针对n维数据，建立判别离群点的数学模型；并对模型的计算结果进行评价或检验。 问题分析 离群值是样本中的个别值，其数值明显偏离其它样本的值，故通常称做异值。 1、对于问题一，判别与剔除离群值一般采用两种方法。第一种方法是, 对测量列进行统计检验，通过统计规律判断是否含有离群值。通常假定随机变量的测量值服从正态分布，并且运用一定的检验方法，例如如格拉布斯检验或狄克逊检验等，对所得到的测量值进行判断，然后利用处理后的测量值来确定被测量的特征参数估计。一般都是以残差分析为对象。在给定显著性水平的情况下，根据残差值是否超出标准差的某一倍数，来判断是否存在离群值进而消除其影响。第二种方法是，采用可避免或抑制离群值影响的测量结果及其不确定度的稳健估计进行处理，这种方法可以保证当发生少许或严重模型差异时, 处理结果所受到的影响比较小。对于一维数据离群点的判别，我们采用的是学生残差化分析，并利用DPS数据处理系统对其模型计算结果进行检验。 2、对于问题二，对于测定中的异常值的处理，必须持慎重态度，不能贸然从事。由于在一组平行测定所得到的分析数据中，有时会出现个别测定值与其他数据相关较远，这些数据称为离群值或逸出值（Qutlier）。初学者多倾向于随意舍弃这一可疑值，以获得精确度较好的分析结果。对于离群值，首先应从技术上设法判断其出现的原因，如果查明确由实验技术上的失误引起的，不管这样的测定值是否为异常值，都应舍弃，而不必进行统计检验。但是，有时由于各种原因未必能从技术上找出它出现的原因，在这种情况下应对其进行统计检验，以便于从统计上判明离群值是否应该保留或舍弃。本文在问题二的论述中，详细介绍了离群点检验的6种方法，并用一组一维实例来进行检验，并得出结果。 3、对于问题三而言，对n维数据建立判别离群点的数学模型，并对模型的计算结果进行评价或检验，采用了降维的方法，并运用LLE算法分别计算出样本点与邻近点的距离，以及相应的权值和降维后的特征向量。通过对判别式的分析，离群点的权值变化情况可以通过判别式得出，从而判别出离群点。 模型假设 1、假设一维数据满足正态分布； 2、假设每年的试题难度差不多； 3、对于每个样本点都可以找到它的k个近邻点； 4、假设n维数据在局部是线性的。 符号约定 符号 定义与说明 S 标准差 实验学生化残差 残差 样本学生残差绝对值 样本点的距离 权值 这里只给出主要符号的意义，其他符号将在文中给出，在此不再一一赘述。 模型的建立与求解 5.1 一维数据中离群判