离群点的判定.doc

PAGE 第 PAGE 2页，共 NUMPAGES 1页 2014数学建模竞赛选拔 承 诺 书 我们仔细阅读了数学建模竞赛选拔的规则. 我们完全明白，在做题期间不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人研究、讨论与选拔题有关的问题。 我们知道，抄袭别人的成果是违反选拔规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。 我们郑重承诺，严格遵守选拔规则，以保证选拔的公正、公平性。如有违反选拔规则的行为，我们将受到严肃处理。 我们选择的题号是（从A/B/C中选择一项填写）： A 队员签名 ：1. 2. 3. 日期： 2014 年 8 月 23 日 2014年南数学建模竞赛选拔 编 号 专 用 页 评阅编号（评阅前进行编号）： 评阅记录（评阅时使用）： 评 阅 人 评 分 备 注 PAGE 2 A题：离群点的判定 摘要 离群点（outlier）是指数值中，远离数值的一般水平的极端大值和极端小值。称之为歧异值，有时也称其为野值。本文对离群点的判定、计算结果的评价与预测问题进行了建模、求解和相关分析。 针对问题一，在计量测试领域中, 离群值是指粗差即粗大误差或过失误差的测量值。为了准确地判别离群点，本文建立了合适的判别模型，通过已知条件建立学生化残差模型来判别一维数据的离群点，通过一维数据的均值，残差等找出了离群点。最后通过DPS数据处理系统，结合3S检验准则、狄克松准则、格拉布拉斯准则对结果进行了合理的检验。 针对问题二，对于离群点的处理，本文从技术上设法判断其出现的原因，详细地介绍了离群点检验的6种方法，并用一组实例通过计算，完成检验，并得出结果。 针对问题三，对n维数据建立判别离群点的数学模型，采用降维的方法，运用LLE算法——寻找样本数据的内在嵌入分布，并通过距离公式和离群点权值判别式进行权值数据判定，根据权值的大小标识出数据集中的离群点，最后对其结果进行了科学的评价。 最后对本文所建立的模型及使用的方法的优缺点进行了相关的讨论，并分析了在其他情况下的推广应用问题。 关键词：离群点 学生化残差模型 DPS 格拉布斯准则 LLE算法 问题重述 问题背景 离群点（outlier）是指数值中，远离数值的一般水平的极端大值和极端小值。因此，也称之为歧异值，有时也称其为野值。 　　 形成离群点的主要原因有：首先可能是采样中的误差，如记录的偏误，工作人员出现笔误，计算错误等，都有可能产生极端大值或者极端小值。其次可能是被研究现象本身由于受各种偶然非正常的因素影响而引起的。例如：在人口死亡序列中，由于某年发生了地震，使该年度死亡人数剧增，形成离群点；在股票价格序列中，由于受某项政策出台或某种谣传的刺激，都会出现极增，极减现象，变现为离群点。 　　 不论是何种原因引起的离群点对以后的分析都会造成一定的影响。从造成分析的困难来看，统计分析人员说不希望序列中出现离群点，离群点会直接影响模型的拟合精度，甚至会得到一些虚伪的信息。因此，离群点往往被分析人员看作是一个“坏值”。但是，从获得信息来看，离群点提供了很重要的信息，它不仅提示我们认真检查采样中是否存在差错，在进行分析前，认真确认，而且，当确认离群点是由于系统受外部突发因素刺激而引起的时候，他会提供相关的系统稳定性，灵敏性等重要信息。 目标任务 1. 针对一维数据，建立判别离群点的数学模型；并对模型的计算结果进行评价或检验； 2. 如果数据中出现离群点应该如何处理？并举例说明该处理方法对后续建模分析的影响； 3. 针对n维数据，建立判别离群点的数学模型；并对模型的计算结果进行评价或检验。 问题分析 离群值是样本中的个别值，其数值明显偏离其它样本的值，故通常称做异值。 1、对于问题一，判别与剔除离群值一般采用两种方法。第一种方法是, 对测量列进行统计检验，通过统计规律判断是否含有离群值。通常假定随机变量的测量值服从正态分布，并且运用一定的检验方法，例如如格拉布斯检验或狄克逊检验等，对所得到的测量值进行判断，然后利用处理后的测量值来确定被测量的特征参数估计。一般都是以残差