R语言学习系列16异常值处理[借鉴].pdfVIP

16、 异常值处理 目录: 一、 用箱线图检测异常值 二、 使用局部异常因子法 (LOF 法)检测异常值 三、 用聚类方法检测异常值 四、 检测时间序列数据中的异常值 五、 基于稳健马氏距离检测异常值 正文 : 异常值 ,就是指测量数据中的随机错误或偏差 ,包括错误值或偏离 均值的孤立点值。在数据处理中 ,异常值会极大的影响回归或分类的 效果。 为了避免异常值造成的损失 ,需要在数据预处理阶段进行异常值 检测。另外 ,某些情况下 ,异常值检测也可能就是研究的目的 ,例如 ,数据 造假的发现、电脑入侵的检测等。 一、用箱线图检测异常值 在一条数轴上 ,以数据的上下四分位数 (Q1-Q3)为界画一个矩形 盒子 ( 中间 50%的数据落在盒内 );在数据的中位数位置画一条线段为 1 / 14 中位线 ;用◇标记数据的均值 ;默认延长线不超过盒长的 1、5 倍,之外 的点认为就是异常值 (用○标记 )。 盒形图的主要应用就就是 ,剔除数据的异常值、判断数据的偏态与尾 重。 R 语言实现 ,使用函数 boxplot 、stats() ,基本格式为 : [stats, n, conf, out]= boxplot 、stats(x, coef=1 、5, do 、conf=TRUE, do 、out=TRUE) 其中 ,x 为数值向量 (NA 、NaN 值将被忽略 );coef 为盒须的长度为几倍 的 IQR(盒长 ),默认为 1、5;do、conf 与 do、out 设置就是否输出 conf 与 out 返回值 :stats返回 5 个元素的向量值 ,包括盒须最小值、盒最小值、 中位数、盒最大值、盒须最大值 ;n 返回非缺失值的个数 ;conf 返回中 位数的 95%置信区间 ;out 返回异常值。 单变量异常值检测 : set 、seed(2016) x-rnorm(100) #生成 100 个服从 N(0,1) 的随机数 summary(x) #x 的汇总信息 2 / 14 Min 、 1st Qu 、 Median Mean 3rd Qu 、 Max 、 -2 、7910 -0 、7173 -0 、2662 -0 、1131 0 、5917 2 、1940 boxplot 、stats(x) #用箱线图检测 x 中的异常值 $stats [1] -2 、5153136 -0 、7326879 -0 、2662071 0 、5929206 2 、 1942200 $n [1] 100 $conf [1] -0 -0 $out [1] -2 、791471 boxplot(x) #绘制箱线图 多变量异常值检测 : x-rnorm(100) y-rnorm(100) df-data 、frame(x,y) #用 x,y 生成两列的数据框 head(df) x y 1 0 0 、4852268 2 -0 0 、6967688 3 0 0 、1855139 4 -0 0 、7007335