异常值处理.docx

R语言：异常数据处理前言??在数据处理中，尤其在作函数拟合时，异常点的出现不仅会很大程度的改变函数拟合的效果，而且有时还会使得函数的梯度出现奇异梯度，这就导致算法的终止，从而影响研究变量之间的函数关系。为了有效的避免这些异常点造成的损失，我们需要采取一定的方法对其进行处理，而处理的第一步便是找到异常点在数据中的位置。??什么是异常值？如何检测异常值？目录?1. 单变量异常值检测?2. 使用LOF（local outlier factor，局部异常因子）进行异常检测?3. 通过聚类的方法检验异常值?4. 检验时间序列数据里面的异常值?5. 讨论主要程序包 install.packages(c(DMwR,dprep)) library(DMwR) library(dprep）1. 单变量异常值检测??这节主要讲单变量异常值检测，并演示如何将它应用到多元（多个自变量）数据中。使用函数boxplot.stats()实现单变量检测，该函数根据返回的统计数据生成箱线图。在上述函数的返回结果中，有一个参数out，它是由异常值组成的列表。更明确的说就是里面列出了箱线图中箱须线外面的数据点。其中参数coef可以控制箱须线从箱线盒上延伸出来的长度，关于该函数的更多细节可以通过输入‘？boxplot.ststs’查看。??画箱线图： set.seed（3147） #产生100个服从正态分布的数据 x - rnorm(100) summary(x) #输出异常值 boxplot.stats(x)$out #绘制箱线图 boxplot(x)??如上的单变量异常检测可以用来发现多元数据中的异常值，通过简单搭配的方式。在下例中，我们首先产生一个数据框df，它有两列x和y。之后，异常值分别从x和y检测出来。然后，我们获取两列都是异常值的数据作为异常数据。 x - rnorm(100) y - rnorm(100) # 生成一个包含列名分别为x与y的数据框df df - data.frame(x, y) rm(x,y) head(df) # 连接数据框df attach(df) # 输出x中的异常值 (a - which(x %in% boxplot.stats(x)$out)) # 输出y中的异常值 (b - which(y %in% boxplot.stats(y)$out)) # 断开与数据框的连接 detach(df) # 输出x,y相同的异常值 (outlier.list1 - intersect(a,b)) plot(df) # 标注异常点 points(df[outlier.list1,], col=red, pch=+, cex=2.5) # x或y中的异常值 (outlier.list2 - union(a, b)) plot(df) points(df[outlier.list2,], col=blue, pch=x, cex=2)??当有三个以上的变量时，最终的异常值需要考虑单变量异常检测结果的多数表决。当选择最佳方式在真实应用中进行搭配时，需要涉及领域知识。2. 使用LOF（local outlier factor，局部异常因子）进行异常检测??LOF（局部异常因子）是一种基于密度识别异常值的算法。算法实现是：将一个点的局部密度与分布在它周围的点的密度相比较，如果前者明显的比后者小，那么这个点相对于周围的点来说就处于一个相对比较稀疏的区域，这就表明该点事一个异常值。（使用LOF，一个点的局部密度会与它的邻居进行比较。如果前者明显低于后者（有一个大于1 的LOF值），该点位于一个稀疏区域，对于它的邻居而言，这就表明，该点是一个异常值。）LOF算法的缺点是它只对数值型数据有效。??lofactor()函数使用LOF算法计算局部异常因子，并且它在DMwR和dprep包中是可用的。下面将介绍一个使用LOF进行异常检测的例子，k是用于计算局部异常因子的邻居数量。下图呈现了一个异常值得分的密度图。 library(DMwR) # 移除“Species”这个鸢尾花类别列数据 iris2 - iris[,1:4] # k是计算局部异常因子所需要判断异常点周围的点的个数 outlier.scores - lofactor(iris2, k=5) # 绘制异常值得分的密度分布图 plot(density(outlier.scores)) # 挑出得分排前五的数据作为异常值 outliers - order(outlier.scores, decreasing = T)[1:5] # 输出异常值 print(outliers) [1] 42 107 23 110 63??接下来对鸢尾花数据进行主成分分析，并利用产生的前两个主成分绘