R语言异常观测值改进措施光环大数据培训机构.pdfVIP

光环大数据--大数据培训人工智能培训 R 语言异常观测值改进措施_光环大数据培训机构 8.4 异常观测值 8.4.1 离群点 car 包也提供了一种离群点的统计检验方法。outlierTest()函数可以求得 最大标准化残差绝对值 Bonferroni 调整后的 p 值： library(car) outlierTest(fit) rstudent unadjusted p-value Bonferonni p Nevada 3.542929 00.047544 可以看到 Nevada 被判定为离群点（p=0.048）。注意，该函数只是根据单个 最大（或正或负）残差值的显著性来判断是否有离群点。若不显著，则说明数据 集中没有离群点；若显著，则你必须删除该离群点，然后再检验是否还有其他离 群点存在。 8.4.2 高杠杆值点 高杠杆值观测点，即是与其他预测变量有关的离群点。换句话说，它们是由 许多异常的预测变量值组合起来的，与响应变量值没有关系。高杠杆值的观测点 可通过帽子统计量（hat statistic）判断。对于一个给定的数据集，帽子均值 光环大数据 光环大数据--大数据培训人工智能培训 为 p/n，其中 p 是模型估计的参数数目（包含截距项），n 是样本量。一般来说， 若观测点的帽子值大于帽子均值的 2 或 3 倍，即可以认定为高杠杆值点。 hat.plot-function(fit){ p-length(coefficients(fit)) n-length(fitted(fit)) plot(hatvalues(fit),main=”Index Plot of Hat Values”) abline(h=c(2,3)*p/n,col=”red”,lty=2) identify(1:n,hatvalues(fit),names(hatvalues(fit))) } hat.plot(fit) 8.4.3 强影响点 强影响点，即对模型参数估计值影响有些比例失衡的点。例如，若移除模型 的一个观测点时模型会发生巨大的改变，那么你就需要检测一下数据中是否存在 强影响点了。有两种方法可以检测强影响点：Cook 距离，或称 D 统计量，以及 变量添加图（added variable plot）。一般来说，Cook’s D 值大于 ，则表明它是强影响点， 其中 n 为样本量大小，k 是预测变量数目。可通过如下代码绘制 Cook’s D 图形 光环大数据 光环大数据--大数据培训人工智能培训 cutoff-4/(nrow(states)-length(fit$coefficients)-2) plot(fit,which=4,cook.levels=cutoff) abline(h=cutoff,lty=2,col=”red”) Cook’s D 图有助于鉴别强影响点，但是并不提供关于这些点如何影响模型 的信息。变量添加图弥补了这个缺陷。所谓变量添加图，即对于每个预测变量 Xk，绘制 Xk 在其他 个预测变量上回归的残差值相对于响应变量在其他 k 个预测变量上回归的残差值的关系图。car 包中的 avPlots()函数可提供变 量添加图：利用 car 包中的 influencePlot()函数，你还可以将离群点、杠杆值 和强影响点的信息整合到一幅图形中 library(car) avPlots(fit,ask=FALSE,onepage=TRUE,id.method=”identify”) influencePlot(fit,id.method=”identify”,main=”InfluencePlot”,sub ”circl