python均值插补法填补缺失值-R数据分析：资料缺失值的常见处理方法.pdfVIP

python均值插补法填补缺失值_ R数据分析 ：资料缺失值的常 见处理⽅法 在数据预处理时，⼀个常见的问题就是缺失值的处理， 天再写⼀次缺失值处理。 在R中缺失值会被表现为NA(not available)，我们可以使⽤is.na()函数来查看我们的资料中是否有缺失值 ： tmp [1] FALSE FALSE FALSE T RUE FALSE T RUE FALSE 还可以计算缺失的个数 ： sum(is.na(tmp))2 在处理缺失值的过程中很多⼈会选择 “直接删除缺失值”或者 “使⽤平均值插补缺失”，这两个⽅法都是有⼀定问题的，前者会让资料减 少，后者也不会增加新的信息相当于没有处理。 ⽐较推崇的处理缺失值的⽅法⼀个是⽤ 「k-Nearest Neighbours」，另外就是⽤ 「mice」进⾏多重插补。这两个⽅法其实都不难，我们看 看具体怎么做 ： require(missForest) 在iris中随机产⽣0.1的缺失值data 直直接接删删 除除缺缺失失值值 使⽤如下函数，没有缺失就会返回T ,有的话返回Fcomplete.cases(data) 直接删除所有的缺失值rm.data ⽤⽤均均数数插插补补 ⽤均数插补mean.data ⽤⽤ K-Nearest Neighbours插插补补 先简单介绍⼀下KNN原理 ： ⽐如我们现在有⼀个班的学⽣的成绩，包括语⽂、数学、英语，然后⼩明同学的英语成绩有缺失，我们⽤knn的思想就是 ：我们看⼩明的语 ⽂、数学成绩，看他这两门成绩和哪些同学的成绩⽐较接近，然后我们再⽤这接近的(K位)同学的英语成绩取平均作为⼩明的英语成绩。 ⼀句话概括 ：就是给缺失的单位找K个最相近的邻居，然后⽤这些个邻居的值代替缺失的值。 require(DMwR) 要⽤这个包imputeData ⽤⽤mice填填补补缺缺失失值值 很多时候我们还能利⽤数据集的现有信息对缺失数据进⾏预测，这样⼀种⽅法就最⼤化利⽤了数据集的现有信息。 ⽐如 ：我们有V 1,V2,V3……Vn这些个变量，每⼀个变量都有缺失值，当我们想要插补V 1的缺失值时，我们就⽤V2,V3……Vn作为 ⾃变 量，V 1作为应变量进⾏建模预测V 1的缺失。 同理，针对V2的缺失，就⽤V 1,V3……Vn建模。 require(mice)mice.data 总总结结 感谢⼤家耐⼼看完。发表这些东西的主要⽬的就是督促 ⾃⼰，希望⼤家关注评论指出不⾜，⼀起进步。内容我都会写的很细，⽤到的数据集 也会在原⽂中给出链接，你只要按照⽂章中的代码 ⾃⼰也可以做出⼀样的结果，⼀个⽬的就是零基础也能懂，因为 ⾃⼰就是什么基础没有从 零学Python和R的，加油。 (站外链接发不了，请关注后私信回复 “数据链接”获取本头条号所有使⽤数据) 往期内容 ： python数据分析 ：缺失值处理 python数据分析 ：缺失值插补实例操练 python数据分析 ：数据缺失机制及利⽤missingno库对缺失可视化 python数据分析 ：缺失数据的处理 python数据分析 ：离群值的检测和处理 R数据分析 ：⾃我报告的⾝⾼数据的离群值探索