数据挖掘技术与应用：检测与处理异常值.docxVIP

检测与处理异常值 准备数据 准备数据detail.csv，将数据文件detail.csv放到Linux本地的/course/DataAnalyze/data目录,并读取数据 In[1]: import os import pandas as pd os.chdir(/course/DataAnalyze/data) detail = pd.read_csv(./detail.csv,index_col=0,encoding = gbk, engine = python) 检测与处理异常值 3σ原则 自行构建3σ函数，进行异常值识别，如REF _Ref492023676 \h 代码 415所示。 代码 STYLEREF 1 \s4SEQ 代码 \* ARABIC \s 115 使用拉依达法则识别异常值 In[15]: ## 定义拉依达法则识别异常值函数 def outRange(Ser1): boolInd = (Ser1.mean()-3*Ser1.std()Ser1) | (Ser1.mean()+3*Ser1.var() Ser1) index = np.arange(Ser1.shape[0])[boolInd] outrange = Ser1.iloc[index] return outrange outlier = outRange(