第3章数据清洗与高阶处理05课件讲解.pptxVIP

第3章数据清洗与高阶处理

3.1.3重复值的检测重复值是指数据集中某个或某些记录是完全相同的，产生的原因主要有机械故障或人工重复录入。概念

3.1.3重复值的检测语法格式pandas中提供了一个检测重复值的方法duplicated()，该方法默认情况下会对所有数据进行检测，检测的标准为：只要一行数据与其他行数据的所有值是完全相同的，就会将其他行数据判定为重复值，并标记为True，非重复值标记为False。duplicated(subset=None,?keep=first)subset：用于指定检测重复值的列索引或列索引序列，默认检测所有列。keep：用于确定标记哪一行是重复值，该参数的取值可以为’first’（默认值）、’last’或False，其中’first’表示保留第一次出现的行，其余值相同的行被标记为重复值；’last’表示保留最后一次出现的行，其余值相同的行被标记为重复值；False表示值相同的所有行都被标记为重复值。

3.1.3重复值的检测语法格式duplicated()方法检测完成后，会返回一个Series类的对象，该对象中的索引对应被检测对象的行索引，数据是表示检测结果的布尔值，其中True代表重复值,False代表非重复值。

3.1.4重复值的处理掌握重复值的处理方式，能够通过drop_duplicates()方法删除重复值学习目标

3.1.4重复值的处理在数据分析中，重复值会影响分析结果的准确性，一般情况下需要进行删除，这样可以保证数据中保留唯一的数据记录。

3.1.4重复值的处理语法格式pandas中提供了删除重复值的方法drop_duplicates()。drop_duplicates(subset=None,?keep=first,?inplace=False,?ignore_index=False)inplace：表示是否替换原来的数据，默认值为False。ignore_index：表示是否重新分配索引，默认值为False。※其他参数与duplicated()方法中的参数含义相同。

3.1.5异常值的检测熟悉异常值的检测方式，能够通过3σ原则和箱形图检测数据中是否存在异常值学习目标

3.1.5异常值的检测异常值是指数据集中的个别值明显偏离它所属数据集的其余值，这些数值是不合理的或错误的。概念

3.1.5异常值的检测检测方法213σ原则只适用于符合或近似正态分布的数据集。3σ原则箱形图没有什么严格的要求，可以检测任意的数据集。箱形图

3.1.5异常值的检测通过3σ原则检测异常值3σ原则，又称为拉依达原则，它是指先假设一组检测数据只含有随机误差，对这组数据进行计算处理得到标准偏差，按一定概率确定一个区间。数值几乎全部集中在（μ-3σ,μ+3σ)内，超出这个区间的可能性仅占不到0.3%。※凡是误差超过（μ-3σ,μ+3σ)的数值就认为是异常值。

3.1.5异常值的检测通过3σ原则检测异常值pandas中并没有直接提供基于3σ原则检测的方法，不过我们可以根据3σ原则定义一个函数，用来检测一组数据中是否有异常值。importnumpyasnpimportpandasaspddefthree_sigma(ser):mean_data=ser.mean()std_data=ser.std()rule=(mean_data-3*std_dataser)|(mean_data+3*std_dataser)index=np.arange(ser.shape[0])[rule]outliers=ser.iloc[index]returnoutliers

3.1.5异常值的检测通过箱形图检测异常值箱形图是一种用于显示一组数据分散情况的统计图，它通过5个数据节点描述按照从大到小的顺序排列的一组数据，这5个数据节点分别是上界、上四分位数、中位数、下四分位数、下界，此外还可以展示异常值。

3.1.5异常值的检测通过箱形图检测异常值pandas中提供了一个boxplot()方法，该方法会根据一组数据绘制箱形图，便于用户从箱形图中查看数据中是否有异常值。df_obj=pd.read_csv(rexample_data.csv)df_obj.boxplot(column=[A,B])左侧箱形的上方有两个空心圆点，这两个空心圆点就是异常值。

importnumpyasnpdefbox_outliers(ser):new_ser=ser.sort_values()ifnew_ser.count()%2==0:Q3=new_ser