Python数据分析与可视化 教案 3.5 数据的去空与去重.docxVIP

课 题 3. 5数据的去空与去重 课 型 讲练 授课班级 大数据 授课时数 2 教学目标 .能够按要求删除数据的空值。 .能够按要求删除数据的重复值。 教学重点 .能够按要求删除数据的空值。 .能够按要求删除数据的重复值。 教学难点 .能够按要求删除数据的空值。 .能够按要求删除数据的重复值。 去空和去重是数据预处理中的重要的一环，一般的数据往往需要进行去学情分析 学情分析 学情分析空和去重之后才能分析。数据去重时，可按照横向和纵向两种方向进行去重, 对于按纵向删除重复列的情况较少。 学情分析 在对数据进行预处理时，去空和去重是两个非常重要的方法。去空是指去除带有 空值的数据，去重是指去除重复数据。 一、数据去空 数据中的某个或某些特征的值是不完整的，这些值称为缺失值，简单来说，缺失 值就是空值。 .查看空值 pandas提供了识别空值的方法isnull,这种方法在使用时返回的都是布尔值True 和False。再结合sum函数，可以检测出数据中每列的空值频数，统计各列空值频数 的一般用法为：_ DataFrame.isnull().sum() 例如代码如下： import numpy as np import pandas as pd arr = np.arange( 1,17).reshape(4,4)data = pd.DataFrame(air,columns=[,a\,b,,c,/d,]) data.iloc[l :3,1:4] = np.nan#表示将行索引编号1到2,列索引编号1到3的数据都设为空值 data.loc[|0,3]/b，l = np.nan#表示将行索引编号1和3,列索引b的数据都设为空值 print(初始数据为据”,data)print(各列的空值频数为:\rT,data.isnull().sum()) 【结果分析】利用np. nan可以生成DataFrame的空值。 输出结果如图3-*所示。 Run:3-5AC:\Users\liliang\Anaconda3\python.exe C:/Users/liliang/PycharmProjects/sjfx/3-5.py 初始数据为： a b c d1方01NaN3.04.0 15NaNNaNNaN?.29NaNNaNNaN W3 13 NaN 15.0 16.0 ■ 各列的空值频数为： a 0 b 4c 2 d 2dtype: int64 Process finished with exit code 0图3-*统计各列的空值频数例如结果 2 .删除空值 删除空值是删除带有空值的行或列，它属于利用减少样本量来换取信息完整度的 一种方法，是一种最简单的空值处理方法。pandas中提供了删除空值的dr叩na函数, 该函数可以删除带有空值的行或列。在实际操作中，删除带有空值的行的情况比拟多。 dropna函数的一般用法为： DataFrame.dropna(axis,how,subset=[columns],inplace)其中，各个参数的作用如下： axis接收。或1。axis=0表示删除空值所在的行，axis=l表示删除空值所在的列。 默认为axis=O,即删除空值所在的行。 how表示删除空值数据的方式。how二，any，表示只要有空值存在就删除。how-all 表示当且仅当全部为空值时就删除。默认为any。 subset表示进行去空操作的列或行。按行删除时,subset表示columns列名，而 按列删除时，subset表示行索引index。 inplace表示删除结果是否替换原表，默认为False。 (1)删除空值所在行删除空值所在行的一般用法为： DataFrame.dropna(axis=0,how,subset,inplace)其中，axis=0为删除空值所在的行。subset表示按行删空时，需要考虑的列。 例如代码如下： data_dropl = data.dropna(axis=0,how=any,subset=[aVb7c])print(删除abc三列中任意一列中出现空值的行:\n”,data_dropl) data_drop2 = data.dropna(axis=0,how=all,subset=「a?b,c])print(删除abc三列中任全部都为空值的行:\n”,data_drop2) 输出结果如图3-*所示。 Run:3-5AC:\Users\liliang\Anaconda3\python.exe C:/Users/liliang/PycharmProjects/sjfx/3-5.py 初始数据为： abed ■■ rp 0 1.0 2.0 3.0 4.0 1 NaN NaN NaN NaN ” . 2 9.0 NaN