数据的去空与去重.pdfVIP

课题数据的去空与去重课型讲练

授课班级大数据授课时数2

1.能够按要求删除数据的空值。

教学目标

2.能够按要求删除数据的重复值。

1.能够按要求删除数据的空值。

教学重点

2.能够按要求删除数据的重复值。

1.能够按要求删除数据的空值。

教学难点

2.能够按要求删除数据的重复值。

去空和去重是数据预处理中的重要的一环，一般的数据往往需要进行去

学情分析空和去重之后才能分析。数据去重时，可按照横向和纵向两种方向进行去重，

对于按纵向删除重复列的情况较少。

在对数据进行预处理时，去空和去重是两个非常重要的方法。去空是指去除带有

空值的数据，去重是指去除重复数据。

一、数据去空

数据中的某个或某些特征的值是不完整的，这些值称为缺失值，简单来说，缺失

值就是空值。

1.查看空值

pandas提供了识别空值的方法isnull，这种方法在使用时返回的都是布尔值True

和False。再结合sum函数，可以检测出数据中每列的空值频数，统计各列空值频数

的一般用法为：

DataFrame.isnull().sum()

示例代码如下：

importnumpyasnp

importpandasaspd

arr=np.arange(1,17).reshape(4,4)

data=pd.DataFrame(arr,columns=[a,b,c,d])

data.iloc[1:3,1:4]=np.nan

#表示将行索引编号1到2，列索引编号1到3的数据都设为空值

data.loc[[0,3],b]=np.nan

#表示将行索引编号1和3，列索引b的数据都设为空值

初始数据为初始数据为初始数据为

各列的空值频数为各列的空值频数为

【结果分析】利用np.nan可以生成DataFrame的空值。

输出结果如图3-*所示。

图3-*统计各列的空值频数示例结果

2.删除空值

删除空值是删除带有空值的行或列，它属于利用减少样本量来换取信息完整度的

一种方法，是一种最简单的空值处理方法。pandas中提供了删除空值的dropna函数，

该函数可以删除带有空值的行或列。在实际操作中，删除带有空值的行的情况比较多。

dropna函数的一般用法为：

DataFrame.dropna(axis,how,subset=[columns],inplace)

其中，各个参数的作用如下：

axis接收0或1。axis=0表示删除空值所在的行，axis=1表示删除空值所在的列。

默认为axis=0，即删除空值所在的行。

how表示删除空值数据的方式。how=any表示只要有空值存在就删除。how=all

表示当且仅当全部为空值时就删除。默认为any。

subset表示进行去空操作的列或行。按行删除时，subset表示columns列名，而

按列删除时，subset表示行索引index。

inplace表示删除结果是否替换原表，默认为False。

（1）删除空值所在行

删除空值所在行的一般用法为：

DataFrame.dropna(axis=0,how,subset,inplace)

其中，axis=0为删除空值所在的行。subset表示按行删空时，需要考虑的列。

示例代码如下：

data_drop1=data.dropna(axis=0,how=any,subset=[a,b,c])data_drop1=data.dropna(axis=0,how=any,subset=[a,b,c])

删除