7数据整理自学材料—pandas处理数据重复.docxVIP

Pandas处理数据重复

首先，先初始化一个Pandas的DataFrame，代码如下：

importpandasaspd

df=pd.DataFrame({

col_1:[a,a,e,e,y],

col_2:[b,b,f,f,y],

col_3:[c,c,g,h,j],

})

运行上面的代码得到的DataFrame—df的数据结构如下所示：

col_1col_2col_3

0abc

1abc

2efg

3efh

4yyj

执行如下代码：

df.drop_duplicates()

df的数据结构如下所示：

col_1col_2col_3

0abc

2efg

3efh

4yyj

可以发现原来index为0的行和index为1的行数据是重复的，执行DataFrame上的drop_duplicates方法后，重复的行被删除，只剩下index为0的行。执行：

df.drop_duplicates(keep=first)

df的数据结构如下所示：

col_1col_2col_3

0abc

2efg

3efh

4yyj

index为0的行留下了，“keep=first”表示删除重复行的时候保留第一行。执行：

df.drop_duplicates(keep=last)

df的数据结构如下所示：

col_1col_2col_3

1abc

2efg

3efh

4yyj

观察上面结果会发现，这次保留的是index为1的行，也即是重复行的最后一行。所以，“keep=last”表示删除重复行的时候保留最后一行。如果不提供keep参数，则默认keep的值是first。执行：

df.drop_duplicates(subset=[col_1,col2],keep=first)

df的数据结构如下所示：

col_1col_2col_3

0abc

2efg

4yyj

在所有行中，若col_1、col_2两列如果都相同的话就是重复，index为0的行和index为1的行的col_1和col_2分别是a和b，index为3的行和index为4的行的col_1和col_2分别是e和f。所以，index为0的行和index为1的行重复，留下第1行，index为3的行和index为4的行重复，留下第3行。subset参数用于指定判定重复行的列。