3.2Python 数据清洗电子课件.pdf

大数据财务分析

主讲：谢畅

爱岗敬业诚实守信坚持准则提高技能

廉洁自律客观公正参与管理强化服务

项目三数据清洗与处理

任务二Python数据清洗

Python数据清洗

一、重复值处理

对于重复值的处理，首先可以先检验是否存在重复值，然后再将重复值删

除。

Pandas提供了两个专门处理重复值的函数，分别是duplicated()函数和

drop_duplicated（）函数.

duplicated():查找重复项

drop_duplicates()：删除重复项

爱岗敬业诚实守信

Python数据清洗

一、重复值处理

duplicated()函数：用于查找重复值，返回布尔值，将重复项标记为True,

非重复项目标记为False.

DataFrame.duplicated(subset=None,keep=‘first’)

Subset:根据特定列识别重复项，默认使用所有列

Keep:确定要标记的重复项，可选’first’、’last’、False，默认

为’first’,表示标记除第一次出现的重复项，’last’表示标记除最后一次

出现的重复项，False表示标记所有重复项。

爱岗敬业诚实守信

Python数据清洗

一、重复值处理

drop_duplicates（）函数：返回删除重复行的DataFrame.其语法如下：

DataFrame.

drop_duplicates(subset=None,keep=‘first’,inplace=False,ignore_in

dex=False)

Subset:根据特定列识别重复项，默认使用所用列

Keep:确定要保留的重复项，可选可选’first’、’last’、False，默认

为’first’,表示保留第一次出现的重复项，’last’表示保留最后一次出现

的重复项，False表示删除所有重复项。

Inplace:默认为False,True表示直接在原数据上删除

ignore_index：重建索引，默认为False.

廉洁自律客观公正

Python数据清洗

一、重复值处理

duplicated()和drop_duplicates（）函数判断标准和逻辑是一样的，在数

据清洗时，可直接使用drop_duplicates（）函数来处理重复值。

廉洁自律客观公正

Python数据清洗

二、缺失值处理

和重复值的处理一样，在处理缺失值之前可以先检验缺失值数量，然后根据

数据分析要求，选择以下常用方法进行处理：

（1）删除数据：根据缺失比例删除行、列；

（2）使用默认值填充：可用空字符串或数值0替换；

（3）使用估算值填充：采用中位数、平均数、众数等替换；

处理缺失值的函数如下：

dropna()函数：删除缺失值

Fillna()函数：使用指定的方法填充NA/NaN值。

坚持准则提高技能

Python数据清洗

二、缺