Python中Pandas库数据清洗的实用技巧.docxVIP

Python中Pandas库数据清洗的实用技巧

引言

在数据分析与挖掘的全流程中，数据清洗往往被称为“最耗时却最基础”的环节。据行业统计，数据科学家约60%-70%的时间都花费在数据清洗上。这是因为真实世界中的数据往往存在缺失、重复、格式混乱、异常值等问题，若不经过清洗直接分析，可能导致模型偏差或结论错误。Pandas作为Python中处理结构化数据的核心库，凭借其灵活的数据结构（Series与DataFrame）和丰富的函数方法，成为数据清洗的“主力工具”。本文将围绕Pandas数据清洗的实用技巧展开，从基础操作到进阶方法，结合具体场景，帮助读者系统掌握数据清洗的核心能力。

一、数据清洗的基础操作：解决常见“显性问题”

数据清洗的第一步，是解决最直观、最容易被识别的“显性问题”，主要包括缺失值处理、重复值处理和基础格式修正。这些操作是数据清洗的“入门课”，却也是后续分析的关键前提。

（一）缺失值处理：识别、填充与删除的策略选择

缺失值是数据清洗中最常见的问题之一，可能由记录遗漏、设备故障或逻辑错误（如“未填写”字段）导致。Pandas中处理缺失值的核心在于“先识别、再决策”。

首先，识别缺失值。Pandas使用isnull()或isna()函数标记缺失值（返回布尔型DataFrame），配合sum()函数可快速统计每列的缺失数量。例如df.isnull().sum()会返回一个Series，索引为列名，值为对应列的缺失值个数。若需要更直观的比例展示，可计算df.isnull().mean()，结果即为各列缺失值占比。

其次，处理缺失值的策略需结合业务场景与数据特性。常见策略有三种：

直接删除：当某列缺失值占比过高（如超过70%）且无补充来源时，可选择删除整列（df.drop(columns=[列名])）；若某行的缺失值集中在关键分析字段（如用户年龄），且样本量充足，可删除该行（df.dropna(subset=[关键列])）。需注意，删除操作会减少样本量，可能导致信息丢失，需谨慎评估。

填充替代：更常见的是通过合理值填充缺失。数值型数据可选择均值、中位数或众数填充——均值适用于数据分布较均匀的场景，中位数对异常值更鲁棒（如收入数据），众数则适用于离散型数值（如评分等级）。例如df[年龄].fillna(df[年龄].median(),inplace=True)。文本型数据可填充“未知”“未填写”等通用值，或根据业务逻辑补充（如用户职业缺失时，若已知用户属于学生群体，可填充“学生”）。

插值法填充：时间序列数据中，缺失值可能与前后数据相关，可使用ffill（前向填充）或bfill（后向填充）。例如df[温度].fillna(method=ffill)会用前一行的值填充当前行缺失值，适用于连续监测数据的场景。

（二）重复值处理：从识别到精准删除

重复值指完全相同或关键信息重复的记录，可能由数据录入错误或系统重复导出导致。Pandas提供了duplicated()和drop_duplicates()函数处理此类问题。

识别重复值时，df.duplicated()默认检查所有列，返回布尔型Series标记重复行（首次出现的行标记为False，后续重复行标记为True）。若需按关键列判断（如用户ID、订单号），可指定subset参数，例如df.duplicated(subset=[用户ID,订单时间])。若想查看具体重复数据，可结合布尔索引df[df.duplicated()]。

删除重复值时，drop_duplicates()默认保留第一个出现的记录（keep=first），也可选择保留最后一个（keep=last）或全部删除（keep=False）。例如，处理用户行为日志时，若同一用户在1分钟内重复点击同一按钮，可按用户ID和事件时间去重，保留第一条记录作为有效行为。需注意，去重前需明确“重复”的定义——是全部字段重复，还是关键业务字段重复？这直接影响去重结果的准确性。

（三）基础格式修正：让数据“对得上类型”

数据格式问题常表现为“类型错误”或“符号混乱”。例如，数值型字段被存储为字符串（如“123元”）、日期字段为文本格式（如“2023/05/01”与“2023-05-01”混合）、文本字段包含多余空格或特殊符号（如“

苹果

”“手机（二手）”）。

类型转换是解决此类问题的关键。Pandas提供astype()函数强制转换类型，例如df[年龄]=df[年龄].astype(int)可将年龄从浮点型转为整型。但需注意，若字段中存在无法转换的值（如“未知”），astype()会报错，此时需先处理这些异常值（如替换为缺失值后填充）。

文本清洗可通过str方法链完成。例如，去除前后空格用df[商品名称].str.strip()