Python pandas 数据清洗常用方法与避坑笔记.docxVIP

Pythonpandas数据清洗常用方法与避坑笔记

写在前面

我刚转数据分析那会儿，接到第一份清洗客户表的活，以为read_csv读进来、dropna一删就完事。结果交付后业务方说你怎么把一半客户删没了。我一看，那张表空值在备注列，我图省事全表dropna，把有交易记录的主档也顺带清掉了。从那以后我养成一个习惯：清洗前先问清楚哪些列空了能丢行，哪些列空了必须保留。这篇笔记不罗列pandas全部API，只讲我天天在用的清洗套路，以及每个套路背后我踩过的坑。代码都会给，但重点在为什么这么写而不是这函数叫什么。

一、背景与痛点

真实数据从来不是教程里那张干净的iris表。业务库导出的表常见五种脏：

·空值混着，有的列该留行有的列不能留，一刀切就出错（我开头那单就是教训）。

·重复行，可能是接口重试写入，也可能是人工合并表时没去重。

·类型错乱，金额存成字符串带元￥，日期存成2023/1/12023-01-01两种格式混着。

·异常值，比如年龄出现999、金额出现负数，往往是缺省值或录入错。

·编码和分隔符问题，GBK文件用utf-8读出来全是乱码，或者逗号分隔里字段本身含逗号。

这些脏不处理，后面建模、统计全歪。但处理过头又会丢掉有效信息，平衡点在经验里。

二、核心概念与框架

清洗的本质是三步：看清数据、修正结构、校验结果。对应我常用的三个动作：