2025年数据分析师技能提升手册.docxVIP

2025年数据分析师技能提升手册

第1章基础工具与数据处理

1.1Pandas数据处理与数据清洗实战

Pandas作为Python生态中最强大的数据处理库，其核心优势在于将二维数组（DataFrame）作为主要数据结构，极大地简化了数据操作。在进行数据清洗时，我们首先需识别异常值，例如在销售数据中，某月销售额出现负数或远超行业平均3倍以上的数值，这些将作为离群点标记出来，以便后续进行过滤处理。数据清洗的核心步骤包括缺失值填充。当某列存在大量NaN值时，若为数值型数据且缺失比例低于10%，可尝试用该列的中位数进行填充，以保持数据的分布特征；若为文本型数据，则需根据字典或规则进行填充。例如，使用`df.fillna(method=median)`即可批量完成数值列的填充操作。

重复值的处理是清洗的另一关键环节，通常指同一条记录在多个字段上存在重复数据。对于数值型重复记录，可利用`df.drop_duplicates(subset=[id],keep=first)`保留第一条记录并删除其余重复项，从而保证唯一性。数据类型转换是提升Pandas性能的关键，因为错误的类型（如将字符串误转为整数）会导致后续计算报错或精度丢失。通过`df[age]=df[age].astype(int)`可将字符串格式的年龄自动转换为整数类型，避免未来