数据分析师实战手册（执行版）.docx

数据分析师实战手册（执行版）

第1章数据清洗与预处理

1.1数据质量评估与缺陷识别

首先需要加载包含业务数据的CSV或Excel文件，并设定一个“合格数据”的标准，例如要求数值列必须为数字类型、日期列必须为有效日期格式，且非空单元格占比不得低于95%。使用Pandas库的`describe()`方法和`info()`函数快速统计数据的分布情况，重点关注数值列的均值、标准差、最大值和最小值，以此判断数据是否存在严重的截断或异常波动。

编写一个简单的脚本，遍历每一列，对比“实际值”与“预期值”（如通过SQL查询筛选出的真实值）的差异，若差异超过0.01则