《Python数据分析基础》课件-Chapter6-8.pptxVIP

《Python数据分析基础》课件-Chapter6-8汇报人：XXX2026-10-12

目录02数据合并与重塑操作01数据清洗与预处理实践03分组聚合与统计分析04探索性数据分析与洞察05教学评价与项目化延伸

01PART数据清洗与预处理实践

缺失值填补与异常值剔除方法缺失值分为完全随机缺失、随机缺失和非随机缺失。处理前需摸清成因与业务含义，根据后续分析目标选择均值、中位数、前后向填充或模型预测等合适策略，避免盲目填充导致信息失真。缺失值识别与策略使用IQR与Z-score算法剔除异常值时，需注意均值和标准差易被离群点拉偏。建议改用中位数与MAD构建掩码，且IQR和Z-score不要串行剔除，应并行判断取交集或并集，防止样本量严重缩减。异常值检测与处理

数据中常存在空字符串、NA等非标准缺失值，需统一替换为NaN以便处理。同时应将日期字符串转为时间对象，分类字符转为category类型，以此降低内存占用并提升计算效率。010203数据类型转换及格式规范化处理隐式空值与类型转换针对不同业务字段的含义统一数据格式，如日期标准化、数值保留精度及文本去空格等。处理多维数组时需注意参数对齐，避免因索引不匹配或浮点精度问题导致布尔索引失效。格式规范化sklearn的RobustScaler仅做标准化平移缩放，不会丢弃样本。实际剔除需提取其center_和scale_属性手动构建掩码，且线上