互联网数据分析实战手册（执行版）.docxVIP

互联网数据分析实战手册（执行版）

互联网数据分析实战手册（执行版）

第一章数据清洗与预处理实战

1.1缺失值处理策略与策略选择

在海量互联网日志与用户行为数据中，缺失值（MissingValues）是常态而非异常，它们往往隐藏着用户流失、系统故障或特殊场景下的数据断层。处理缺失值不能“一刀切”，需根据缺失比例、分布特征及业务目的灵活选型。

对于数值型缺失值，若缺失比例低于5%，且数值分布符合正态分布，可采用“均值填补法”。例如，某电商用户行为表中，用户A在“率”列缺失3个样本，经统计其历史率均值为0.45，标准差为0.12，直接填入0.45即可。当缺失比例超过5%或数据呈偏态分布时，均值填补会引入偏差，此时应选用“中位数填补法”。例如，销售转化率数据缺失较多，填入中位数0.32能更好地保留数据的尾部特征，避免极端值拉偏均值。

针对双缺失（即某数值同时缺失）或未知分布的缺失值，推荐采用“随机填补法”。例如，在构建用户画像时，若某用户“浏览时长”和“停留时长”同时缺失，可随机从0到60秒区间两个数值，既保留了随机性，又防止了数据完全丢失。对于文本型缺失值（如评论内容缺失），单纯填充数字无意义，最佳策略是“基于上下文的多模式填充”。例如，某商品评论缺失，可结合前序评论的情感倾向或商品属性，利用N-gram模型提取关键词进行语义填充