数据分析技术与应用指南（执行版）.docxVIP

数据分析技术与应用指南（执行版）

第1章数据清洗与预处理技术

1.1缺失值处理策略与算法

在数据清洗阶段，缺失值通常被视为数据质量中的“污点”，若直接参与分析会导致统计结果偏差。首先需统计缺失值的分布情况，判断其缺失比例是否超过30%，若比例过高则需考虑数据源可靠性，若比例较低（如低于10%），可采取“忽略缺失”策略，仅对完整数据进行分析。针对数值型缺失值，若缺失原因明确为“随机缺失”（即数据时未记录缺失），可采用均值、中位数或众数进行填充。例如，在销售数据中，若某月销售额因系统故障缺失，且无历史异常记录，可填上该月平均值，避免极端值干扰后续回归分析。

对于“非随机缺失”（即缺失原因已知，如该客户因投诉而删除了订单记录），则必须剔除该缺失值，否则会产生“自选择偏差”，导致样本无法代表整体。此时需人工排查原始数据日志，确认缺失逻辑后，直接在缺失行标记为NA并删除整行数据。若缺失值分布呈现明显偏态（如左偏或右偏），直接填充均值会扭曲数据分布。此时应优先使用中位数或分位数（如90%分位数）进行填充，以保留数据的尾部特征。例如，处理收入数据时，若部分人收入极低导致分布右偏，用中位数填充能更真实地反映中产阶级的收入水平。在进行填充前，必须检查数据源是否存在“多重缺失”（即同一字段在多个不同维度缺失）的情况，若存在多重缺失，说明数据源本身可能已损坏，此时需联系数据提供