2025年数据分析技术原理与应用手册.docxVIP

2025年数据分析技术原理与应用手册

第1章

1.1缺失值处理策略

针对数值型缺失数据，采用“向前填充”策略，利用其前后相邻的有效数据点估算缺失值。例如在销售记录中，若某日销售额缺失，则直接取前一日该产品的平均销量填入，适用于时间序列数据且缺失时间较短的情况。对于类别型数据的缺失值，选择出现频率最高的类别进行填充（ModeImputation），这能最大程度保留数据的分布特征。例如在用户标签数据中，若“地区”字段缺失，直接采用该地区占比最高的城市名称（如“华东”）进行替换。

采用“随机缺失”策略时，通过随机数在缺失位置填入未使用的类别，模拟真实世界中数据可能出现的随机漏报现象，常用于测试模型对随机噪声的鲁棒性。在计算缺失比例时，需同时统计完全缺失（NA）和单缺失（部分缺失）的数量，以区分数据质量问题的严重程度。例如统计显示某字段20%为单缺失，50%为完全缺失，提示需优先处理完全缺失项。使用KNN（K近邻）插值法时，计算缺失值周围K个最近有效值的均值，适用于缺失值分布呈正态分布的场景，能有效平滑数据波动。

针对缺失值超过30%的字段，建议直接标记为异常数据并剔除，防止无效数据污染后续分析结果。例如某用户行为日志中缺失率高达45%，直接剔除该条记录以避免算法偏差。

异常值通常指数据点显著偏离数据分布中心或邻近点的数值，表现为极小或极大值，在统