数据挖掘与分析技术手册（执行版）.docx

数据挖掘与分析技术手册（执行版）

第1章数据预处理与清洗基础

1.1数据质量评估与异常检测

需构建多维度的质量评分模型，将原始数据划分为“完整性”、“准确性”、“一致性”和“时效性”四个维度。例如，在金融风控场景中，若某笔交易金额超过1000万但客户信用评分仅为300分，系统应自动标记该数据为“高价值低信用”异常，触发人工复核流程。接着，利用统计学方法计算数据的离散程度，识别偏离标准分布的离群点。以销售数据为例，若某个月销售额的标准差突然扩大至平均值的5倍以上，说明该月数据存在异常波动，可能是系统故障或突发营销事件所致。

随后，通过相关性矩阵分析不同字段间的逻辑关系，