金融行业金融科技部数据科学家数据挖掘分析手册.docxVIP

金融行业金融科技部数据科学家数据挖掘分析手册

第1章数据准备

1.1数据源识别与获取

金融科技部在构建数据分析模型时，必须明确数据来源的可靠性。数据源识别不能仅停留在表面，需要深入挖掘数据产生的业务场景。例如，信贷审批流程中，客户的征信数据、交易流水、行为日志都是潜在的数据源。但并非所有数据都直接可用，需要评估数据的关联性、时效性和完整性。

如何获取这些数据？通常通过API接口、数据库导出、第三方数据商合作等途径。API接口能实时获取交易数据，但需注意接口的调用频率限制和授权问题。数据库导出适用于批量获取历史数据，但需警惕数据脱敏和格式不一致的风险。第三方数据商提供的消费者行为数据可能较为全面，但需严格审查数据合规性和准确性。

数据源的质量直接影响后续分析的成败。假设某行尝试预测客户流失，却忽略了获取真实的流失标签——这会导致模型训练出现偏差。因此，数据源的选择必须与业务目标高度对齐。

1.2数据清洗与预处理

原始数据往往充满噪声，直接使用可能导致模型性能下降。数据清洗是数据科学家的核心工作之一。缺失值处理不能简单用均值填充，否则会扭曲真实分布。比如，信用卡还款记录中的缺失值，若用均值替代，会掩盖“恶意逾期”这类极端行为。更合理的做法是采用KNN填充（基于最近邻样本的均值或中位数），或根据业务逻辑构建代理变量。

异常值检测同样重要。交易流水中出现千万级金