金融行业数据科学部数据科学家数据科学建模手册.docxVIP

金融行业数据科学部数据科学家数据科学建模手册

第1章数据预处理

1.1数据收集与整合

金融行业数据来源多样，包括交易系统、CRM系统、征信数据、第三方API等。整合这些异构数据时，必须建立统一的标识体系。例如，客户身份识别需采用身份证号作为主键，避免同名同姓问题。时间序列数据的对齐尤为重要，交易时间戳需精确到毫秒级才能还原高频市场行为。

数据集成过程中，需关注数据冲突问题。某银行曾出现同一笔贷款在征信系统和内部数据库记录不一致的情况，最终导致风险评估模型出现系统性偏差。解决这类问题需要建立数据血缘追踪机制，明确每个数据源的更新频率和优先级。

1.2数据清洗

原始数据普遍存在错误和异常，清洗工作需分三步展开。先通过统计方法识别异常值，如使用3σ原则检测数值型数据异常；再用规则引擎校验逻辑错误，例如年龄字段出现负数或超过120岁的记录。某证券公司曾发现交易手续费存在0.01元尾数，经调查确认为系统计算精度问题。

重复数据处理同样关键。某信用卡业务中，同一客户可能因系统bug产生多条完全相同的申请记录。采用聚类算法识别相似度高的记录集，再通过业务规则判断是否为重复项，可将重复率从12%降至0.3%。

1.3数据转换

数据转换环节需完成三件事：特征工程、数据格式统一和维度归一。特征工程中，需根据业务场景构建衍生变量。例如，在信贷风险建模中，将月收入和月支出合并为收支比，比单