金融行业金融科技部数据科学家机器学习模型构建手册.docxVIP

金融行业金融科技部数据科学家机器学习模型构建手册

第1章数据治理与质量构建

1.1数据资产全景图谱梳理

首先需要利用数据仓库的元数据管理工具（如InformaticaDataManagement或TalendDataIntegration）建立统一的数据目录，将分散在各部门的Excel报表、CSV文件及非结构化文档进行标准化映射，构建包含表名、业务含义、数据源位置、更新频率及责任人等核心元数据的“数据字典”。基于数据字典，结合数据血缘分析工具（如DatabricksDataCatalog或FlinkDataCatalog），绘制从原始数据源到最终业务报表的全生命周期图谱，明确区分“硬数据”（如交易流水）与“软数据”（如客户画像标签），识别出“数据孤岛”问题，确保全公司数据资产目录的覆盖率不低于95%。

针对高价值数据资产（如每日交易量、用户留存率），执行数据资产分级分类策略，将数据划分为“核心生产数据”、“辅助决策数据”和“实验性数据”三个层级，为后续的质量监控分配不同的优先级权重，确保关键业务指标数据资产优先入库。引入数据质量规则引擎（如GreatExpectations或Alation），在数据资产图谱中预设业务规则校验点，例如“每日交易总额不得超过当日总客流量10%，将规则直接嵌入图谱的节点定义中，实现数据资产与业