金融行业数据部分析师数据清洗工作手册.docxVIP

金融行业数据部分析师数据清洗工作手册

第1章数据治理与基础规范

1.1数据资产全景图构建

需建立“业务-数据-技术”三层映射矩阵，将业务部门的需求、数据部门的数据模型以及技术系统的表结构进行对齐，确保每一笔业务数据都有唯一的数据资产标识（DataAssetID），并明确其归属部门与存储位置。接着，利用数据仓库的数据血缘分析工具（如FlinkDataLineage或ApacheAtlas），对全量历史数据与增量实时数据进行扫描，识别出所有涉及核心业务指标（如销售额、用户数）的数据实体，并包含数据来源、处理逻辑、最终口径的完整资产清单。

随后，绘制“数据价值流向图”，展示数据从原始采集（如ERP导出）经过清洗、转换、加载（ETL）到最终服务于BI报表或风控模型的完整路径，标注出数据在流转过程中的状态变更点，以可视化形式呈现资产全生命周期。在此基础上，定义“数据资产目录”结构，按照业务领域（如营销、风控、运营）划分一级目录，再按数据主题（如客户、产品、交易）划分二级目录，并指定每个目录下的元数据标签（如数据热度、数据时效、数据质量等级），实现资产的快速检索与分类管理。开展“数据资产盘点与价值评估”，对存量资产进行去重与合并操作，剔除冗余表与重复字段，并依据数据对业务决策的支撑程度，将资产划分为“核心资产”、“辅助资产”和“废弃资产”，为后