金融行业科技部数据分析师数据清洗处理手册（执行版）.docxVIP

金融行业科技部数据分析师数据清洗处理手册（执行版）

第1章数据治理基础规范与标准体系

1.1全生命周期数据定义与分类指南

数据定义是数据治理的基石，必须严格遵循“业务视角”而非“技术视角”进行编写，确保开发人员、业务人员和管理者能统一理解。在手册中，每个数据对象（DataObject）的首行定义必须包含业务名称、核心业务含义、数据所有者、数据更新频率及数据标准版本，例如“客户交易流水”的定义需明确其对应“核心系统-交易中心”中的“单笔交易记录”，并规定该数据由“交易部数据专员”维护，更新频率为“每日凌晨2点”，标准版本为V2.1。数据分类应基于数据的价值属性和风险属性进行双重维度划分，对于金融数据，必须区分“高价值敏感数据”（如客户隐私、交易金额）与“中低价值非敏感数据”（如日志统计、库存水平），并在分类标签中明确标注数据敏感度等级（如“内部公开”、“内部机密”、“国家秘密”），例如“客户手机号”被定义为“内部机密”且敏感度等级为“高”，而“网点今日接待客户数”被定义为“内部公开”且敏感度等级为“低”。

在定义过程中，必须引入“数据血缘”概念，即明确数据从源头到最终报表的完整路径，对于核心业务数据，需详细记录其上游数据源系统、中间处理逻辑（如ETL脚本或API调用）、下游消费系统及最终展示位置，例如“理财产品净值”的数据定义需追溯至“总行资产负债