金融行业科技部数据专员数据清洗工作手册.docxVIP

金融行业科技部数据专员数据清洗工作手册

第1章数据治理与基础规范

1.1数据质量标准定义与制定

数据质量标准是金融行业科技部门在建立数据资产时制定的“宪法”，明确规定了数据在准确性、完整性、一致性、时效性及可用性等方面的核心指标，例如将客户年龄定义为18至100周岁之间的整数”，将交易金额定义为“保留两位小数的正实数”，确保所有业务场景的数据输入都符合统一规范。制定标准需遵循“业务导向、技术支撑、全员参与”的原则，首先组织业务部门梳理核心业务流，定义关键数据域（如客户信息、交易流水、风控模型特征）的元数据标准，再结合数据仓库设计规范（如Star模式）确定物理存储层面的精度与类型约束，形成可落地的操作指南。

在标准制定过程中，必须引入“黄金标准”与“本地标准”的协同机制，即核心业务系统（如核心信贷系统）的“黄金标准”作为事实源，各业务系统产生的“本地标准”作为加工后的视图，通过数据治理平台自动校验不一致项，确保跨系统数据的一致性。建立动态调整机制，规定数据标准每年至少进行一次评审，针对新上线的金融产品（如新能源车险、智能投顾）或新增的监管报送科目（如反洗钱标识），及时更新数据字典中的映射关系和属性定义，防止标准滞后于业务发展。明确数据质量责任矩阵，将标准定义落实到具体岗位，例如将“客户ID唯一性校验”的责任明确归属于数据清洗专员，将“交易流水完整性校验