金融行业运营部数据专员数据清洗分析手册.docxVIP

金融行业运营部数据专员数据清洗分析手册

第1章数据治理规范与基础架构

1.1数据质量红线与定义标准

数据质量红线是指数据在传输、存储或处理过程中，若出现任何一项指标低于特定阈值（如完整性低于95%、准确性低于90%或一致性低于85%），将直接触发告警并冻结相关数据的使用权限，严禁用于生产决策或报表，确保数据资产的安全性。完整性标准要求核心业务表（如客户信息表、交易流水表）中必填字段（如身份证号、手机号、交易时间）的填充率必须达到100%，缺失值需通过数据清洗工具自动标记并触发二次核查流程，确保“数据无死角”。

准确性标准规定数值型字段（如金额、利率、日期）的精度必须严格符合业务约定（例如：金额保留两位小数，日期统一为YYYY-MM-DD格式），严禁出现“0.000001或“2023/05/13等格式不一致的情况。一致性标准强调多源异构数据在逻辑上的统一，例如将“客户名称”、“全名”和“姓名”统一映射为同一业务实体，且“客户ID在不同渠道录入时，必须保证主键唯一性，杜绝“”对应不同ID的混乱现象。及时性标准要求非实时业务数据（如每日结算报表）的延迟不得超过T+1小时，实时交易数据（如每秒交易记录）的延迟需控制在毫秒级，确保数据能反映业务发生的最新状态。

可用性标准设定了数据服务的SLA指标，例如核心数据接口在业务高峰期需保持99.