金融行业数据部数据分析师数据清洗规范手册.docxVIP

金融行业数据部数据分析师数据清洗规范手册

第1章数据质量基础与治理原则

1.1数据质量定义与核心指标体系

数据质量是指在数据源中，数据在准确性、完整性、一致性、及时性、可用性等方面满足业务需求程度的综合度量值。在金融领域，数据被视为资产，其质量直接决定了信贷审批的通过率、风控模型的稳健性以及合规经营的底线。核心指标体系包含准确性指标（如错误率、漏报率）、完整性指标（如缺失率、重复率）、一致性指标（如主键唯一性、跨系统数据一致性）以及及时性指标（如数据延迟时长、更新频率）。这些指标共同构成了数据质量的“体检报告”，用于量化评估数据资产的健康状况。

在数据治理中，准确性是首要指标，要求数值计算无误、逻辑判断正确；完整性关注核心字段（如身份证号、金额）的必填情况，防止因信息不全导致的风险敞口扩大；一致性则确保同一主体在不同系统（如核心系统、营销系统）中的数据保持一致，避免“同一客户在不同渠道被标价不同”的欺诈风险。及时性指标反映了数据从产生到可用时间的长短，对于实时交易流水和实时风控模型至关重要。例如，交易数据必须在T+1秒内完成清洗并入库，否则会导致实时风控模型基于过时数据做出错误决策。可用性指标衡量数据在需要被使用时是否可访问、可查询且无访问障碍，包括数据格式是否标准化、权限配置是否合理以及系统接口是否稳定。高可用性意味着业务人员无需反复排查数据问题即可开展日常