金融行业科技部大数据工程师大数据处理操作手册（执行版）.docx

金融行业科技部大数据工程师大数据处理操作手册（执行版）

第X章

大数据数据处理基础规范与标准

1.1数据质量评估与清洗规则

数据质量评估模型需基于多维指标体系，将“准确性、完整性、一致性、及时性”四大核心维度量化为具体评分，例如在数据入库前，利用正则表达式匹配身份证号格式，将不符合规则的数据标记为“格式错误”，确保基础数据在进入下游系统前即符合国际通用标准。清洗规则引擎应自动识别并处理脏数据，当检测到重复记录时，系统需根据主键ID自动保留第一条有效记录并触发“去重”操作，防止因数据冗余导致的业务逻辑冲突，同时利用窗口函数计算连续缺失值，自动填充为最近一次有效数据。

数据完整性校验需采