金融行业金融科技部数据工程师ETL数据处理手册.docxVIP

金融行业金融科技部数据工程师ETL数据处理手册

第一章数据治理与元数据管理

1.1数据标准体系构建与规范制定

数据标准体系是金融数据治理的基石，旨在统一全行内部涉及客户、产品、交易及风控等核心领域的数据定义与逻辑，消除“数据孤岛”与语义歧义。在构建该体系时，必须严格遵循“业务导向、技术中立、持续演进”的原则，首先梳理全行现有的数据字典，识别出高频复用且存在不一致的字段，将其划分为“基础事实类”（如客户身份证号、开户行名称）、“业务概念类”（如理财产品等级、收益率计算口径）和“业务结果类”（如交易流水号、风控评分）三大层级。针对金融行业的特殊性，需建立分层级的数据标准规范，其中“基础事实类”数据应强制规定“唯一值”属性，例如明确规定“客户身份证号”在跨系统录入时，前18位必须与央行征信系统完全一致，后缀两位需根据开户行要求补全，严禁出现“8800或1100等非标准格式，确保数据源头的一致性。

在“业务概念类”规范中，必须明确定义“不良贷款率”、“客户综合贡献度”等关键指标的计算公式与取值范围，例如规定“客户综合贡献度”=(总存款+总理财+总信贷)/人均存款，且分子中的“总存款”需剔除“活期存款”部分，分母人均需按“日均存款”计算，所有公式需在数据字典中全文留痕，防止不同部门对同一指标理解偏差。针对交易流水类数据，需制定严格的编码规则与映射关系，例如