金融行业数据工程部数据工程师数据工程开发手册.docxVIP

金融行业数据工程部数据工程师数据工程开发手册

第1章

1.1数据工程基础架构与标准规范

数据工程基础架构需遵循“统一入口、分层处理、弹性扩展”的核心理念，首先定义全行级数据接入网关，统一解析标准（如JSON/XML）并实施统一的数据格式转换规则，确保所有来源异构数据在进入处理流水线前具备同构性。建立“数据湖仓一体”的架构分层模型，上游数据湖用于原始数据存储，中游数据仓库用于明细与汇总，下游数据服务层提供实时流式计算能力，各层级间通过CDC（变更数据捕获）技术实现零拷贝数据流转，保障数据一致性。

制定严格的“数据血缘追踪”规范，要求每个数据对象必须关联完整的lineage图谱