保险行业数据中心数据工程师数据仓库管理手册.docxVIP

保险行业数据中心数据工程师数据仓库管理手册

第1章数据中心基础架构与数据治理

1.1数据仓库整体架构设计

数据仓库采用分层式立体架构，自下而上依次划分为数据层（ODS）、明细层（DIM）、汇总层（ADS）和应用层（ADS），其中数据层作为全链路数据的“源头”，负责直接存储从各业务系统采集的原始交易流水、客户档案及日志文件，确保数据的新鲜度与完整性；明细层负责将ODS层中非结构化或半结构化的原始数据按业务维度（如用户、订单、产品）进行清洗、标准化和维度建模，形成结构化的事实表与维度表；汇总层则通过星型或雪花模型将明细层数据聚合，支持多维分析（OLAP）的报表数据，为上层应用提供高性能查询服务；应用层作为数据仓库的“终点”，直接连接OLAP引擎或数据服务接口，通过API或SQL查询获取所需的业务洞察，实现数据价值的最终转化。在架构设计中，必须建立统一的数据接入网关，作为所有外部数据源的入口，负责协议转换（如将FTP文件转为CSV，将JSON数据转为Parquet格式）及初步校验，确保进入数据仓库的数据格式统一；同时，需在ODS层实施“源头数据”策略，保留原始业务逻辑，不经过任何中间层的加工，以保证数据在流转过程中的可追溯性；明细层与汇总层之间需设计严格的ETL（抽取、转换、加载）流程，通过CDC（变化数据捕获）技术实时监听业务系统变更，