保险行业数据中心数据分析师数据清洗处理手册.docxVIP

保险行业数据中心数据分析师数据清洗处理手册

第1章数据基础架构与元数据管理

1.1数据仓库分层模型设计

数据仓库分层模型是保险行业数据清洗的核心骨架，通常采用“存储层-转换层-应用层”的经典五层架构。存储层（ODS）负责原始数据的直接归集，确保数据落库的及时性；转换层（DWD）通过ETL工具进行去重、补全和标准化，消除数据孤岛；应用层（ADS）则面向业务场景提供清洗后的分析报表。在保险行业，ODS层需覆盖保单、理赔、理赔服务、核保、健康险、车险、财险等全业务域，确保数据源头无遗漏。例如，当系统从核心业务系统导入保单时，ODS层会自动捕获所有字段，包括保单号、投保人信