数据分析技术与行业应用手册.docx

数据分析技术与行业应用手册

第1章数据基础与预处理

1.1数据仓库架构与ETL流程

数据仓库架构的核心在于“三域”设计，即逻辑模型、物理模型和维模型，旨在通过星型模型或雪花模型将历史数据仓库与实时数据仓库区分开来，前者侧重运营分析，后者侧重实时决策。ETL流程中的抽取（Extract）阶段需采用CDC（ChangeDataCapture）技术实时抓取源系统变更，而非仅依赖T+1的批量全量扫描，以捕捉毫秒级的业务波动。

转换（Transform）环节需构建宽表模型，将宽表（WideTable）与窄表（NarrowTable）有机结合，利用列式存储压缩存储大表，提