2025年大数据分析与风险控制手册.docxVIP

2025年大数据分析与风险控制手册

第1章大数据分析与风险控制手册

1.1大数据基础架构与数据治理

我们需要明确数据湖（DataLake）与数据仓库（DataWarehouse）的演进逻辑。数据湖采用“存储即服务”的架构，直接以原始、未结构化的格式（如Parquet,ORC,Avro等格式）存储海量数据，旨在捕捉数据的“全貌”而非仅关注“分析结果”。与之相对，数据仓库则经过严格的ETL过程进行清洗、转换和建模，侧重于提供经过验证、结构化的数据视图以支持决策。在架构演进中，企业需遵循“冷热分离”策略。冷数据（如历史归档数据）可长期存储在低成本的对象存储中，而热数据（如