大数据应用与风险管理手册（执行版）.docxVIP

大数据应用与风险管理手册（执行版）

第1章

大数据应用基础与合规框架

1.1大数据技术架构演进与核心组件解析

大数据技术架构已从传统的“单点存储”向“湖仓一体”演进，核心在于将原始数据（RawData）与经过清洗处理的数据（CleanData）统一存储在分布式存储系统中，如HadoopHDFS或云原生对象存储，确保数据的全生命周期可追溯。在计算层，集群架构从基于Java的MapReduce向基于Python的Spark迁移，利用其内存计算能力实现大规模数据的实时处理，显著降低了资源消耗与延迟。

数据仓库层采用分层设计，包括事实层（FactTab