2025年大数据分析与挖掘应用手册.docxVIP

2025年大数据分析与挖掘应用手册

第1章大数据基础架构与数据治理

1.1云原生数据湖与数据仓库架构演进

云原生架构的核心在于“弹性伸缩”与“按需付费”，它打破了传统数据仓库必须预先规划存储容量的限制。在演进过程中，数据湖（DataLake）作为底层存储层，采用对象存储（如AWSS3、阿里云OSS）存储原始、未处理的海量非结构化数据（如日志、图片、视频），而数据仓库（DataWarehouse）则作为分析层，提供结构化、清洗后的数据服务。随着大数据处理技术的发展，传统的“湖仓一体”架构成为主流。在这种架构下，数据湖负责数据的原始采集与存储，通过数据湖仓（DataLakehouse）技术，引入列式存储（如Parquet、ORC）和列式计算引擎（如SparkSQL、Trino），使得数据湖既具备数据湖的灵活扩展能力，又具备数据仓库的查询性能。

架构演进的关键在于计算引擎的迁移。从早期的MapReduce向Flink、SparkStreaming等实时流处理引擎演进，实现了数据从“离线批处理”向“实时流批一体”的跨越。这种演进使得数据可以在产生后几毫秒内被识别、分类并写入数据湖，无需等待全量任务完成。在存储选型上，需根据数据访问模式选择合适方案。对于冷数据或归档数据，对象存储成本最低，适合存储TB级数据；对于热数据，需考虑分布式文件系统