大数据分析与挖掘技术手册（执行版）.docx

大数据分析与挖掘技术手册（执行版）

第1章数据基础与预处理

1.1数据湖与数据仓库架构选型

在构建大数据系统时，首先需要明确存储架构模式，这直接决定了数据从源头到应用层的流转效率与成本。数据湖（DataLake）是一种低成本、可扩展的存储架构，它允许以原始、未结构化的格式存储海量数据，无论其是否经过处理，都直接存储在对象存储中，如HDFS或S3，支持全量数据归档与快速检索。相比之下，数据仓库（DataWarehouse）则侧重于结构化数据，通过ETL过程将数据清洗、转换并加载到关系型数据库或OLAP引擎中，旨在提供高效、准确的分析报表。选型时需评估数据规模、访问频