大数据分析与业务决策手册.docxVIP

大数据分析与业务决策手册

第1章大数据基础架构与数据采集

第一节数据湖与数据仓库架构选型

1.1数据湖与数据仓库架构选型的核心差异与适用场景

数据湖与数据仓库是现代企业数据治理的两大基石，它们分别代表了数据的“存储形态”与“分析范式”。数据湖以原始、未结构化的数据为特征，采用扁平化存储，支持存储海量非结构化数据（如日志、视频、图片）；而数据仓库则经过分层处理，将数据整合为结构化的、经过清洗和转换的“主题域”数据，旨在为OLAP分析提供高性能支持。选型时，需评估业务场景：若企业拥有海量异构数据但分析需求以实时洞察为主，数据湖是首选；若核心需求是复杂的数据挖掘、关联分析及报表，数据仓库更为合适。

在架构选型初期，首先需明确业务痛点：是追求存储成本的极致节省还是分析查询的极致速度？若数据量超过100PB且包含大量非结构化文件，数据湖能避免昂贵的数据转换成本，适合存储层级的数据归档。其次需考虑数据模型的标准化程度：数据湖允许保持原始格式，适合数据源多样且难以预知的数据；数据仓库则依赖统一的数据模型（如StarSchema），适合对数据一致性要求极高的财务或供应链领域。

还要评估扩展性需求：数据湖采用“存储-计算”分离架构，新增数据源时只需扩展存储层，无需修改计算层，适合敏捷迭代；数据仓库的ETL管道通常较硬，扩展新主题域可能需要重新部署。在成本模