大数据分析与市场研究手册.docx

大数据分析与市场研究手册

第1章大数据分析与市场研究手册

1.1大数据技术架构概览与核心组件解析

在构建市场研究体系时，首先需明确“数据湖”作为核心存储层的角色，它采用分层架构（ODS、DW、ADS）将原始数据、清洗数据及分析数据分离存储，以支持海量非结构化数据（如社交媒体文本、图像）的集中收录，确保数据资产的可扩展性与低成本存储。数据仓库（DW）作为数据流转的中枢，负责将各业务系统产生的数据按“星型模型”或“雪花模型”进行标准化整合，通过维度表与事实表的结构化设计，为后续的市场维度（如区域、人群）和交易事实表提供统一的计算基准。

大数据计算引擎（如Spark或Flink）