大数据分析与用户画像手册.docxVIP

大数据分析与用户画像手册

第一章大数据基础与数据治理架构

第一节大数据核心概念与演进历程

定义辨析：大数据是指具有大规模、高速度、高价值、高复杂性特征的数据集合。与传统数据库相比，它不再局限于二维结构化数据，而是涵盖了非结构化数据（如文本、图像、视频）和半结构化数据（如JSON、XML），其核心特征被概括为“4V：Volume（数据量巨大）、Velocity（速度快）、Variety（数据类型多样）、Value（价值密度低但挖掘潜力大）。技术演进：从早期的HadoopMapReduce集群开始，数据计算从“离线批处理”模式逐步演进为“实时流处理”模式。如今，基于Flink、SparkStreaming等框架的实时计算已成为主流，使得数据从产生到分析的时间窗口从“天”级缩短至“秒”级，实现了数据价值的即时变现。

架构模式：在架构选型上，业界主流采用“湖仓一体”架构，即DataLakehouse架构。该模式结合了数据湖的弹性扩展能力和数据仓库的标准化查询性能，支持冷热数据混合存储，既保留了原始数据的灵活性，又满足了BI报表的严谨性，是未来数据治理的最佳实践路径。计算范式：随着业务复杂度提升，计算范式正从传统的“存储-计算分离”向“存算一体”演进。在存算一体架构中，计算单元直接嵌入存储节点，支持数据的热更新和在线分析，彻底解决了大规模数据实时分