2025年大数据分析与用户画像手册.docxVIP

2025年大数据分析与用户画像手册

第1章大数据基础架构与数据治理

1.1分布式存储体系与数据湖架构

分布式存储体系是数据湖架构的物理基石，采用HDFS（HadoopDistributedFileSystem）作为核心组件，其设计初衷是支持TB级甚至PB级数据的非结构化存储。在架构中，数据被划分为数据目录和数据块，数据块以128MB为最小单位，通过NameNode管理元数据目录，而DataNode负责物理存储，这种分层设计确保了即使部分节点宕机，数据访问也能通过副本机制（如3-2-1策略）实现高可用，无需重建整个文件系统。数据湖架构通过引入列式存储格式（如Parquet、ORC）来优化读取性能，相比传统的行式存储（如CSV），列式存储将数据按列压缩，极大减少了存储空间占用，同时显著提升了随机读取效率，这对于用户画像中频繁查询的稀疏特征字段尤为关键。

在数据湖中，原始数据（RawData）与加工数据（ProcessedData）通过数据湖仓（DataLakehouse）进行统一存储，原始数据保持未处理状态供分析，而加工数据经过清洗、转换后存储在对象存储（如S3）中，这种分离机制允许团队同时维护原始数据以保证可追溯性，同时利用大数据工具快速处理加工数据。数据湖架构支持多种存储引擎的混合使用，例如将关系型数据库（如MySQ