大数据处理与分析应用手册.docxVIP

大数据处理与分析应用手册

第1章大数据数据处理基础架构

1.1大数据核心概念与分类体系

大数据的四个V特征（Volume,Velocity,Variety,Value）是理解其处理难度的基石，其中Volume指数据量级可达PB甚至EB级别，Velocity强调数据产生和处理的实时性要求，Variety涵盖了结构化、半结构化及非结构化数据的混合形态，而Value则指向通过深度挖掘从海量数据中提取的高价值信息。在分类体系中，按处理模式可分为批处理（BatchProcessing）和流处理（StreamProcessing），批处理擅长处理历史数据且计算量大，流处理则适合处理实时事件，两者常结合使用形成“批-流”混合架构。

按数据生命周期划分，数据可分为原始数据、中间数据（如日志、缓存）和最终数据（如报表、模型参数），不同阶段需采用不同的处理策略以满足性能与成本平衡。在架构演进中，从传统的单节点ETL工具演进至云原生数据平台，支持弹性伸缩以应对突发流量，是目前企业级数据处理的通用标准。数据分类还包括按内容维度分为事务数据、关系数据、文档数据、图数据及时序数据，其中时序数据（如传感器数据、金融交易记录）具有高频、长周期和强关联特征，对处理算法有特殊要求。

分类体系还涉及按数据格式分为JSON、Parquet、Avro等二进制格式