大数据分析与处理技术指南.docx

大数据分析与处理技术指南

第1章大数据概述与基础架构

1.1大数据定义与核心特征

1.1.1什么是大数据：大数据是指具有海量数据、高速数据、高价值数据以及高复杂度的数据集合，其核心在于数据的规模远超传统处理能力的边界，且数据的类型日益多样化和结构非结构化。

当数据量达到TB甚至PB级别时，传统关系型数据库（如MySQL）往往难以高效存储和检索，必须引入列式存储技术（如Parquet、ORC）来优化空间利用率。数据更新频率极高，秒级甚至毫秒级即可产生新数据，这要求系统具备水平扩展能力，例如使用Kubernetes容器编排平台实现弹性伸缩。

数据价值密度极低，大部分