大数据分析与应用实务手册（执行版）.docxVIP

大数据分析与应用实务手册（执行版）

第1章大数据基础理论与环境构建

1.1大数据核心概念与范式演进

大数据的核心定义在于其“五V特征：Volume（海量）、Velocity（高速）、Variety（多样）、Veracity（真实性）及Value（价值）。在实务中，这通常通过“4V模型简化为：Volume（数据量级达到PB甚至EB级别）、Velocity（数据产生与处理速度接近光速）、Variety（数据格式涵盖结构化、半结构化和非结构化）、Veracity（数据质量参差不齐，需清洗）以及Value（高价值信息密度）。例如，某电商平台日均产生1000TB交易记录，其中80%为结构化日志，20%为用户路径等非结构化数据，这种混合特征正是大数据区别于传统数据库的关键。范式演进经历了从“关系型数据库”到“数据仓库”再到“数据湖”的演变。传统范式依赖SQL进行二维表关联，而现代范式强调扁平化存储。例如，传统架构需通过ETL将实时产生的日志存入HDFS，而新一代架构直接通过Kafka消费流式数据存入对象存储，无需预先写入数据库，从而实现了从“批处理”到“实时计算”的范式跨越。

在技术栈选择上，需明确“计算引擎”与“存储引擎”的分工。计算引擎如Spark负责处理大规模数据，而存储引擎如HDFS负责持久化存储。例如，在金融风控场景中，