大数据分析与处理指南手册.docx

大数据分析与处理指南手册

第1章大数据概览与基础概念

1.1大数据定义与核心特征（4V）

1.1.1什么是大数据：超越传统数据的量变

我们需要明确大数据不仅仅指数据量的巨大，更在于数据的复杂性。传统数据库（如关系型数据库）主要处理结构化数据，而大数据涵盖了非结构化数据（如文本、图片、视频）和半结构化数据（如JSON、XML日志），这使得数据形态更加多样。大数据的一个核心特征是“体量巨大”，通常用4V来概括：Volume（大量）、Velocity（高速）、Variety（多样）和Value（价值）。例如，某电商平台每天产生的交易记录可能达到PB级别，且每秒都在产生新的