大数据应用与数据分析手册（执行版）.docxVIP

大数据应用与数据分析手册（执行版）

第1章大数据基础架构与数据采集

1.1大数据定义与特征分析

大数据被定义为“规模大、类型多、增长快、价值密度低、更新快、处理复杂”的数据集合，其核心在于处理传统计算机难以应对的海量数据。在工业场景中，这意味着企业拥有来自销售、设备、客户等多源异构的实时数据流。大数据的5V特征中，Volume（规模）要求系统能处理TB甚至PB级的数据，例如在智能工厂中，一条产线可能每天产生超过100万条传感器读数，传统数据库无法直接存储。

Variety（类型）指数据类型极其多样，包括结构化数据（如Excel表格）、半结构化数据（如JSON日