大数据分析与挖掘应用手册（执行版）.docxVIP

大数据分析与挖掘应用手册（执行版）

第1章大数据分析与挖掘基础概念与架构

1.1大数据核心特征与定义解析

大数据首先被定义为5V特征，即数据体量巨大（Volume）、种类繁多（Variety）、速率快（Velocity）、真实性高（Veracity）以及价值密度低。例如，某电商平台每日产生的用户日志可达500亿条，这些数据在物理存储上可能占用数百TB的磁盘空间，远超传统数据库的承载极限。在定义上，大数据区别于传统数据的本质在于其处理范式从“分析-决策”转变为“分析-预测-控制”。传统SQL只能回答“是什么”（What）和“为什么”（Why），而大数据技术能回答“将做什么”（Whatif）、“何时做”（When）以及“怎么做”（How）。

数据特征中的V（Variety）涵盖了结构化数据（如关系型数据库的表格）、半结构化数据（如JSON格式的日志文件）和非结构化数据（如PDF文档、图片、音频等）。这些不同格式的数据往往混合存储，给统一查询带来了巨大挑战。针对“V中的V，企业常采用ETL（Extract,Transform,Load）流程将不同来源的数据清洗并整合。例如，利用ApacheHive将来自MySQL的报表数据与来自Kafka的实时日志流进行统一映射，标准化的数据模型。针对“V中的V，数据清洗是核心环节，