大数据分析与商业智能手册.docxVIP

大数据分析与商业智能手册

第1章大数据基础架构与数据治理

1.1大数据核心概念与特性

大数据首先被定义为“用80个维度的特征来描述4个特征，即4V特性”，即Volume（体量）、Velocity（速度）、Variety（多样性）和Value（价值）。例如，某电商平台每日产生的交易数据量可达50亿条，这就是典型的Volume特征，若没有高并发处理能力，系统将无法支撑。速度特征表现为数据的实时采集与处理需求，以每秒10万次的数据写入为例，传统数据库只能处理1000次，而大数据系统需引入流处理框架如Flink或SparkStreaming，确保用户下单时能在毫秒级获得库存信息，否则将导致严重的超卖现象。

多样性特征涵盖结构化数据（如数据库表）、半结构化数据（如JSON日志）和非结构化数据（如图片、视频、文本），某物流平台需同时处理GPS轨迹（非结构化）和订单记录（结构化），单一架构无法覆盖，必须构建混合架构。价值特征强调数据在决策中的转化能力，通过关联分析发现用户行为与消费习惯的关联，例如分析“购买运动鞋”与“购买袜子”的时间差，从而优化库存分配，将原始数据转化为商业洞察。数据具有5V特性中，5个维度的特征包括5D特性，即数据产生速度（Speed）、数据内容（Content）、数据规模（Volume）、数据价值（