大数据课程与资源手册.docxVIP

大数据课程与资源手册

第1章大数据概论与理论基础

1.1大数据时代的演进历程

回顾1980年代，数据主要指存储在硬磁盘上的结构化文本文件，如财务凭证和人事档案，其特点是数量少且易于处理。进入2000年代，随着互联网普及，数据开始以网页形式存在，形成了非结构化的文本和图像，但数据量仍难以支撑深度分析。

2008年，Google提出3V特征（Volume规模、Velocity速度、Variety多样性），标志着数据开始被视为一种新的生产要素。2010年后，云计算和Hadoop生态系统的成熟，使得海量数据的存储与计算能力得以突破，大数据概念正式进入主流视野。2013年，Facebook发布4V理论，在Volume基础上增加了Value价值，强调数据需经过挖掘才能产生商业价值。

进入2018年至今，（）与大模型的结合，使得数据分析不再仅仅是报表，而是具备预测、和自主决策能力。

1.2大数据核心特征解释

数据规模（Volume）是指数据量的巨大性，例如亚马逊一天产生的日志数据可达500TB，远超传统数据库的存储上限。数据速度（Velocity）强调数据产生的快与处理的速度，如电商订单每秒可能产生数十条，要求系统具备毫秒级响应能力。

数据种类（Variety）涵盖结构化数据（如SQL表）、半结构化数据（如JSON格式）和非结