大数据技术与应用指南.docxVIP

大数据技术与应用指南

第1章大数据技术基础架构与核心概念

1.1大数据定义与特征（4V）

所谓大数据，是指规模巨大、种类多样、更新迅速且价值密度相对较低的复杂信息集合。在经典计算机时代，数据通常被视为静态的、一次性的记录，而大数据则是动态流动的、多源异构的实时数据流。数据量（Volume）是大数据最显著的特征，它突破了传统数据库的存储瓶颈，通常以PB（太字节）甚至EB（艾字节）为单位，例如亚马逊AWS的“大数据时代”报告曾指出其数据量已超1700亿个记录。

数据种类（Variety）反映了数据的形态多样性，既包含结构化的表格数据，也包含非结构化的文本、视频、音频以及半结构化的日志文件，如电商平台的用户评论、社交媒体帖子及传感器原始数据。数据速度（Velocity）强调了数据产生的快和处理及时性的要求，例如社交媒体上的点赞、评论或新闻推送，必须在毫秒级时间内完成数据的采集、清洗并可供查询。数据价值（Value）指从海量数据中提取出对决策有用信息的难易程度，大数据的价值往往隐藏在“长尾”数据中，即那些看似无用的边缘数据，通过关联分析才能挖掘出巨大的商业价值。

理解这4V特征，是构建大数据技术体系的前提，它决定了我们需要采用不同于传统IT架构的分布式计算模型和存储方案。

1.2大数据处理范式（OLAP/OLTP）

OLTP（OnlineTra