大数据技术与产业应用手册.docxVIP

大数据技术与产业应用手册

第1章大数据基础理论与架构演进

1.1大数据核心概念与范式

大数据首先被定义为拥有海量（Volume）、高速度（Velocity）、多样式（Variety）和高价值（Value）的数据集合，其核心特征打破了传统数据库的边界，要求系统具备弹性伸缩与实时处理能力。在技术演进上，传统关系型数据库依赖固定的表结构和索引，面对非结构化数据（如日志、图片）时扩展性差，而大数据技术引入了列式存储（如Parquet,ORC）以优化随机读取性能，并配合列式压缩算法大幅降低存储成本。

数据仓库（DataWarehouse）是传统架构的产物，强调数据清洗、历史化存储和事务一致性，适合离线分析；而大数据平台（如Hadoop/Spark）则强调数据实时性、敏捷开发和跨平台集成，支持流式计算（StreamProcessing）和批处理（BatchProcessing）的混合模式。数据湖（DataLake）是另一种重要架构，它直接将原始数据（RawData）以非结构化或半结构化格式存储在低成本对象存储中，不经过预先的ETL清洗过程，为后续的大规模探索性分析（ExploratoryDataAnalysis）提供了最原始的数据源。数据科学范式从传统的“数据收集-清洗-分析-报告”线性流程，演变为“数据-数据治理-数据融合-数