大数据应用与开发手册.docxVIP

大数据应用与开发手册

第1章大数据基础架构与生态

1.1核心概念与术语解析

大数据（BigData）被定义为具有“大量（Volume）、高速（Velocity）、多样（Variety）和真实（Veracity）”四个核心特征的数据集合，其规模通常远超传统数据库的处理能力，且对实时性要求极高。在架构层面，我们需区分“数据源（DataSource）”作为数据的原始入口，如传感器日志或交易系统；“数据仓库（DataWarehouse）”作为经过清洗、整合后的历史分析对象；“数据湖（DataLake）”则是存储原始、未加工数据的低成本存储池，是未来架构的主流形态。

术语中，“计算引擎”指代处理数据的程序组件，包括基于MapReduce的批处理引擎、基于Spark的流处理引擎以及基于Flink的实时计算引擎，它们共同构成了计算能力的基石。数据治理是指通过标准、流程和角色来管理数据的生命周期，确保数据的质量、一致性和安全性，其核心目标是消除“数据孤岛”，让数据资产真正转化为可信赖的生产力。元数据（Metadata）是描述数据的“说明书”，包括数据的内容、结构、来源、质量指标及访问权限等，它是数据资产可视化和智能检索的关键导航图。

安全合规则涵盖了物理安全、网络安全、数据安全及隐私保护，确保在数据传输、存储和使用全过程中符合法律法规（如GDPR、PIPL