大数据技术应用与数据分析手册.docxVIP

大数据技术应用与数据分析手册

第1章大数据基础架构与数据治理

1.1大数据技术体系演进与核心概念

从传统关系型数据库向分布式架构的演进，标志着数据处理范式的根本转变。早期系统依赖单点计算，而新一代架构通过Hadoop生态，实现了数据在存储层与计算层的解耦，允许海量数据在本地进行并行处理，从而支撑PB级数据的实时分析需求。核心概念中，MapReduce是分布式计算的经典算法，它将数据先写入内存（Map阶段）进行局部处理，再发送到磁盘（Reduce阶段）进行汇总，这种分而治之的策略是构建大数据平台的基础逻辑。

在数据湖（DataLake）架构中，原始数据以非结构化形式（