大数据技术原理与应用手册.docxVIP

大数据技术原理与应用手册

第1章大数据技术架构基础与核心概念

1.1分布式计算系统概述与演进历程

分布式计算系统的核心目标是解决传统单机计算无法处理的海量数据问题，通过将任务拆分并分散到多台机器上并行执行，实现计算能力的线性甚至指数级提升。其演进历程从最初简单的任务队列调度，发展到如今支持动态伸缩、容错机制完善的现代集群架构。在早期，MapReduce框架通过“分而治之”的策略，将大数据文件切分成小块（Shards），每个节点负责计算一部分数据并写入结果文件，直到所有数据分区处理完毕合并输出，这是分布式计算最经典的范式。

随着对实时性和低延迟要求的提高，Spark引入了内存计