大数据技术应用与数据分析手册（执行版）.docxVIP

大数据技术应用与数据分析手册（执行版）

第1章大数据基础架构与数据采集

1.1大数据处理范式演进

随着数据量的爆发式增长，传统的“批处理”模式已无法满足实时性要求，业界确立了从“批流一体”向“流批一体”及“全链路实时计算”的演进路线。在演进初期，我们主要依赖Hadoop生态中的MapReduce框架进行离线批处理，其核心逻辑是先将数据写入HDFS进行存储，再分批次执行计算任务，适用于离线报表但存在数据延迟。

随着物联网设备激增，实时性成为关键，SparkStreaming和Flink应运而生，它们支持微批次（Micro-batch）或事件驱动的数据处理，能在毫