大数据技术应用与数据安全手册.docxVIP

大数据技术应用与数据安全手册

第1章大数据技术架构与基础

1.1大数据技术栈全景解析

我们需要明确大数据技术栈的“五驾马车”核心组件：处理引擎（如ApacheSpark）负责计算，存储引擎（如HDFS或S3）负责持久化数据，计算框架（如Flink）负责流式处理，以及数据湖仓一体架构（如Iceberg或DeltaLake）用于统一数据管理。在组件选型上，处理引擎必须支持内存计算与分布式并行，例如Spark引擎利用内存池避免频繁磁盘IO，适合亿级数据量的离线批处理；而流式处理引擎Flink则通过Watermark机制实现毫秒级延迟，确保实时性。

存储层的选择至关重要，Hive是经典的离线分析存储，通过MapReduce引擎将数据先写入HDFS再查询；而对象存储如AWSS3更适合海量非结构化数据，它支持任意格式且成本极低，是数据湖的基础。在数据格式规范上，必须遵循Avro、Parquet或ORC等列式存储格式，这些格式通过压缩（如Snappy或Zstd）和分块（Block）设计，大幅减少传输带宽和内存占用，是数据湖中高效存储的关键。计算框架的调度机制决定了任务的执行效率，例如SparkScheduler会自动将任务拆分为多个executors并行运行，并动态调整资源分配，以应对数据量波动；Flin