大数据工程师-数据处理与分析-Apache Spark_SparkStreaming实时数据处理.docxVIP

PAGE1

PAGE1

ApacheSpark基础

1Spark核心概念

ApacheSpark是一个开源的分布式计算系统，它提供了统一的框架来处理大规模数据集。Spark的核心概念包括：

SparkContext:Spark应用程序的入口点，用于创建RDD和数据集。

ResilientDistributedDataset(RDD):Spark的基本数据结构，是一个不可变的、分布式的数据集合。

Transformation:RDD上的操作，返回新的RDD。例如，map,filter,reduceByKey等。

Action:触发RDD上的计算，返回结果