52RDD常用转换操作mapfilterflatMap等核心算子16课件讲解.pptxVIP

5.2RDD常用转换操作map、filter、flatMap等核心算子

什么是转换操作？核心定义与特点定义：从已有RDD生成新RDD的操作，是RDD编程的基础。特点：惰性执行（记录不计算）、返回新RDD、支持链式调用。执行机制与优化Spark函数式编程核心，通过组合算子描述逻辑。惰性执行允许将多个转换合并为一个Stage，显著减少磁盘I/O开销。常用分类：一对一映射|一对多展开|集合运算|键值对操作

map：对每个元素应用函数，返回新RDD图示：RDD元素的一对一映射转换过程核心要点作用：将RDD每个元素映射为新元素，输入输出大小相同（一对一）。语法：rdd.map(func:T=U):RDD[U]场景：字符串转大写、提取字段、数值运算等数据清洗与转换。原理与特性map是Spark中最基础的转换算子。它保证输入与输出RDD的分区数量和元素个数一致。在底层实现上，map操作会在每个分区内独立并行执行，充分利用集群的分布式计算能力。需要注意的是，map是窄依赖（NarrowDependency），即每个输出分区仅依赖于一个输入分区。

map示例：数值计算与类型转换核心逻辑：数值平方映射通过map操作将1到10的整数映射为它们的平方值。?输入：1,2,3,...,10?逻辑：x=x*x(匿名函数)?输出：1,4,9,