54RDD集合操作unionintersectiondistinct等81课件讲解.pptxVIP

5.4RDD集合操作union、intersection、distinct等

什么是RDD集合操作？RDD集合操作概念示意核心要点：数学集合特性与操作RDD支持类似数学集合的操作（合并、去重、交集等）。常用算子：union、intersection、distinct、subtract。详细说明：数据处理逻辑这些操作可便捷地合并过滤数据集。union最轻量且不触发Shuffle；而intersection、subtract、distinct需跨分区比较，会触发Shuffle，性能开销较大。性能注意：除union外，大多数集合操作会导致数据混洗（Shuffle），设计作业时需评估数据量与分区策略。

union：合并两个RDD操作作用：将两个RDD的元素合并成一个新的RDD，不自动去重。核心语法：rdd1.union(rdd2)或rdd1++rdd2性能特点：不触发Shuffle过程，数据处理效率高。union是最简单的合并操作，结果RDD的分区数等于两个RDD分区数之和。由于不涉及数据重新分配，它不会触发Shuffle，因此性能很好。若需去重，可在union后调用distinct方法。

intersection：取两个RDD的交集作用：返回两个RDD中都存在的元素，自动去重语法：rdd1.intersection(rdd2)特点：触发Shuffle（