Spark调优策略与实践：代码优化、RDD复用及持久化策略.pdfVIP

•代码调优

–避免创建重复的RDD

•valrdd1=sc.textFile(path1)

•valrdd2=sc.textFile(path1)这就是创建了重复的RDD

•有什么问题？对于执行性能来说没有问题，但是呢，代码乱

–尽可能复用同一个RDD

•valrdd1=RDDString,String

•valrdd2=rdd.map(_._2)

这样的话rdd2是rdd1的子集。rdd2执行了一个操作filterrdd2.filter()=rdd1.map（(_._2)）.filter()

–对多次使用的RDD进行持久化

–尽量避免使用shuffle类算子

•join预先分区

•广播大变量来模拟join（一个RDD比较小2G以下，一个rdd比较大）

–使用map-side预聚合的shuffle操作

•reduceByKeyaggregateByKey

–使用高性能的算子

–广播大变量

–使用Kr