《大数据离线分析技术》课件——算子调优 .pptxVIP

算子调优

使用mapPartitions算子提高性能使用coalesce算子提高性能使用foreachPartition算子进行数据库连接Repartition的使用

/01基本介绍

使用mapPartitions算子提高性能

使用mapPartitions算子提高性能（一）mapPartition的优点：使用普通的map操作，假设一个partition中有1万条数据，那么function就要被执行1万次，但是使用mapPartitions操作之后，function仅仅会被执行一次，显然性能得到了很大的提升。mapPartition的缺点：使用普通的map操作，调用一次function执行一条数据，不会出现内存不够使用的情况；但是使用mapPartitions操作，很显然，如果数据量太过于大的时候，由于内存有限导致发生OOM，内存溢出。

使用mapPartitions算子提高性能（二）总结：通过以上以上优缺点的对比，我们可以得出一个结论；就是在数据量不是很大的情况下使用mapPartition操作，性能可以得到一定的提升。在使用mapPartition前，我们需要预先估计一下每个partition的量和每个executor可以被分配到的内存资源。然后尝试去运行程序。

使用mapPartitions算子提高性能（三）如果程序没有问题就大可放心的使用