《大数据实时分析技术》课件——数据倾斜介绍.pptxVIP

数据倾斜介绍

01数据倾斜的概念02数据倾斜的成因

数据倾斜的概念01

数据倾斜的概念在Spark中所谓的数据倾斜就是某些数据被集中拉取到一个分区中，由一个task进行处理，这个task相对于其他task执行来说执行非常缓慢，降低了Spark应用程序的执行速度。

数据倾斜的成因02

数据倾斜的成因导致数据倾斜这种问题的原因就是由于Spark中数据有Shuffle。

数据倾斜的成因Spark中数据分为K,V和非K,V之分，对于K,V格式的数据指的就是数据是由一个个的二元组组成，有些Spark业务需要将相同K的数据由不同节点汇聚到同一个节点进行处理，这个汇聚过程就是SparkShuffle。

数据倾斜的成因如果大量相同K格式的数据被汇集到一个节点上，那么这些相同K的数据一定是在同一个分区中，这个分区又由一个task进行处理，如果相对于其他K的数据来说如果当前task处理的数据量大，那么就会导致数据倾斜的出现。

数据倾斜的成因

1.数据倾斜的概念

2.数据倾斜的成因