spark的优化控制数据分区和分布.docVIP

spark的优化－控制数据分区和分布 数据分区： 在分布式集群里，网络通信的代价很大，减少网络传输可以极大提升性能。 mapreduce框架的性能开支主要在io和网络传输，io因为要大量读写文件，它是不可避免的，但是网络传输是可以避免的，把大文件压缩变小文件，从而减少网络传输，但是增加了cpu的计算负载。 Spark里面io也是不可避免的，但是网络传输spark里面进行了优化： spark把rdd进行分区（分片），放在集群上并行计算。 同一个rdd分片100个，10个节点，平均一个节点10个分区 当进行sum型的计算的时候，先进行每个分区的sum，然后把sum值shuffle传输到主程序进行全局sum，所以进行sum型计算对网络传输非常小。 但对于进行join型的计算的时候，需要把数据本身进行shuffle，网络开销很大。 spark是如何优化这个问题的呢？ spark把key－value rdd通过key的hashcode进行分区，而且保证相同的key存储在同一个节点上，这样对改rdd进行key聚合时，就不需要shuffle过程 我们进行mapreduce计算的时候为什么要尽兴shuffle？，就是说mapreduce里面网络传输主要在shuffle阶段，shuffle的根本原因是相同的key存在不同的节点上，按key进行聚合的时候不得不进行shuffle。shuffle