并行算法优化策略与大数据处理实践.pdfVIP

2019/1/26极客时间||

快速排序堆排序从理论上讲，这个排序问题，已经很难再从算法层面优化了。而利用

、。

并行的处理思想，我们可以很轻松地将这个给8GB数据排序问题的执行效率提高很多倍。

具体的实现思路有下面两种。

第一种是对归并排序并行化处理。我们可以将这8GB的数据划分成16个小的数据集合，

每个集合包含500MB的数据。我们用16个线程，并行地对这16个500MB的数据集合

进行排序这16个小集合分别排序完成，我们再将这16个有序集合合并。

。

第二种是对快速排序并行化处理。我们通过扫描一遍数据，找到数据所处的范围区间。我

们把这个区间从小到大划分成16个小区间。8GB的数据划分到对应的区间中。针

对这16个小区间的数据，我们启动16个线程，并行地进行排序。等到16个线程都执行

结束，得到的数据就是有序数据了。

对比这两种处理思路，它们利用的都是分治的思想，对数据进行分片，然后并行处理。它

们的区别在于，第一种处理思路是，先随意地