第35课:彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现
Spark 2.1.X中Sort Shuffle 中TimSort排序:
1,从Spark 1.6.x开始,默认核心的Shuffle是Sort Shuffle,同学们可能有个印象Sort Shuffle要完成数据排序的,但这个印象是有问题的,例如写个最简单的WordCount程序,为什么在默认情况下不进行排序呢?所以从Hash Shuffle的方式变成SortShuffle,具体是怎么实现排序的?
2,TimSort排序方式,一种相对权衡了各方面的排序方式,假如排序的数据分成很多不同的块,TimSort有很好的排序性能上的表现。因此,有必要彻底研究一下TimSort怎么实现的。
回顾一下,我们跟踪代码是从Sorter.scala中跟到timSort的,也就是进行ExternalSorter的时候要进行排序,默认情况下基于PartitionID进行排序,对PartitionID进行排序并不意味着对数据本身进行排序,我们在Sorter.scala用到了timSort。研究一下timSort的源代码,会发现timSort和MergeSort有点类似,实质上有很大的区别,我们可以初步感知timSort的排序方式。MergeSort排序的方式把数据分成很多片,开始分成很多小文件,最终把小文件合并成大文件。timSort可以认为是MergeSort排序的改良。
TimSort优化MergeSort排序,把它变成稳定的、适应的、迭代的排序,TimSort基于分布式的排序,效率有很大的提升。
MergeSort排序默认长度是1,归并的