您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第35课:彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现

段智华 发布时间:2017-05-18 07:27:38 ,浏览量:0

第35课:彻底解密Spark 2.1.X中Sort Shuffle 中TimSort排序源码具体实现

Spark 2.1.X中Sort Shuffle 中TimSort排序:

         1,从Spark 1.6.x开始,默认核心的Shuffle是Sort  Shuffle,同学们可能有个印象Sort Shuffle要完成数据排序的,但这个印象是有问题的,例如写个最简单的WordCount程序,为什么在默认情况下不进行排序呢?所以从Hash Shuffle的方式变成SortShuffle,具体是怎么实现排序的?

         2,TimSort排序方式,一种相对权衡了各方面的排序方式,假如排序的数据分成很多不同的块,TimSort有很好的排序性能上的表现。因此,有必要彻底研究一下TimSort怎么实现的。

         回顾一下,我们跟踪代码是从Sorter.scala中跟到timSort的,也就是进行ExternalSorter的时候要进行排序,默认情况下基于PartitionID进行排序,对PartitionID进行排序并不意味着对数据本身进行排序,我们在Sorter.scala用到了timSort。研究一下timSort的源代码,会发现timSort和MergeSort有点类似,实质上有很大的区别,我们可以初步感知timSort的排序方式。MergeSort排序的方式把数据分成很多片,开始分成很多小文件,最终把小文件合并成大文件。timSort可以认为是MergeSort排序的改良。

TimSort优化MergeSort排序,把它变成稳定的、适应的、迭代的排序,TimSort基于分布式的排序,效率有很大的提升。

         MergeSort排序默认长度是1,归并的

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0500s