您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第139课: Spark面试经典系列之数据倾斜解决之对于两个RDD数据量都很大且倾斜的Key特别多如何解决?

段智华 发布时间:2017-07-10 21:22:47 ,浏览量:0

第139课:  Spark面试经典系列之数据倾斜解决之对于两个RDD数据量都很大且倾斜的Key特别多如何解决?

如果两个RDD的数据量都特别大而且倾斜的Key特别多如何解决:数据量特别大就无法把其中的一个RDD广播出去;如果倾斜的Key值特别多,就无法采用分而治之等方法。例如微信上有海量的数据、淘宝上有海量的数据,如果进行全网扫描就可能遇到这种情况,因为热点特别多,有成千上万个热点。

         两个RDD数据都特别多且倾斜的Key成千上万个,该如何解决数据倾斜的问题?

初步的想法:在倾斜的Key上面加上随机数。该想法的原因:shuffle的时候把key的数据可以分到不同的task里去。加随机数有个前提:必须知道哪些是倾斜的Key。但是:现在的倾斜的key非常之多,成千上万,所以如果说采样找出倾斜的key的话并不是一个非常好的想法。

下一个想法我们考虑进行扩容:首先,什么是扩容?就是把该RDD的中的每一条数据变成5条、10条、20条等,例如RDD中原来是10亿条数据,扩容后可能变成1000亿条数据;

其次࿰

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0674s