您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第143课: Spark面试经典系列之Reduce端OOM和shuffle file not found如何解决?

段智华 发布时间:2016-07-13 21:14:27 ,浏览量:0

第143课:  Spark面试经典系列之Reduce端OOM和shuffle file not found如何解决? 1 reduce端的OOM如何解决? 2 shuffle file not found如何解决?

 

 

 

 

 

 

reducer:默认堆大小为20% cache:每个Task有缓存,缓存层的大小可以设置为24M,48M,96M。。。

reducer端 OOM的解决方案: 如原来是48M,分配的内存有限,会出现过多的对象,造成OOM,因此调小缓存大小,就改为24M,让程序先跑起来,但调小会造成shuffle的次数变多了,造成性能降低了。这个需后来再优化,慢慢再调,增加executor,加内存。

spark.reducer.maxSizeInFlight

 

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

2.6072s