您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第146课: Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案

段智华 发布时间:2016-07-16 20:48:39 ,浏览量:0

第146课:  Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案 1 spark on yarn 下jvm的OOM的问题及解决方式 2 spark中 driver的stack overflow的问题及解决方式

 

Yarn Cluster生产环境下JVM问题 OOM

为什么客户端模式一定没有OOM,而Cluster模式一定发生OOM,两者之间的区别是driver部署不同,因此 OOM是driver级别导致的OOM

 

 

 

driver在client客户端模式的内存100M,那么在Cluster模式也会是100M,不会一下增长到200M

driver 在client客户端 内存100M 没有问题,在Cluster模式 内存 100M  有问题:

 

 

 

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0432s