第146课: Spark面试经典系列之Yarn Cluster生产环境下JVM问题及解决方案 1 spark on yarn 下jvm的OOM的问题及解决方式 2 spark中 driver的stack overflow的问题及解决方式
Yarn Cluster生产环境下JVM问题 OOM
为什么客户端模式一定没有OOM,而Cluster模式一定发生OOM,两者之间的区别是driver部署不同,因此 OOM是driver级别导致的OOM
driver在client客户端模式的内存100M,那么在Cluster模式也会是100M,不会一下增长到200M
driver 在client客户端 内存100M 没有问题,在Cluster模式 内存 100M 有问题: