第30课:彻底解密Spark 2.1.X中Shuffle中JVM Unified Memory内幕详情:Spark Unified Memory的运行原理和机制是什么?Spark JVM最小配置是什么?用户空间什么时候会出现OOM?Spark中的Broadcast到底是存储在什么空间的?ShuffleMapTask的使用的数据到底在什么地方?
- Spark Unified Memory的运行原理和机制是什么? Spark Unified Memory,这是统一或者联合的意思,但是 Spark 没有用 Shared 这个字,例如 A 和 B 进行 Unified 和 A 和 B 进行 Shared 其实是两个不同的概念 。
- Spark JVM最小配置是什么?
- 用户空间什么时候会出现OOM?spark 2.1.x中用户空间OOM ,首先要确定user space memory是什么,举个很简单的例子,假如Executor 是100G的内存,那user space memory是什么ÿ