第31课:彻底解密Spark 2.1.X中Shuffle中内存管理源码解密:StaticMemory和UnifiedMemory
大数据的事情只需关注2个平台:spark,tensorFlow(图像,深度学习)
本文根据家林大神系列课程编写 http://weibo.com/ilovepains 内存管理MemoryManager属于spark框架内部的, 包含2种类型: 1,统一内存管理 UnifiedMemoryManager 属于框架内部private[memory] 2,静态内存StaticMemoryManager 1,统一内存管理 UnifiedMemoryManagerprivate[spark] class UnifiedMemoryManager private[memory] ( conf: SparkConf,