您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第31课:彻底解密Spark 2.1.X中Shuffle中内存管理源码解密:StaticMemory和UnifiedMemory

段智华 发布时间:2017-05-07 20:30:47 ,浏览量:0

第31课:彻底解密Spark 2.1.X中Shuffle中内存管理源码解密:StaticMemory和UnifiedMemory

 大数据的事情只需关注2个平台:spark,tensorFlow(图像,深度学习)

本文根据家林大神系列课程编写 http://weibo.com/ilovepains 内存管理MemoryManager属于spark框架内部的, 包含2种类型: 1,统一内存管理 UnifiedMemoryManager 属于框架内部private[memory] 2,静态内存StaticMemoryManager  

1,统一内存管理 UnifiedMemoryManager

private[spark] class UnifiedMemoryManager private[memory] (
    conf: SparkConf,
 
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0680s