您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Spark 2.1.0新一代Tungsten 内存管理的模型及其实现类的解析

段智华 发布时间:2017-06-30 07:32:23 ,浏览量:0

 

9.2.2内存管理的模型及其实现类的解析

在2016年1月4号发布的 Spark 1.6中,提出了一个新的内存管理模型,即统一内存管理管理模型,对应在Spark 1.5 及之前的版本则使用静态的内存管理模型。关于新的统一内存管理模型,可以参考https://issues.apache.org/jira/secure/attachment/12765646/unified-memory-management-spark-10000.pdf。在该文档中详细描述了各种可能的设计以及各设计的优缺点。另外也可以参考网上对Spark内存管理模型解析非常深入的博客http://0x0fff.com/spark-memory-management/(Alexey Grishchenko),博客内容包含了静态内存模型管理与动态内存模型管理的详细说明。

为了解决现有基于JVM托管方式的内存模型所存在的缺陷,ProjectTungsten设计了一套新的内存管理机制,在新的内存管理机制中,Spark的operation可以直接使用分配的binary data(二进制数据)而不是JVM objects。避免了数据处理过程中不必要的序列化与反序列化的开销,同时基于off-heap方式管理内存,降低了GC所带来的开销。

ProjectTungsten通过sun.misc.Unsafe来管理内存,关于sun.misc.Unsafe(

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1011s