Flink TaskManager的Memory Model内存模型

1. Memory Model内存模型图

1.1 Total Process Memory

作用：整个TaskManager进程的内存 组成：等于Total Flink Memory + JVM Metaspace + JVM Overhead 配置：由taskmanager.memory.process.size: xxxm配置，默认为1728m

Total Flink Memory 作用：属于Flink的内存 配置：由taskmanager.memory.flink.size: xxxm配置，没有默认值。不推荐同时配置Total Process Memory和Total Flink Memory

JVM Metaspace 作用：属于Off Heap内存，主要储存类的元数据 配置：由taskmanager.memory.jvm-metaspace.size: xxxm配置，默认为256m

JVM Overhead 作用：属于Off Heap内存，保留给JVM其他的内存开销，例如Thread Stack、code cache、GC回收等 配置：由下面3个参数进行配置

• taskmanager.memory.jvm-overhead.min: xxxm，默认为192m
• taskmanager.memory.jvm-overhead.max: xxxm，默认为1g
• taskmanager.memory.jvm-overhead.fraction: 0.xx，默认为0.1

1.2 Total Flink Memory

组成：等于JVM Heap + Managed Memory + Direct Memory

1.2.1 JVM Heap

Framework Heap 作用：TaskManager框架自己所以的Heap内存，不用于执行task 配置：由taskmanager.memory.framework.heap.size: xxxm配置，默认为128m

Task Heap 作用：执行task所需的Heap内存 配置：由taskmanager.memory.task.heap.size: xxxm配置，默认等于Total Flink Memory – Framework Heap – Managed Memory – Direct Memory

1.2.2 Managed Memory

作用：属于Off Heap内存，主要用于排序、哈希表、中间结果缓存、RocksDB的backend 配置： 方式一：由taskmanager.memory.managed.size: xxxm配置，没有默认值 方式二：由taskmanager.memory.managed.fraction: 0.xx配置，默认为0.4，即Total Flink Memory的40%

1.2.3 Direct Memory

Framework Off-Heap 作用：taskManager保留的Off-Heap内存，不会分配给任何slot 配置：由taskmanager.memory.framework.off-heap.size: xxxm配置，默认为128m。不建议进行修改

Task Off-Heap 作用：用于Flink代码中调用Native方法 配置：由taskmanager.memory.task.off-heap.size: xxxm配置，默认为0m

Network 作用：Task与Task之间进行数据Shuffle时的缓存内存 配置：由下面3个参数进行配置

• taskmanager.memory.network.min: xxxm，默认为64m
• taskmanager.memory.network.max: xxxm，默认为1g
• taskmanager.memory.network.fraction: 0.xx，默认为0.1

2. JVM内存概念 2.1 Heap

作用：主要用于储存new出来的对象和数据，由GC垃圾回收器进行维护

2.2 Off-Heap

作用：主要用于储存地址空间，不由GC垃圾回收器维护