目录
1. application未来能扩展到的最大parallelism
- 1. application未来能扩展到的最大parallelism
- 2. 为DataStream的所有operator设置uuid
- 3. 选择合适的State Backend
- 4. 选择合适的Checkpoint时间间隔
- 5. 搭建一个高可用HA集群,保证JobManager高可用
默认的值由application第一次启动时决定:
- 如果所有operator的最大parallelism小于等于128,则默认值等于128
- 否则默认值 = MIN(nextPowerOfTwo(parallelism + (parallelism / 2)), 2^15),其中nextPowerOfTwo取值规则是,比如nextPowerOfTwo(1000), 最接近的2的指数是2 ^10 = 1024,所以nextPowerOfTwo(1000) = 1024
控制application能扩展的最大parallelism的原因是,为了application的性能
指定的粒度为application、operator,通过setMaxParallelism(maxParallelism: Int)
进行指定,指定范围为0 < parallelism
关注
打赏
热门博文
- 【数据结构与算法】插入排序算法的介绍和程序实现
- 【数据结构与算法】选择排序算法的介绍和程序实现
- 【数据结构与算法】冒泡排序算法的介绍和程序实现
- 【数据结构与算法】排序算法的介绍、各排序算法的时间复杂度
- 【数据结构与算法】使用递归Recursion解决迷宫问题、和八皇后问题
- Containerd容器运行时的私有仓库镜像推送push和镜像拉取问题解决
- 【数据结构与算法】递归Recursion的介绍和基本使用
- 【数据结构与算法】使用栈Stack来实现后缀表达式(逆波兰表达式)求值
- 【数据结构与算法】stack栈的介绍和实现、使用栈来实现中缀表达式求值
- 【数据结构与算法】使用单向环形链表解决约瑟夫(Josephu)问题