136课： Spark面试经典系列之数据倾斜解决原理和方法总论. 1 spark数据倾斜解决的原理总论 2 spark数据倾斜解决方法总论
RDD-钨丝计划-DataFrame-Dataset 数据倾斜后果很严重：OOM、速度慢，不能控制时间 数据倾斜解决原理，讨论： 1、spark基于线程复用，均衡计算、均衡数据 2、key值加上随机前缀 两阶段聚合 局部聚合+全局聚合 3、别只考虑数据量，还要考虑具体数据在具体机器上的计算能力，进行平滑拆分 4、采样倾斜key并分拆join操作 5、去掉shuffle 6、适当提高shuffle操作的并行度 7、根据key值扩大数据规模 膨胀数据 8、reducebykey、join在shuffle之前解决掉，利用广播 9、不要小看spark的数据结构，使用好的数据结构和序列化，编码解码方式，减少数据总量，节省30%的磁盘、内存，要知道GC是spark的死穴 10、将数据放在Tachyon中带来更好的数据本地性，减少网络的Shuffle 11、复用RDD，最小化job的工作，极大的缓解数据倾斜。已有RDD复用可能 30% 80% 100%
