第31课:集群运行模式下的Spark Streaming调试和难点解决实战经验分享
一个batch中产生2个或3个job跟 spark streaming没有任何关系,2个 3个job只跟rdd的take有关。
分区中扫描,找不到数据循环执行job扫分区 ;如第一次分区刚好扫到了,就运行一个job
第31课:集群运行模式下的Spark Streaming调试和难点解决实战经验分享
一个batch中产生2个或3个job跟 spark streaming没有任何关系,2个 3个job只跟rdd的take有关。
分区中扫描,找不到数据循环执行job扫分区 ;如第一次分区刚好扫到了,就运行一个job
微信扫码登录