第16课：Spark streaming 源码解读之数据清理内幕彻底揭秘

第16课：Spark streaming 源码解读之数据清理内幕彻底揭秘  /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/ 1、Spark streaming  数据清理原因和现象 2、Spark streaming 数据清理代码解析

spark运行在jvm上，jvm也会产生对象，jvm自动进行对象的回收GC。 Spark streaming 也是这样，每个batch duration，也有自己的对象管理机制，就像jvm的GC。Spark streaming 生成对象，对象运行完成以后也要进行回收。

走技术路线的终极秘诀，选择一项技术做到极致！

Dstream是模板，RDD数据被DStream产生的，因此回收工作从Dstream入手 DStream的操作也是对RDD操作，DStream负责了RDD 的生命周期

 

 

JobGenerator

 

private def processEvent(event: JobSchedulerEvent) {
  try {
    event