第19课：Spark Streaming架构设计和运行机制大总结

第19课：Spark Streaming架构设计和运行机制大总结

1 spark streaming中的架构设计和运行机制 2 spark streaming的深度思考

Rdd的模板是Dstream，但Dstream操作和RDD不是一一对应的，Dstream和DstreamGraph 不过是幻象。

Spark Streaming本质上RDD+Timer,在RDD的基础之上，Timer在时间驱动下不断循环，周而复始的接收数据处理数据。

recurringTimer

   /**  * Repeatedly call the callback every interval.  */ private def loop() {   try {     while (!stopped) {       triggerActionForNextInterval()     }     triggerActionForNextInterval()   } catch {     case e: InterruptedException =>   } }