第12课 ：Spark Streaming源码解读之Executor容错安全性

第12课 ：Spark Streaming源码解读之Executor容错安全性

 /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20：00YY频道现场授课频道68917580*/

1、从数据安全的角度考虑，Spark Streaming不断的接收数据，不断的生成job，不断的提交job，数据的安全性是至关重要问题。 2、Spark Streaming基于spark core，运行的过程中，借助spark core的rdd自动恢复。 因此首先保证数据的安全容错。数据层面的安全容错之上，计算、调度层面的安全容错主要是spark core实现的容错，天然就是安全容错的。

数据的2种安全容错方式，没有第三种方式了。 1、支持副本    借助blockmanager做备份 storgelever。disk and memory 2  2、支持重放--反复读取数据，例如过去10秒的数据。

tips：听spark streaming吃力唯一的问题是对spark core 掌握不够，内功不够。spark core 真的最重要的！！无为而无所不为！

 

 

@DeveloperApi
class