您当前的位置: 首页 > 

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Driver到底是什么时候产生的

段智华 发布时间:2017-06-18 21:15:18 ,浏览量:0

6.3   从Application提交的角度看重新审视Driver    6.3.1 Driver到底是什么时候产生的 

在SparkContext实例化的时候通过createTaskScheduler来创建TaskSchedulerImpl和StandaloneSchedulerBackend。

SparkContext.scala源码:

1.       class SparkContext(config: SparkConf) extends Logging {

2.       ……..

3.       val (sched, ts) = SparkContext.createTaskScheduler(this, master,deployMode)

4.           _schedulerBackend = sched

5.           _taskScheduler = ts

6.        

7.           _dagScheduler = newDAGScheduler(this)

8.           _heartbeatReceiver.ask[Boolean](TaskSchedulerIsSet)   

9.       ……

10.    private def createTaskScheduler(

11.       .......

12.          case SPARK_REGEX(sparkUrl)=>

13.    

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0407s