您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第35课: 打通Spark系统运行内幕机制循环流程

段智华 发布时间:2017-05-30 07:57:15 ,浏览量:0

第35课: 打通Spark系统运行内幕机制循环流程

Spark通过DAGScheduler面向整个Job划分出了不同的Stage,划分Stage之后,Stage从后往前划分,执行的时候从前往后执行,每个Stage内部有一系列的任务,Stage里面的任务是并行计算,并行任务的逻辑是完全相同的,但处理的数据不同。DAGScheduler以TaskSet的方式,把我们一个DAG构建的Stage中的所有任务提交给底层的调度器TaskScheduler。TaskScheduler是一个接口,跟具体的任务解耦合,可以运行在不同的调度模式下,如可运行在Standalone模式,也运行在Yarn上。

Spark的基础调度图包括RDD、DAGScheduler、TaskScheduler、Worker等内容,本节讲解TaskScheduler工作原理。

图 8- 3 Spark 运行原理图

DAGScheduler在提交TaskSet给底层调度器的时候是面向接口TaskScheduler的,这符合面向对象中依赖抽象而不依赖具体的原则,带来底层资源调度器的可插拔性,导致Spark可以运行的众多的资源调度器模式上,例如Standalone、Yarn、Mesos、Local、EC2、其它自定义的资源调度器;在Standalone的模式下我们

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1478s