您当前的位置: 首页 >  交互

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

Driver和Master交互原理解析,Driver消息循环体的产生

段智华 发布时间:2017-06-19 07:21:21 ,浏览量:0

6.3.2 Driver和Master交互原理解析

Driver和Master进行交互,Master是一个消息循环体,本章节讲解Driver消息循环体的产生过程,Drvier消息循环体生成之后,就可以与Master互相通信。

在Spark应用程序提交的时候,我们会提交一个spark-submit脚本,spark-submit脚本中直接运行了org.apache.spark.deploy.SparkSubmit这个对象。Spark-submit脚本内容如下所示。

1. #!/usr/bin/env bash

2. SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"

3. export PYTHONHASHSEED=0

4. exec "$SPARK_HOME"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"//运行SparkSubmit

进入到SparkSubmit中,main函数代码如下所示。

SparkSubmit.scala源码:

1. def main(args: Array[String]): Unit = {

2.     //由启动main函数传入的参数构建SparkSubmitAruments对象

3.     val appArgs = new SparkSubmitArguments(args

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1279s