您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第36课: TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法

段智华 发布时间:2017-06-01 07:25:26 ,浏览量:0

第36课:  TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等

TaskScheduler是Spark的底层调度器,底层调度器负责Task本身的调度运行的。

         我们编写一个简单的测试代码,setMaster("local-cluster[1, 1, 1024]")设置为Spark本地伪分布式开发模式,从代码的运行的日志中观察Spark框架的运行日志。

1.          object SparkTest {

2.           def main(args: Array[String]): Unit = {

3.             Logger.getLogger("org").setLevel(Level.ALL)

4.             val conf = new SparkConf() //创建SparkConf对象

5.             conf.setAppName("Wow,My First SparkApp!") //设置应用程序的名称,在程序运行的监控界面可以看到名称

6.             conf.setMaster("local-cluster[1, 1,1024]")

7.             conf.setSparkHome(System.getenv("SPARK_HOME"))

8.             val sc = new SparkContext(conf) //创建SparkContext对象,通过传入SparkConf实例来定制Spark运行的具体参数和配置信息

9.             

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0424s