第36课: TaskScheduler内幕天机解密:Spark shell案例运行日志详解、TaskScheduler和SchedulerBackend、FIFO与FAIR、Task运行时本地性算法详解等
TaskScheduler是Spark的底层调度器,底层调度器负责Task本身的调度运行的。
我们编写一个简单的测试代码,setMaster("local-cluster[1, 1, 1024]")设置为Spark本地伪分布式开发模式,从代码的运行的日志中观察Spark框架的运行日志。
1. object SparkTest {
2. def main(args: Array[String]): Unit = {
3. Logger.getLogger("org").setLevel(Level.ALL)
4. val conf = new SparkConf() //创建SparkConf对象
5. conf.setAppName("Wow,My First SparkApp!") //设置应用程序的名称,在程序运行的监控界面可以看到名称
6. conf.setMaster("local-cluster[1, 1,1024]")
7. conf.setSparkHome(System.getenv("SPARK_HOME"))
8. val sc = new SparkContext(conf) //创建SparkContext对象,通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
9.