IDEA+SPARK 本地伪分布式开发日志调测

 

IDEA+SPARK 本地伪分布式开发日志调测： 要在windows本地IDEA环境中伪分布式开发spark程序，观察spark框架运行的日志。

 

 

开发代码：

 

 

object SparkShell {
  def main(args: Array[String]): Unit = {
    Logger.getLogger("org").setLevel(Level.ALL)
    val conf = new SparkConf() //创建SparkConf对象
    conf.setAppName("Wow,My First Spark App!") //设置应用程序的名称，在程序运行的监控界面可以看到名称
    conf.setMaster("local-cluster[1, 1, 1024]")
    conf.setSparkHome(System.getenv("SPARK_HOME"))
    val sc = new SparkContext(conf) //创建SparkContext对象，通过传入SparkConf实例来定制Spark运行的具体参数和配置信息
    sc.parallelize("100").count()
    sc.stop()


  }
}

 

 

spark伪分布式的配置

 

class LocalSparkCluster(
    numWorkers: Int,
    coresPerWorker: Int,
    memoryPerWorker: Int,
    conf: SparkConf)