yarn-cluster

2.1、yarn-cluster

• 2.1.1、yarn-cluster模式打包，提交问题
• 2.1.2、spark在yarn-cluster模式下运行任务报错
• 2.1.3、如何设置driver,executor的内存
• 2.1.4、解决sparn yarn-cluster第三方依赖包的加载
• 2.1.5、yarn资源调度设置
• 2.1.6、 为Spark Application指定不同的JDK版本
  • 随着企业内部业务系统越来越多，基于JVM的服务，通常情况线上环境可能会有多套JDK跑不同的服务。大家都知道基于高版本的Java规范编写的服务跑在低版本的JVM上会出现：java.lang.UnsupportedClassVersionError的异常。
  • spark.yarn.appMasterEnv.JAVA_HOME相当于为Spark Application的Driver设置了特定的JDK版本 (yarn模式下设置)
  • spark.executorEnv.[EnvironmentVariableName]配置，可以用来给Executor进程添加环境变量

park-submit --master yarn-cluster  --class com.chb.test.tongji.WordCount  
 --conf "spark.executorEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121" 
 --conf "spark.yarn.appMasterEnv.JAVA_HOME=/uardata/software/java/jdk8/jdk1.8.0_121" 
  frame.jar /apps/test/input/abc

• 2.1.7、 yarn-cluster运行问题
• 2.1.8、spar提交任务一直处于 (state: ACCEPTED)

  Application is added to the scheduler and is not yet activated. 
  Queue's AM resource limit exceeded.  Details : AM Partition = ; 
  AM Resource Request = ; Queue Resource Limit for AM = ; User AM Resource Limit of the queue = ; Queue AM Resource Usage = ; 

参考 https://community.hortonworks.com/questions/118156/spark-shell-not-getting-launched-queues-am-resourc.html https://www.cnblogs.com/xing901022/p/6174178.html 调节 yarn.scheduler.capacity.maximum-am-resource-percent， 设置有多少资源可以用来运行app master，即控制当前激活状态的应用。默认是20%。