spark在yarn-cluster模式下运行任务报错

1、spark在yarn-cluster模式下运行任务报错 不指定任何参数， 运行正常

spark-submit --master yarn-cluster --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00

当指定executor的配置，运行失败

spark-submit --master yarn  --deploy-mode  cluster --num-executors 3 --executor-memory 128M --class com.chb.test.tongji.Test test.jar /apps/spark/source/ 00

1.1、任务跑失败， 但是没有看出是什么的原因

1.2、到yarn上查看日志，发现日志无法打开 1.3、使用yarn logs -applicationId application_1536581049061_0004查看日详细志信息

Exception in thread "main" java.lang.IllegalArgumentException: 
System memory 129761280 must be at least 4.718592E8. Please use a larger heap size.

分配内存不足， 解决方法设置

	sc.set("spark.testing.memory", "2147480000");

2、在yarn-cluster模式提交

在配置文件中设置

spark.master=yarn-cluster
spark.yarn.queue=YCLL
spark.app.name=LocalTest

2.1、然后通过SparkConf.set(xx,xx), 设置spark的配置，设置提交模式为yarn-cluster,

spark-submit --mainclass examples.jar 参数
 

2.2、发现总是运行local模式 原因： yarn-cluster模式不能通过sprarConf设置，必须通过spark-submit --master yarn-cluster. 3、