参考: https://www.cnblogs.com/zlslch/p/5865707.html
二、编译完成后运行example project报错解决 首先将example的pom.xml文件中的provided去掉1、[not found: type SparkFlumeProtocol] (https://blog.csdn.net/zhaoyunxiang721/article/details/49126725) 原因:部分jar下载不全
spark-2.4.3的编译 问题1、Failed to execute goal org.apache.maven.plugins:maven-enforcer-plugin:3.0.0-M1:enforce (enforce-versions) on project spark-parent_2.11: Some Enforcer rules have failed. Look above for specific messages explaining why the rule failed.根据提示信息,可得到是maven-enforcer-plugin这个插件强制约束了一些rules,查看pom文件,找到约束的rules 可以看到主要还是对maven和java版本的约束,查看机器的maven和java版本,果然发现和pom文件约束的版本不一样,解决办法: 1、更改pom文件中的maven或者java版本 2、更新机器的maven或者java版本 最好还是使用办法2,使用办法1的话,有可能自己机器中maven或者java版本本来就过低,也会导致有些代码无法兼容
问题2、Class not found 3.2 报错 java.lang.NoClassDefFoundError
解决办法:在ProjectStructure–>Modules–>对应的Module–>Dependencies–>Scope, 从provided 改为compile。但是这样一个一个改实在太蠢了,可以直接修改spark-examples_2.11.iml,将里面的scope="PROVIDED"全都替换成空就可以了。如果改了不成功可能是对应的Module选错了,可以多弄几个相关的,看是否解决问题
解释:如果你的jar包/依赖代码 在编译的时候需要依赖,在运行的时候也需要,那么就用compile。如果你的jar包/依赖代码 仅在编译的时候需要,但是在运行时不需要依赖,就用providedCompile