Apache Hudi数据湖源码编译

1. 下载解压

[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# pwd
/opt/hudi
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# wget https://github.com/apache/hudi/archive/refs/heads/master.zip
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# unzip master.zip
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# cd hudi-master/
[root@bigdata001 hudi-master]#

2. 使用maven编译

修改packaging/hudi-flink-bundle/pom.xml中，profile中id为flink-bundle-shade-hive3的hive.version，和你的Hive集群版本相匹配。默认是3.1.2

[root@bigdata001 hudi-master]# /opt/apache-maven-3.8.4/bin/mvn clean package -DskipTests -Dscala-2.12 -Dspark3 -Dflink1.14 -Pflink-bundle-shade-hive3
 [root@bigdata001 hudi-master]#

• 默认编译的是scala-2.11、spark2、flink1.14
• flink-bundle-shade-hive3默认是provided，激活用于flink同步metastore到hive

编译成功后，Hudi的Flink1.14 jar包位置如下

[root@bigdata001 hudi-master]# 
[root@bigdata001 hudi-master]# ll /opt/hudi/hudi-master/packaging/hudi-flink-bundle/target/hudi-flink1.14-bundle_2.12-0.11.0-SNAPSHOT.jar
-rw-r--r--. 1 root root 46606901 3月  26 09:41 /opt/hudi/hudi-master/packaging/hudi-flink-bundle/target/hudi-flink1.14-bundle_2.12-0.11.0-SNAPSHOT.jar
[root@bigdata001 hudi-master]#