Apache Hudi数据湖的Cleaning服务

1. 介绍

默认是自动进行clean，由参数hoodie.clean.automatic设置，表示在每一次commit的时候就clean file slices。推荐设置为true开启该功能

2. Cleaning Retention Policies

• KEEP_LATEST_COMMITS: 默认的policy，保留最近N次commit
• KEEP_LATEST_FILE_VERSIONS：保留最近N个file version

3. Run Asynchronously

该参数只有在hoodie.clean.automatic = true时，才有效。默认为同步clean，设置为异步clean方式如下：

hoodie.clean.async=true

4. CLI

CLI为cleaner service提供以下命令：

• cleans show
• clean showpartitions
• cleans run

更多细节参考org.apache.hudi.cli.commands.CleansCommand