一、记录原始信息
在许多生产环境中,记录流过摄取流水线的原始数据流是不期望的行为,因为这可能导致泄露敏感数据或安全相关配置,例如到Flume日志文件的密钥。 默认情况下,Flume不会记录这样的信息。 另一方面,如果数据流水线断开,Flume将尝试提供调试问题的线索。 调试事件管道问题方法
- 方法:设置一个额外的Memory Channel连接到Logger Sink,它将所有事件数据输出到Flume日志。 然而,在某些情况下,这种方法是不够的。
为了确保记录event和配置相关数据,除了log4j属性之外,还必须设置一些Java系统属性。
a>确保配置相关的日志记录,
- 在命令行执行时设置Java系统属性-Dorg.apache.flume.log.printconfig = true。
- 也可以在flume-env.sh中的JAVA_OPTS变量中设置。
- b>确保数据的记录
- 请按上述相同的方式设置Java系统属性-Dorg.apache.flume.log.rawdata = true。
- 对于大多数组件,log4j日志记录级别也必须设置为DEBUG或TRACE,以使事件特定的日志记录显示在Flume日志中。
bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true