您当前的位置: 首页 > 

宝哥大数据

暂无认证

  • 0浏览

    0关注

    1029博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

flume学习02---日志记录调试

宝哥大数据 发布时间:2017-03-18 10:52:37 ,浏览量:0

一、记录原始信息

在许多生产环境中,记录流过摄取流水线的原始数据流是不期望的行为,因为这可能导致泄露敏感数据或安全相关配置,例如到Flume日志文件的密钥。 默认情况下,Flume不会记录这样的信息。 另一方面,如果数据流水线断开,Flume将尝试提供调试问题的线索。 调试事件管道问题方法

  • 方法:设置一个额外的Memory Channel连接到Logger Sink,它将所有事件数据输出到Flume日志。 然而,在某些情况下,这种方法是不够的。
  • 为了确保记录event和配置相关数据,除了log4j属性之外,还必须设置一些Java系统属性。

    • a>确保配置相关的日志记录,

      • 在命令行执行时设置Java系统属性-Dorg.apache.flume.log.printconfig = true。
      • 也可以在flume-env.sh中的JAVA_OPTS变量中设置。
    • b>确保数据的记录
      • 请按上述相同的方式设置Java系统属性-Dorg.apache.flume.log.rawdata = true。
      • 对于大多数组件,log4j日志记录级别也必须设置为DEBUG或TRACE,以使事件特定的日志记录显示在Flume日志中。
以下是启用配置日志记录和原始数据记录的示例,同时将Log4j日志级别设置为DEBUG用于控制台输出:
bin/flume-ng agent --conf conf --conf-file example.conf --name a1 -Dflume.root.logger=DEBUG,console -Dorg.apache.flume.log.printconfig=true -Dorg.apache.flume.log.rawdata=true

关注
打赏
1587549273
查看更多评论
立即登录/注册

微信扫码登录

0.3390s