您当前的位置: 首页 >  hadoop

川川菜鸟

暂无认证

  • 2浏览

    0关注

    969博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

hadoop入门(九):日志聚集功能配置

川川菜鸟 发布时间:2022-08-28 17:13:22 ,浏览量:2

日志聚集概念:应用运行完成以后,将程序运行日志信息上传到 HDFS 系统上。 在这里插入图片描述 日志聚集功能好处:可以方便的查看到程序运行详情,方便开发调试。 注意: 开启日志聚集功能,需要重新启动 NodeManager 、ResourceManager 和HistoryServer。

文章目录
    • 一、配置步骤
      • 1.1 配置 yarn-site.xml
      • 1.2 分发配置
      • 1.3 重启NodeManager 、ResourceManager 和 HistoryServer
    • 二、测试
      • 2.1 执行程序
      • 2.2 查看日志

一、配置步骤 1.1 配置 yarn-site.xml
vim yarn-site.xml

添加内容:

 
 
    yarn.log-aggregation-enable 
    true 
 
 
   
    yarn.log.server.url   
    http://hadoop102:19888/jobhistory/logs 
 
 
 
    yarn.log-aggregation.retain-seconds 
    604800 
 

1.2 分发配置
xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

如下: 在这里插入图片描述

1.3 重启NodeManager 、ResourceManager 和 HistoryServer

先关闭:

mapred --daemon stop historyserver
sbin/stop-yarn.sh

再启动:

sbin/start-yarn.sh
mapred --daemon start historyserver

如下: 在这里插入图片描述

二、测试 2.1 执行程序

执行程序(注意输出路径不能存在):

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input/word.txt  output3

如下: 在这里插入图片描述

2.2 查看日志

浏览器:http://hadoop102:19888/jobhistory 在这里插入图片描述 点击job ID 就可以查看日志: 在这里插入图片描述 点击右小角的logs,查看运行日志详情: 在这里插入图片描述

关注
打赏
1665165634
查看更多评论
立即登录/注册

微信扫码登录

0.0878s