hadoop入门（八）：配置历史服务器与查看

一、配置服务器 1.1 mapred-site.xml配送

cd $HADOOP_HOME/etc/hadoop
vim mapred-site.xml

添加内容：

 
 
    mapreduce.jobhistory.address 
    hadoop102:10020 
 
 
 
 
    mapreduce.jobhistory.webapp.address 
    hadoop102:19888 
 

如下： 说明：

• 将历史服务器mapreduce.jobhistory.address配置在hadoop102:10020内部通讯端口
• 历史服务器对外暴露的接口：用户查看集群里面的历史服务，从web页面查看，这个端口用的hadoop102:19888

先关闭dfs:

stop-dfs.sh

再启动：

start-dfs.sh

如下：

1.2 分发配置

执行分发：

xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

如下：

1.3 启动历史服务器

执行：

mapred --daemon start historyserver

如下：

1.4 执行测试程序

hadoop fs -mkdir /input

hadoop fs -put wcinput/word.txt /input

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input/word.txt  output2

如下：

1.5 查看history

继续回到：http://hadoop103:8088/cluster ，如下，这是个任务历史列表，选择自己对应的：

点击ID: 查看日志：

三、HDFS浏览器删除文件（额外补充）

记录以下删除HDFS文件，前面不小心上传多了，语法如下：

hadoop fs -rm -r -skipTrash 文件地址

例如：

hadoop fs -rm -r -skipTrash /input/container-executor.cfg

再查看：

hadoop fs -ls /input

如下：