搭建Hadoop3.1.2伪分布方式环境

0、准备工作：为Hadoop配置环境变量

1. 切换root用户，编辑/etc/profile
2. 在etc/profile中添加Hadoop环境变量

   export HADOOP_HOME=/usr/local/hadoop/hadoop-3.1.2/ export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 刷新profile文件

1、启动HDFS 1）配置集群

• 配置hadoop-env.sh

  export JAVA_HOME=/usr/local/jdk1.8.0_181/

• 配置core-site.xml

  
    fs.defaultFS
    hdfs://xmaster:8020
  
  
    hadoop.tmp.dir
    /usr/local/hadoop/hadoop-3.1.2/data/tmp/
  

注意：上面fs.defaultFS的值不要指定为9000，要指定为8020.

• 配置hdfs-site.xml

  
    dfs.replication
    1
  

2）启动集群

• 格式化NameNode

  命令：hdfs namenode -format 注意：只准格式化一次

  

• 启动NameNode

  命令：hdfs --daemon start namenode

• 启动DataNode

  命令：hdfs --daemon start datanode

• 启动SecondaryNameNode

命令：hdfs --daemon start secondarynamenode

3）查看集群

• 查看启动的线程
• 查看日志文件
• 位置：/usr/local/hadoop/hadoop-3.1.2/logs/
• 查看网页 网址：http://xmaster:9870/explorer.html#/

2、启动YARN 1）配置集群

• 配置yarn-site.xml

  
  	yarn.nodemanager.aux-services
  	mapreduce_shuffle
  
  
  	yarn.resourcemanager.hostname
  	xmaster
  

• 配置mapred-site.xml

  
  	mapreduce.framework.name
  	yarn
  

2）启动集群

• 启动nodemanager

  命令：yarn --daemon start nodemanager

• 启动resourcemanager

  命令：yarn --daemon start resourcemanager

3）查看集群

• 查看启动的线程
• 查看启动的网页 网址：http://192.168.237.150:8088/cluster

3、配置历史服务器 1）配置集群

• 配置mapred-site.xml

  
  	mapreduce.jobhistory.address
  	xmaster:10020
  
  
  	mapreduce.jobhistory.webapp.address
  	xmaster:19888
  

2）启动历史服务器

命令：mapred --daemon start historyserver

3）查看集群

• 查看启动的线程
• 查看网页 网址：http://192.168.237.150:19888/jobhistory

4、配置日志聚集

日志聚集指的是命令完成之后将日志信息上传到HDFS系统。

1）配置集群

• 配置yarn-site.xml

	yarn.log-aggregation-enable
	true


	yarn.log-aggregation.retain-seconds
	604800

2）启动集群

• 关闭nodemanager 、resourcemanager和historymanager  命令：

  mapred --daemon stop historyserver yarn --daemon stop resourcemanager yarn --daemon stop nodemanager

• 启动nodemanager 、resourcemanager和historymanager 命令：

  mapred --daemon start historyserver yarn --daemon start resourcemanager yarn --daemon start nodemanager

3）查看集群

• 查看启动的线程