win10安装hadoop3.1.2

1、安装环境

• win10 64位
• jdk1.8
• hadoop3.1.2

2、安装jdk1.8，并配置环境变量

3、安装配置hadoop 3.1、下载

到hadoop官网下载hadoop的最新版本压缩包，下载地址：Hadoop3.1.2，解压过后目录如下所示：

3.2、解压并配置环境变量

在环境变量中新建HADOOP_HOME变量，变量值是hadoop压缩包解压后所在的文件路径 将HADOOP_HOME变量添加到系统变量PATH路径中，并进入\bin中，配置如下：

3.3、查看Hadoop版本

用记事本打开etc\hadoop\hadoop-env.cmd文件，找到set JAVA_HOME=%JAVA_HOME% 一行，将其值修改为jdk所在目录。因为Program Files中存在空格，需要使用PROGRA~1 代替Program Files，即改为C:\PROGRA~1\Java\jdk1.8.0_192

查看Hadoop版本：

3.4、修改配置文件

• 在core-site.xml 文件中添加：

	
        fs.defaultFS
        hdfs://localhost:8020
    
    
        hadoop.tmp.dir
        /D:/hadoop-3.1.2/data/tmp
    
    
        fs.trash.interval
        1440
    

• 在mapred-site.xml文件中添加：

   
      	  mapreduce.framework.name
     	  yarn
    

• 在yarn-site.xml文件中添加：

	
            yarn.nodemanager.aux-services
            mapreduce_shuffle
    
	
            yarn.nodemanager.aux-services.mapreduce.shuffle.class
            org.apache.hahoop.mapred.ShuffleHandler
	

• 在hdfs-site.xml文件添加：

首先在D:/hadoop-3.1.2/下创建data文件夹，并在data下创建namenode和datanod两个子文件夹，然后修改hdfs-site.xml文件：

    
        dfs.replication
        1
    
	 
     dfs.permissions.enabled 
     false 
  
   
       dfs.namenode.name.dir
       /D:/hadoop-3.1.2/data/namenode
   
   
		fs.checkpoint.dir
		/D:/hadoop-3.1.2/data/snn
	
	
		fs.checkpoint.edits.dir
		/D:/hadoop-3.1.2/data/snn
	
	   
       dfs.datanode.data.dir
       /D:/hadoop-3.1.2/data/datanode
   

3.5、替换bin目录下的文件

默认下载的Hadoop不支持Windows系统，需要替换bin目录下的文件方便在Windows上运行。找到3.1.0版本winutils,下载后直接替换掉hadoop目录下bin文件即可： 下载地址：apache-hadoop-3.1.0-winutils-master.7z

3.6、格式化namenode

命令：hdfs namenode -format 注意：第一次启动前执行，只执行一次。 当出现下图时说明格式化成功： 格式化后，发现：

3.7、启动Hadoop

将D:\hadoop-3.1.2\share\hadoop\yarn\timelineservice 将这个文件夹下的hadoop-yarn-server-timelineservice-3.1.2.jar 包 复制到这个路径下D:\hadoop-3.1.2\share\hadoop\yarn 即可解决。

3.8、查看管理页面

• http://localhost:8088/cluster
• http://localhost:9870/dfshealth.html#tab-overview