Hadoop：HDFS基础编程

目录

具体流程：

1.在Linux中安装Eclipse 

2.创建Eclipse项目

3.编写java程序

4.启动Hadoop

5.执行Eclispse中的HDFSFileIfExist.java文件

6.将java工程带出成jar包，直接通过终端命令执行

7.关闭Hadoop

具体流程： 1.在Linux中安装Eclipse 

请查阅：Hadoop：Linux中安装Eclipse

2.创建Eclipse项目

（1）启动Eclipse，系统默认工作空间是“/home/hadoop/workspace”。这里我们直接采用系统默认的工作空间。

（2）创建Java Project,名字是“HDFSExample”。

（3）为项目引入外部jar包。“add External JARS”包括：

1. /usr/local/hadoop/share/hadoop/common目录下的“hadoop-common-2.7.1.jar”和“hadoop-nfs-2.7.1.jar”。
2. /usr/local/hadoop/share/hadoop/common/lib目录下的所有jar包。
3. /usr/local/hadoop/share/hadoop/hdfs目录下的“hadoop-hdfs-2.7.1.jar”和“hadoop-hdfs-nfs-2.7.1.jar”。
4. /usr/local/hadoop/share/hadoop/hdfs/lib目录下的所有jar包。

3.编写java程序

（1）在“HDFSExample”工程中新建文件“HDFSFileIfExist.java”文件。

 （2）HDFSFileIfExist.java

import java.io.IOException;
import org.apache.hadoop.conf.*;
import org.apache.hadoop.fs.*;
public class HDFSFileIfExist {
	public static void main(String[] args) {
		try {
			String fileName = "test";
			Configuration conf = new Configuration();
			conf.set("fs.defaultFS", "hdfs://localhost:9000");
			conf.set("fs.hdfs.impl",
					"org.apache.hadoop.hdfs.DistributedFileSystem");

			FileSystem fs = FileSystem.get(conf);
			if(fs.exists(new Path(fileName))){
				System.out.println("文件存在");
			}else{
				System.out.println("文件不存在");
			}
			
		} catch (IOException e) {
			e.printStackTrace();
		}
	}
}

4.启动Hadoop

在终端中输入命令：

cd /usr/local/hadoop

./sbin/start-dfs.sh

5.执行Eclispse中的HDFSFileIfExist.java文件

 

6.将java工程带出成jar包，直接通过终端命令执行

（1）导出“HDFSExample”工程文件。

• 指住工程“HDFSExample”->右键->export,弹出如下对话框。选择java->Runnable JAR file->next

• 选择启动类和jar文件的存放位置

（2）在Ubuntu终端运行jar文件

先查看导出的jar文件。命令如下：

cd /usr/local/hadoop/myapp

ls

再运行jar文件。命令如下：

cd /usr/local/hadoop

./bin/hadoop jar ./myapp/HDFSExample.jar

输入结果如下：

 

7.关闭Hadoop

cd /usr/local/hadoop

./sbin/stop-dfs.sh