您当前的位置: 首页 >  hadoop

川川菜鸟

暂无认证

  • 2浏览

    0关注

    969博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

hadoop入门(六):集群测试

川川菜鸟 发布时间:2022-08-27 20:57:05 ,浏览量:2

文章目录
    • 一、上传文件到集群
    • 二、上传的文件存放位置
      • 2.1 拼接
      • 2.2 执行程序

一、上传文件到集群

hadoop103上传一个服务器的小文件:

hadoop fs -mkdir /input

刷新页面可以看到: 在这里插入图片描述 hadoop102试试:

hadoop fs -mkdir /test

刷新如下,还是可以的: 在这里插入图片描述 上传一个文件a.txt到test文件夹:

hadoop fs -put a.txt /test

如下: 在这里插入图片描述 在这里插入图片描述 再试试上传大文件:

 hadoop fs -put jdk-13.0.2_linux-x64_bin.tar.gz  /test

如下: 在这里插入图片描述 在这里插入图片描述 这里面实际只存储了一个链接,实际存储的数据在datanode节点

查看目录:

 hadoop fs -ls /

如下: 在这里插入图片描述

二、上传的文件存放位置

cd到数据的目录:

cd /home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current

如下: 在这里插入图片描述 其中数据就在BP-258424537-192.168.10.102-1661593286435中,cd进去:

 cd  BP-258424537-192.168.10.102-1661593286435、current/finalized/subdir0/subdir0

最终确定完整路径为:

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0

如下: 在这里插入图片描述 blk_1073741825和blk_1073741825_1001.meta中就是相关文件。 文件的命名和命令行终端不同,命名规则是 “blk_”+ID,后面 .meta也是存储信息的描述

2.1 拼接

在这里插入图片描述 解压:

tar -zxvf tmp.tar.gz

查看路径:

pwd

即HDFS存储的文件就在:

/home/chuan/software/hadoop-3.2.4/data/temp/dfs/data/current/BP-258424537-192.168.10.102-1661593286435/current/finalized/subdir0/subdir0
2.2 执行程序

使用自带的wordcount测试:

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.4.jar  wordcount /input /output
关注
打赏
1665165634
查看更多评论
立即登录/注册

微信扫码登录

0.1513s