环境配置
HBase与MapReduce集成时,MapReduce中要持有Hbase的jar包,步骤如下: 第一步:修改hcmaster的/etc/profile文件
export HBASE_HOME=/usr/local/hbase-2.1.3
export HADOOP_HOME=/usr/local/hadoop-3.1.2
第二步:修改hcmaster的hadoop-env.sh文件: 第三步:将hcmaster的/etc/profile文件和hadoop-env.sh文件远程同步到hcslave1和hcslave2中。
HBase默认集成的一些MapReduce程序,都在hbase-mapreduce-2.1.3.jar包里面,其中: cellcounter:统计HBASE表中有多少个cells的个数 rowcounter:统计hbase中有多少条数据 或者:
结果:
第一步:在hdfs根目录上传文件 第二步:在HBase中创建表fruit
第三步:执行MapReduce将HDFS中的数据转到HBase的fruit表中
命令:yarn jar hbase-mapreduce-2.1.3.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit hdfs://hcmaster:8020/input/fruit.tsv
第四步:查看结果: