MongoDB与Spark分布式系统集成测试

MongoDB与Spark分布式系统集成测试

1.Spark 2.2.1分布式部署，修改/etc/profile配置文件。（Spark 下载部署过程略）

export SPARK_HOME=/usr/local/spark-2.2.1-bin-hadoop2.6

export PATH=.:$JAVA_HOME/bin:$SCALA_HOME/bin:$HADOOP_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$FLUME_HOME/bin:$ZOOKEEPER_HOME/bin:$KAFKA_HOME/bin:$IDEA_HOME/bin:$eclipse_HOME:$MAVEN_HOME/bin:$ALLUXIO_HOME/bin:$HBASE_HOME/bin:$MongoDB_HOME/bin:$PATH

2. 将配置分发到各个Worker节点。

root@master:~# scp   -rq  /etc/profile   root@192.168.189.2:/etc/profile 
root@master:~# scp   -rq  /etc/profile   root@192.168.189.3:/etc/profile 
root@master:~# scp   -rq  /etc/profile   root@192.168.189.4:/etc/profile 

root@master:~# source /etc/profile
root@worker1:~#  source /etc/profile
root@worker2:~#  source /etc/profile
root@worker3:~#  source /etc/profile

3.启动Hadoop,spark集群。