Strorm学习02--Storm安装

一、安装启动zookeeper

ZK为什么要用3.4.5，因为它支持磁盘的快照和namenode的定期删除， 避免磁盘被打满

配置：

# The number of milliseconds of each tick 
tickTime=2000 
# The number of ticks that the initial synchronization phase can take 
initLimit=10 
# The number of ticks that can pass between sending a request and getting an acknowledgement 
syncLimit=5 
# the directory where the snapshot is stored. 
# do not use /tmp for storage, /tmp here is just example sakes. 
dataDir=/zookeepertest/data 
autopurge.purgeInterval=1 
# the port at which the clients will connect 
clientPort=2181

server.1=test:2888:3888    
server.2=test1:2888:3888 
server.3=test2:2888:388

• dataDi
  • ZK所有的数据都写在dataDir下面
• autopurge.purgeInterval
  • autopurge.purgeInterval=1这是什么意思呢，就是每隔一小 时，它来清理dataDir里面的数据，因为ZK会产生snapshot 和binlog，产生的速度非常快，用不了几天就会把磁盘给打满， 我们一小时清理一次就可以有效的避免这个问题，清理的规则 是清理的时候它会保留最新的3个文件，当然这个3也是可以 配置的
• server.1=test:2888:3888
  • server.x 的x在myid中设置的编号

storm 集群

二、安装Storm

下载，解压缩

2.1 配置Storm的配置文件storm.yaml

cd /usr/local/storm/conf
vi storm.yaml

修改如下：添加集群， 设置主节点

分发到各节点

scp

三、启动Storm 3.1、启动nimbus

在主节点启动nimbus

cd /usr/local/storm
mkdir logs
./bin/storm nimbus >> logs/nimbus.out 2>&1 & 

3.2启动UI

cd /usr/local/storm
./bin/storm ui >> logs/ui.out 2>&1 &

3.3 启动logviewer

启动在8000端口

cd /usr/local/storm
./bin/storm logviewer  >> logs/logviewer 2>&1 &

3.4、启动superviour

在每个节点启动supervisor

cd /usr/local/storm
./bin/storm supervisor >> logs/supervisor .out 2>&1 & 

3.5验证 打开浏览器

http://test:8080

3.6提交 Topology

cd /usr/local/storm
./bin/storm jar examples/storm-starter/storm-startertopologies-0.9.4.jar storm.starter.WordCountTopology wordcount