Storm集群部署(0.9.4) 2015-05-14 19:00

准备

预安装好如下组件:

  • JDK
  • Python

Zookeeper集群已经安装好。

集群规划

  • Master安装在data03节点;
  • Supervisor、Worker安装在data01、data02节点;

Zookeeper安装在如下三个节点:

  • data01:2181
  • data02:2181
  • data03:2181

安装过程

安装

cd /opt
wget http://apache.fayea.com/storm/apache-storm-0.9.4/apache-storm-0.9.4.zip
unzip apache-storm-0.9.4.zip
mv apache-storm-0.9.4 storm

配置

vi conf/storm.yaml

1
2
3
4
5
6
7
8
9
storm.zookeeper.servers:
  - "data01"
  - "data02"
  - "data03"
#storm.zookeeper.port: 2181

storm.local.dir: "/opt/storm/local.dir"

nimbus.host: "data03"

多节点配置说明

Nimbus和Supervisor节点的配置完全相同。因此,在一个节点完成上述配置后。将整个/opt/storm复制到其他节点即可。

启动

启动Nimbus

data03节点上启动Nimbus:

bin/storm nimbus

启动Supervisor

data01、data02节点上启动Supervisor:

bin/storm supervisor

启动Storm UI

data03节点上启动Storm UI, UI默认监听8080端口:

bin/storm ui

启动Storm Log Viewer UI

每一个节点上启动Storm Log Viewer UI, 其默认监听8000端口:

bin/storm logviewer

参考文档

  1. Setting up a Storm Cluster
  2. 在生产集群上运行topology
Tags: #Storm    Post on Streaming