新浦京81707con > 首页 > Storm在Ubuntu环境下的单机部署,Storm单机安装

原标题:Storm在Ubuntu环境下的单机部署,Storm单机安装

浏览次数:129 时间:2019-12-17

Storm在Ubuntu景况下的单机安排

Storm在Ubuntu处境下的单机陈设

目录

  • 查看Ubuntu
  • 安装JDK
  • 安装Pythod
  • 安装Zookeeper
  • 安装ZeroMQ
  • 安装Jzmp
  • 安装Storm

查看Ubuntu是32位还是64

uname -a

归来结果 ==> SMP Fri Feb 22 00:31:26 UTC 2012 x86_64 x86_64 x86_64 GNU/Linux,可知Ubuntu为64位

安装JDK

#下载64位的JDK

wget 

#解压JDK

tar -zxf  jdk-7u79-linux-x64.tar.gz

#设置JDK 的境遇变量(以下步骤1、2、3、4卡塔尔

#步骤1:打开profile文件

vim /etc/profile

#步骤2: 在profile文件的尾部增添境况变量

export JAVA_HOME=/usr/local/jdk1.7.0_76(校正为jdk的安装路线卡塔尔国

export PATH=$JAVA_HOME:$PATH

#步骤3:vim命令形式下,退出并保留profile

:wq

#手续4:profile文件生效

source /etc/profile

安装Python

#下载Python
wget

#解压python文件 
tar zxf Python-2.7.2.tgz

#进入python目录
cd Python-2.7.2

#编译和设置
./configure

make

make install

安装Zookeeper

#下载zookeeper
wget

#解压zookeeper
tar zxf zookeeper-3.4.4.tar.gz

#配备情况变量(以下步骤1、2、3、4卡塔尔(قطر‎

#步骤1:编辑 profile 目录
vim /etc/profile

#手续2:往profile目录中追加蒙受变量
export ZOOKEEPER_HOME=/home/linux/software/zookeeper-3.3.6(改正为zookeeper文件的门径卡塔尔

export PATH=$PATH:$ZOOKEEPER/bin

#步骤3:vim命令情势下,退出并保留profile
:wq

#手续4:profile文件生效

source /etc/profile

安装ZeroMQ

#下载zeromq
wget

#编写翻译和设置
./configure

#在configure时或然会报缺包,安装就可以:sudo apt-get install g uuid-dev

make

sudo make install

sudo ldconfig

安装Jzmp

#安装git
sudo apt-get install git

#下载 jzmq
git clone git://github.com/nathanmarz/jzmq.git

./autogen.sh

#可能会报缺包,安装以下(步骤1、2卡塔尔(英语:State of Qatar)即可:
(1)sudo apt-get install automake

(2)sudo apt-get install libtool auto-make

#编写翻译和装置
 ./configure

  make

  sudo make install

安装Storm

#安装 storm
wget

#解压 storm

tar -zxvf  apache-storm-0.9.6.tar.gz

#设置情况变量
#步骤1:编辑 profile 目录
vim /etc/profile

#手续2:往profile目录中加进情况变量
export STORM_HOME=/home/linux/software/apache-storm-0.9.6(改进为storm文件的渠道卡塔尔(英语:State of Qatar)
export PATH=$PATH:$STORM_HOME/bin

#步骤3:vim命令情势下,退出并保留profile
:wq

#手续4:profile文件生效

source /etc/profile

设置Storm的配备文件(storm.yaml卡塔尔国

#设置zookeeper
 storm.zookeeper.servers:
 - "127.0.0.1"
 
#设置nimbus
 nimbus.host:"127.0.0.1"

#storm当半夏件目录
 storm.local.dir:"/home/linux/data"
 
#每三个端口对应storm三个slot,可以运作storm的一个bolt
 supervisor.slots.ports:
  - 6700
  - 6701
  - 6702
  - 6703

#极度注意:在安装种种参数名称前要加空格,不然会报错。举例表明,设置zookeeper.servers
#空格storm.zookeeper.servers:
#空格-“127.0.0.1”

运行Storm

#启动zookeeper(步骤1、2)

#步骤1:进入zookeeper下的bin目录
cd /home/linux/zookeeper-3.3.6/bin

#步骤2:启动zookeeper
zkServer.sh start
zkServer.sh status  #查看zkserver是或不是成功运维

#启动storm
#步骤1:进入storm下的bin目录
cd /home/linux/apache-storm-0.9.6/bin
#起初服务
storm nimbus
storm supervisor
storm ui

因而探望

Storm在Ubuntu情形下的单机铺排 目录 查看Ubuntu 安装JDK 安装Pythod 安装Zookeeper 安装ZeroMQ 安装Jzmp 安装Storm 查看U...

CentOS 6.5 下 Storm单机安装

本篇幅汇报推特 Storm安装配置,也充任团结的笔记。
storm的合法安装表明(e文):
storm的安装分为单机版和集群版,只是安排稍稍有一点分别,大约相像。
要动用storm首先要安装以下工具:
python、zookeeper、zeromq、jzmq、storm

第一步,安装Python2.7.2
wget
tar zxvf Python-2.7.2.tgz
cd Python-2.7.2
./configure - -without-libsodium
make
make install
vi /etc/ld.so.conf
追加/usr/local/lib/
sudo ldconfig

第二步,安装zookeeper

wget
tar -zxvf zookeeper-3.3.5.tar.gz
cp -R zookeeper-3.3.5 /usr/local/
ln -s /usr/local/zookeeper-3.3.5/ /usr/local/zookeeper
vim /etc/profile (设置ZOOKEEPER_HOME和ZOOKEEPER_HOME/bin)
export ZOOKEEPER_HOME=”/path/to/zookeeper”
export PATH=PATH:ZOOKEEPER_HOME/bin
cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg (用zoo_sample.cfg制作$ZOOKEEPER_HOME/conf/zoo.cfg)
mkdir /tmp/zookeeper
mkdir /var/log/zookeeper
zookeeper的单机安装已经落成了。

第三步,安装zeromq以及jzmq
jzmq的安装貌似是倚重zeromq的,所以应超过装zeromq,再装jzmq。
1)安装zeromq:
wget
tar zxf zeromq-2.2.0.tar.gz
cd zeromq-2.2.0
./configure
make
make install
sudo ldconfig (更新LD_LIBRARY_PATH)
zeromq安装到位。
只顾:如有有依赖报错,须要安装:
jzmq dependencies 依赖包
sudo yum install uuid*
sudo yum install libtool
sudo yum install libuuid
sudo yum install libuuid-devel
2)安装jzmq
yum install git
git clone git://github.com/nathanmarz/jzmq.git
cd jzmq
./autogen.sh
./configure
make
make install
下一场,jzmq就装好了.
瞩目:在./autogen.sh那步假使报错:autogen.sh:error:could not find libtool is required to run autogen.sh,那是因为贫乏了libtool,能够用#yum install libtool*来解决。

第四步,安装Storm
wget
unzip storm-0.8.1.zip
mv storm-0.8.1 /usr/local/
ln -s /usr/local/storm-0.8.1/ /usr/local/storm
vim /etc/profile
export STORM_HOME=/usr/local/storm-0.8.1
export PATH=PATH:STORM_HOME/bin
到此截止单机版的Storm就设置收尾了。

第五步,测量试验一下地方形式的WordCount
下载storm-starter 编译,并导入eclipse 工程:
(   )

  1. 下载strom starter的代码 git clone
  2. 动用mvn -f m2-pom.xml package 进行编写翻译
  3. 复制 storm-starter目录下的m2_pom.xml 为pom.xml ,因为eclipse需要pom.xml
  4. 使用mvn eclipse:eclipse编译成eclipse工程
  5. 在Eclipse 中import 采用storm-starter 的门道,平常导入项目后,会要求设置相应的M2_查阅工程是还是不是正确,大概会须求布署M2_REPO变量,
    M2_REPO配置情势:工程上右键->Properties->Java Build Path->Libraries->AddVariable->Configure Variable->New
    输入Name:M2_REPO , Path:localRepository路线->ok刷新工程,代码不易了,能够打开开荒了
    6. 编写翻译正确后,今后地方跑storm.starter目录下的WordCountTopology,看见如下的截屏,代表本地的local情势能够跑通过
    利用eclipse的export成效导出项目标jar包,便于今后分布式的场地下,提交相应的逻辑
    Strom-Starter创设战败,缺乏twitter4j包 的化解办法:

修正Storm-Starter的pom文件m2-pom.xml ,改革dependency中twitter4j-core 和 twitter4j-stream三个包的依赖版本,如下:

org.twitter4j
twitter4j-core
[2.2,)

org.twitter4j
twitter4j-stream
[2.2,)
要小心下面的本地情势运营WordCount其实并不曾应用到上述安装的工具,只是二个storm的虚构意况下测量检验demo。那大家什么将程序运营在刚刚搭建的单机版的条件之中呢,
很简短,官方的例子:
留意看官方实例中WordCountTopology类假若不带参数其实是实行的本地形式,也正是刚说的假造的条件,带上参数正是将jar发送到了storm实践了。
首先弄好蒙受:
启动zookeeper:
/usr/local/zookeeper/bin/zkServer.sh 单机版直接开发银行,不用改正什么安顿,如集群就需要修改zoo.cfg另大器晚成篇文章会讲到。
配置storm:
文件在/usr/local/storm/conf/storm.yaml
内容:
storm.zookeeper.servers:

  • 127.0.0.1
    storm.zookeeper.port: 2181
    nimbus.host: “127.0.0.1”
    storm.local.dir: “/tmp/storm”
    supervisor.slots.ports:
  • 6700
  • 6701
  • 6702
  • 6703
    以此本子文件写的不咋地,所以在配备时必然留心在每大器晚成项的开始时要加空格,冒号后也非得要加空格,不然storm就不认得那么些构造文件了。
    说圣元下:storm.local.dir表示storm需求运用的地点目录。nimbus.host表示那黄金时代台机器是master机器,即nimbus。storm.zookeeper.servers表示哪几台机械是zookeeper服务器。storm.zookeeper.port表示zookeeper的端口号,这里分明要与zookeeper配置的端口号意气风发致,否则会冒出通讯错误,切记切记。当然你也足以配superevisor.slot.port,supervisor.slots.ports表示supervisor节点的槽数,正是最多能跑多少个worker进度(每一个sprout或bolt暗许只运行一个worker,可是足以由此conf改善成多个)。
    执行:

#bin/storm nimbus(运转主节点)
#bin/storm supervisor(运转从节点)
施行命令:

#storm jar StormStarter.jar storm.starter.WordCountTopology test
此命令的作用便是用storm将jar发送给storm去实行,后边的test是概念的toplogy名称。
解决,职务就发送到storm上运营起来了,还足以因此命令:

#bin/storm ui
运营ui,可以透过浏览器, ip:8080/ 查看运转i情形。

意气风发种基于Storm的可扩张即时数据管理架思虑想

Storm怎么样分配职分和负载均衡? 

Storm进程通信机制剖析

Apache Storm 的历史及涉世训导 

Apache Storm 的详细介绍:请点这里
Apache Storm 的下载地址:请点这里

6.5 下 Storm单机安装 本篇幅陈述FacebookStorm安装配备,也当作本人的笔记。 storm的法定安装表明(e文):...

本文由新浦京81707con发布于首页,转载请注明出处:Storm在Ubuntu环境下的单机部署,Storm单机安装

关键词: 新浦京81707con

上一篇:新葡萄娱乐在线网站Shell基础学习,shell脚本学习

下一篇:没有了