Pulsar 2.5.0 之本地集群搭建

Pulsar 2.5.0 之本地集群搭建

官网原文标题《Set up a standalone Pulsar locally》

翻译时间:2020-02-12

官网原文地址:http://pulsar.apache.org/docs/en/standalone/

译者:本文介绍了如何在本地搭建单机集群。

为了开发和测试,你需要在你的本地机器上安装本地集群模式,本地集群模式包括Pulsar broker, 以及必须ZooKeeper and BookKeeper组件,都是运行在你的单个虚拟机实例上。

提示:如果你需要运行所有的组件,请参考  Deploying a Pulsar instance 指南.

系统必要条件

Pulsar可以运行在MacOS和Linux上。需要安装Java 8来运行pulsar。

Pulsar 启动默认分配2G堆内存,如果需要调整修改conf/pulsar_env.sh 文件中的PULSAR_MEM参数

使用二进制包 release版本安装 Pulsar

通过如下任何一个地址下载二进制realease版本包

Apache 镜像

Pulsar 下载页

Pulsar 主页

wget

$ wget https://archive.apache.org/dist/pulsar/pulsar-2.5.0/apache-pulsar-2.5.0-bin.tar.gz

下载完成 tarball 通过tar命令解压,cd命令进入目录

$ tar xvfz apache-pulsar-2.5.0-bin.tar.gz

$ cd apache-pulsar-2.5.0

解压目录结构如下

  录    内容 

  bin    Pulsar的命令行工具,例如pulsar和pulsar-admin 

  conf    Pulsar的配置文件,包括broker配置、zookeeper配置等等 

  example    Pulsar  function例子的Java jar文件 

  lib    Pulsar用到的Jar文件 

  licenses    各种Pulsar codebase组件的License文件,.txt形式, 

一旦你开始运行Pulsar,下面的这些目录将会被创建.

  目录    内容 

  data    ZooKeeper和BookKeeper使用的数据存储目录 

  instances    为Pulsar  Function创建的Artifact 

  logs    安装时创建的log 

安装 builtin connectors (可选)

从2.1.0-incubating发布后,Pulsar发布了一个单独的binary分发版,含有所有内建connector。如果你想要使用这些内建connector,你可以通过下述方式下载connector tarball。

Apache镜像下载

Pulsar IO Connectors 2.5.0-incubating release

Pulsar下载页

Pulsar发布页

使用wget

$wget https://archive.apache.org/dist/pulsar/pulsar-2.5.0/connectors/{connector}-2.5.0.nar

下载好tarball后,在pulasr目录下解压io-connectors包,然后在pulsar目录下拷贝connectors。例如 pulsar-io-aerospike-2.5.0.nar

$ mkdirconnectors

$ mvpulsar-io-aerospike-2.5.0.nar connectors

$ lsconnectors

pulsar-io-aerospike-2.5.0.nar

安装 tiered storage offloaders (可选)

如果你想要使用这些内建tiered storage offloaders,你可以通过下述方式下载tiered storage offloaders tarball。

Apache镜像下载

Pulsar Tiered Storage Offloaders 2.5.0 release

Pulsar下载页

Pulsar发布页

使用wget

$wgethttps://archive.apache.org/dist/pulsar/pulsar-2.5.0/apache-pulsar-offloaders-2.5.0-bin.tar.gz

下载好tarball后,在pulsar目录下解压offloaders包,然后在pulsar目录下拷贝offloaders。

$ tarxvfz apache-pulsar-offloaders-2.5.0-bin.tar.gz

// you willfinda directory named`apache-pulsar-offloaders-2.5.0`inthe pulsar directory

//thencopy the offloaders

$ mvapache-pulsar-offloaders-2.5.0/offloaders offloaders

$ lsoffloaders

tiered-storage-jcloud-2.5.0.nar

如果想了解tiered storage配置的信息 请参考 Tiered storage cookbook.

集群部署需要把offloaders tarball解压到所有pulsar目录下

Docker部署需要用apachepulsar/pulsar-all镜像覆盖原apachepulsar/pulsar镜像

启动本地集群

$ bin/pulsar standalone

启动成功,看到如下信息:

2017-06-0114:46:29,192-INFO-[main:WebSocketService@95]-Configuration Store cache started

2017-06-0114:46:29,192-INFO-[main:AuthenticationService@61]-Authentication is disabled

2017-06-0114:46:29,192-INFO-[main:WebSocketService@108]-Pulsar WebSocket Service started

服务运行在终端,如果需要再后台启动,需要使用pulsar-daemon start standalone 命令,更多详情,请参考  pulsar-daemon.

默认情况下没有加密,没有安全认证,不需要配置安全认证参数。允许通过非安全认证策略访问。安全配置请参考 Security Overview

启动本地单机集群,Pulsar将会自动创建public/default namespace,你可以用来作开发目的。所有的Pulsar topic都将在此namespace下管理,了解更多 Topics.

测试你的cluster安装

Pulsar提供了名为pulsar-client 的CLI工具,使你可以做一些诸如发送或消费消息到topic

测试消费者

$ bin/pulsar-client consume my-topic-s"first-subscription"

如果消费成功,你可以在pulsar-client中看到如下信息

09:56:55.566 [pulsar-client-io-1-1] INFO org.apache.pulsar.client.impl.MultiTopicsConsumerImpl-[TopicsConsumerFakeTopicNamee2df9] [first-subscription] Success subscribe new topic my-topicintopics consumer, partitions:4, allTopicPartitionsNumber:4

my-topic 不存在,无论是消费者还是生产者都会自动这个主题

测试生产者

$ bin/pulsar-client produce my-topic--messages"hello-pulsar"

如果消息发送成功,你可以在pulsar-client中看到如下信息

13:09:39.356 [main] INFO org.apache.pulsar.client.cli.PulsarClientTool-1messages successfully produced

停止集群

Ctrl+C 停止本地集群

如果是使用 pulsar-daemon start standalone 命令启动, 需要使用pulsar-daemon stop standalone 命令停止服务,了解更多, 查阅 pulsar-daemon.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 158,736评论 4 362
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 67,167评论 1 291
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 108,442评论 0 243
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 43,902评论 0 204
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 52,302评论 3 287
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 40,573评论 1 216
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 31,847评论 2 312
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 30,562评论 0 197
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 34,260评论 1 241
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 30,531评论 2 245
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 32,021评论 1 258
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 28,367评论 2 253
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 33,016评论 3 235
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 26,068评论 0 8
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 26,827评论 0 194
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 35,610评论 2 274
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 35,514评论 2 269

推荐阅读更多精彩内容

  • 1. 网站集群架构搭建规划 1.1 中小规模基础网站集群架构规划 1.2 网站集群搭建顺序规划 1.3 主机IP及...
    阿丧小威阅读 334评论 0 0
  • 起床:5:34 就寝:凌晨1点左右 天气:阴 心情:美美哒 任务清单 昨日完成的任务,最重要的三件事:完成50% ...
    起点_e57c阅读 260评论 0 0
  • 1早 读书2h(2本书) 占星学习1h 晚上运动1h 公众号碎片化学习(经济,互联网,社媒,思维 ,文案,占星,美...
    看星星的蝎子阅读 44评论 0 0
  • 窗外的冷风融进蒙蒙细雨中,是秋天了。 绿瓦、红砖、柳树、青苔,它们绝非无序堆砌出来的杂乱景物,而是融进了浓浓的...
    忱兮_阅读 418评论 0 3
  • 昨天送女儿去吉安读书了,这也意味着我的单身女生活模式开启了。好在女儿的暂时没去吉安,才得以女儿陪了我二十来天。那二...
    独孤草原狼阅读 97评论 0 0