Pulsar2.7.0最新版本安装

集群说明

搭建 Pulsar 集群至少需要 3 个组件:

ZooKeeper 集群(3 个 ZooKeeper 节点组成)
bookie 集群(也称为 BookKeeper 集群,3 个 BookKeeper 节点组成)
broker 集群(3 个 Pulsar 节点组成,broker 是 Pulsar 的自身实例)

Pulsar 的安装包已包含了搭建集群所需的各个组件库。无需单独下载 ZooKeeper 安装包和 BookKeeper 安装包。

3 台 Linux 服务器 IP 分别为 10.9.4.22,10.9.5.17,10.9.5.15,生产建议将各个组件分开部署

在 3 台 Linux 裸机服务器上安装 JDK(要求版本不低于 JDK 8)

下载pulsar

下载最新版本pulsar,https://pulsar.apache.org/download/

tar -zxvf apache-pulsar-2.7.0-bin.tar.gz  /workspace/

安装zookeeper

cd /workspace/apache-pulsar-2.7.0/conf/

vim  zookeeper.conf

更改zk存储路径

dataDir=/data/zookeeper/zookeeper

dataLogDir=/data/zookeeper/logs

添加集群ip信息

server.1=10.9.4.22:2888:3888

server.2=10.9.5.17:2888:3888

server.3=10.9.5.15:2888:3888

创建zookeeper目录

mkdir -pv /data/zookeeper/{zookeeper,logs}

分别写入每台zookeeper myid

echo 1 > /data/zookeeper/zookeeper/myid

echo 2 > /data/zookeeper/zookeeper/myid

echo 3 > /data/zookeeper/zookeeper/myid

启动zk命令

bin/pulsar-daemon start zookeeper

检查zookeeper是否启动成功

bin/pulsar zookeeper-shell

get /zookeeper/config

Pulsar2.7.0最新版本安装

 

配置bookeeper

修改bookeeper

cd /workspace/apache-pulsar-2.7.0/

vim conf/bookkeeper.conf

zkServers=10.9.4.22:2181,10.9.5.17:2181,10.9.5.15:2181

journalDirectory=/data/bookkeeper/journal

ledgerDirectories=/data/bookkeeper/ledgers

prometheusStatsHttpPort=8100

创建bookeeper目录

mkdir -pv /data/bookkeeper/{journal,ledgers}

 

在任一个 ZooKeeper 节点上初始化集群元数据

cd /workspace/apache-pulsar-2.7.0/

bin/pulsar initialize-cluster-metadata

--cluster pulsar-cluster-1

--zookeeper 10.9.4.22:2181

--configuration-store 10.9.4.22:2181

--web-service-url http://10.9.4.22:8080

--web-service-url-tls https://10.9.4.22:8443

--broker-service-url pulsar://10.9.4.22:6650

--broker-service-url-tls pulsar+ssl://10.9.4.22:6651

Pulsar2.7.0最新版本安装

查看集群元数据是否初始化成功,看到如下图所内容,表示初始化成功

cd /workspace/apache-pulsar-2.7.0/

bin/pulsar zookeeper-shell

Pulsar2.7.0最新版本安装

启动bookeeper

cd /workspace/apache-pulsar-2.7.0/

bin/pulsar-daemon start bookie

可以通过运行BookKeeper shell上的bookiesanity命令验证 bookie 是否正常工作:

cd /workspace/apache-pulsar-2.7.0/

bin/bookkeeper shell bookiesanity

Pulsar2.7.0最新版本安装

 

启动了所有的 bookie 后,你能够在任意一台bookie上,使用BookKeeper shell的simpletest命令,去校验集群内所有的 bookie 是否都已经启动。

cd /workspace/apache-pulsar-2.7.0/

bin/bookkeeper shell simpletest --ensemble 3 --writeQuorum 2 --ackQuorum 2 --numEntries 1000

这个命令会在集群上创建和bookie 的ledger,并往里面写一些条目,然后读取它,最后删除这个ledger。

 

配置 Broker

修改broker.conf配置文件

cd /workspace/apache-pulsar-2.7.0/

vim conf/broker.conf

zookeeperServers=10.9.4.22:2181,10.9.5.17:2181,10.9.5.15:2181

configurationStoreServers=10.9.4.22:2181,10.9.5.17:2181,10.9.5.15:2181

clusterName=pulsar-cluster-1

brokerServicePort=6650

brokerServicePortTls=6651

webServicePort=8080

webServicePortTls=8443

 

启动broker

bin/pulsar-daemon start broker

Pulsar2.7.0最新版本安装

查看集群 brokers 节点情况

bin/pulsar-admin brokers list pulsar-cluster

Pulsar2.7.0最新版本安装

 

模拟生产者发送消息

bin/pulsar-client produce

persistent://public/default/test

-n 1

-m "Hello Pulsar"

Pulsar2.7.0最新版本安装

监听消费者接收到的消息

bin/pulsar-client consume

persistent://public/default/test

-n 100

-s "consumer-test"

-t "Exclusive"

Pulsar2.7.0最新版本安装

 

上一篇:flink实现读取kafka写入pulsar


下一篇:2021-01-06 USACO Number Triangles