搭建RocketMQ双主双从生产环境

PunkLu 2019年12月10日 708次浏览
搭建RocketMQ双主双从生产环境
# 环境
服务器IP
主节点1192.168.1.105
主节点2192.168.1.106
从节点1192.168.1.107
从节点2192.168.1.108

这四台主机都已安装JDK1.8.

将rocketmq-all-4.6.0-bin-release.zip包上传到四台服务器的/usr/local目录下。

其中,主节点1和从节点1完成一主一从配置,主节点2和从节点2完成一主一从配置。

修改Hosts文件

vi /etc/hosts

​ 在四台服务器中都添加以下内容:

192.168.1.105 rocketmq-nameserver1
192.168.1.105 rocketmq-master1

192.168.1.106 rocketmq-nameserver2
192.168.1.106 rocketmq-master2

192.168.1.107 rocketmq-nameserver3
192.168.1.107 rocketmq-master1-slave

192.168.1.108 rocketmq-nameserver4
192.168.1.108 rocketmq-master2-slave

安装

解压

分别执行下列命令解压rocketmq

cd /usr/local
unzip rocketmq-all-4.6.0-bin-release.zip
mv rocketmq-all-4.6.0-bin-release rocketmq

建立软连接

ln -s rocketmq rocketmq

创建数据存储目录

​ 四台服务器都执行以下命令:

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog
mkdir /usr/local/rocketmq/store/consumequeue
mkdir /usr/local/rocketmq/store/index

修改配置文件

进入主节点1的配置目录下:

cd /usr/local/rocketmq/conf/2m-2s-sync

修改配置文件broker-a.properties、broker-b.properties如下,需要注意的是brokerName需要分别为broker-a和broker-b:

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a|broker-b
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

修改配置文件broker-a-s.properties、broker-b-s.properties如下,需要注意的是brokerName需要分别为broker-a和broker-b:

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字,注意此处不同的配置文件填写的不一样,与 Master 通过 brokerName 来配对
brokerName=broker-a|broker-b
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

拷贝文件

将主节点1的这四个配置文件复制到另外三台服务器上:

cd /usr/local/rocketmq/conf/2m-2s-sync/

scp broker-a.properties broker-b.properties broker-a-s.properties broker-b-s.properties 192.168.1.106:/usr/local/rocketmq/conf/2m-2s-sync/

scp broker-a.properties broker-b.properties broker-a-s.properties broker-b-s.properties 192.168.1.107:/usr/local/rocketmq/conf/2m-2s-sync/

scp broker-a.properties broker-b.properties broker-a-s.properties broker-b-s.properties 192.168.1.108:/usr/local/rocketmq/conf/2m-2s-sync/

修改日志配置

mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

修改内存大小

分别修改四台服务器:

vim /usr/local/rocketmq/bin/runbroker.sh
  找到以下内容并替换:
JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"
vim /usr/local/rocketmq/bin/runserver.sh

​ 找到以下内容并替换:

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:PermSize=128m -
XX:MaxPermSize=320m"

启动NameServer

分别启动四台服务器的NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

启动Broker

分别以各自的broker配置文件启动四台服务器的broker:

1、主节点1

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a.properties >/dev/null 2>&1 &

2、主节点2

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties >/dev/null 2>&1 &

3、从节点1

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties >/dev/null 2>&1 &

4、从节点2

nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties >/dev/null 2>&1 &

通过RocketMQ控制台查看集群状态

修改RocketMQ控制台项目配置:

rocketmq.config.namesrvAddr=192.168.1.105:9876;192.168.1.106:9876;192.168.1.107:9876;192.168.1.108:9876

启动项目,点击集群选项,可以看到,双主双从集群已经启动:

RocketMQ双主双从