RocketMQ主从模式集群环境搭建

PunkLu 2019年12月09日 86次浏览
RocketMQ主从模式集群环境搭建

系统环境

1、操作系统:64位CentOS7

2、jdk版本:1.8.0_221

3、IP地址:192.168.31.188、192.168.31.93

4、编译过的rocketmq-all-4.6.0-bin-release.zip安装包上传到两台服务器的/usr/local/目录下

安装过程

添加Hosts信息

​ 编辑hosts信息

vi /etc/hosts

​ 添加并保存,将两台服务器的IP信息添加进去:

192.168.31.188 rocketmq-nameserver1
192.168.31.188 rocketmq-master1
192.168.31.93 rocketmq-nameserver2
192.168.31.93 rocketmq-master1-slave

解压RocketMQ并重命名

unzip rocketmq-all-4.6.0-bin-release.zip
mv rocketmq-all-4.6.0-bin-release rocketmq

建立软连接

ln -s rocketmq rocketmq

创建存储路径

mkdir /usr/local/rocketmq/store
mkdir /usr/local/rocketmq/store/commitlog  // 存储RocketMQ数据
mkdir /usr/local/rocketmq/store/consumequeue // 消费队列
mkdir /usr/local/rocketmq/store/index  // 索引

修改日志配置

mkdir -p /usr/local/rocketmq/logs
cd /usr/local/rocketmq/conf && sed -i 's#${user.home}#/usr/local/rocketmq#g' *.xml

修改配置文件

​ 修改第一台服务器中/usr/local/rocketmq/conf/2m-2s-async目录下broker-a.properties的内容为如下内容,其中与配置单节点RocketMQ不同的是namesrvAddr属性为两台服务器的nameserver地址,

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=0
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=ASYNC_MASTER
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

​ 修改第一台服务器中/usr/local/rocketmq/conf/2m-2s-async目录下的broker-a-s.properties,替换为以下内容,与之前的修改不同的是,brokerRole的值是SLAVE,brokerId的值为大于0的1(表示是SLAVE)

#所属集群名字
brokerClusterName=rocketmq-cluster
#broker 名字,注意此处不同的配置文件填写的不一样
brokerName=broker-a
#0 表示 Master,>0 表示 Slave
brokerId=1
#nameServer 地址,分号分割
namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
#在发送消息时,自动创建服务器不存在的 topic,默认创建的队列数
defaultTopicQueueNums=4
#是否允许 Broker 自动创建 Topic,建议线下开启,线上关闭
autoCreateTopicEnable=true
#是否允许 Broker 自动创建订阅组,建议线下开启,线上关闭
autoCreateSubscriptionGroup=true
#Broker 对外服务的监听端口
listenPort=10911
#删除文件时间点,默认凌晨 4 点
deleteWhen=04
#文件保留时间,默认 48 小时
fileReservedTime=120
#commitLog 每个文件的大小默认 1G
mapedFileSizeCommitLog=1073741824
#ConsumeQueue 每个文件默认存 30W 条,根据业务情况调整
mapedFileSizeConsumeQueue=300000
#destroyMapedFileIntervalForcibly=120000
#redeleteHangedFileInterval=120000
#检测物理文件磁盘空间
diskMaxUsedSpaceRatio=88
#存储路径
storePathRootDir=/usr/local/rocketmq/store
#commitLog 存储路径
storePathCommitLog=/usr/local/rocketmq/store/commitlog
#消费队列存储路径存储路径
storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
#消息索引存储路径
storePathIndex=/usr/local/rocketmq/store/index
#checkpoint 文件存储路径
storeCheckpoint=/usr/local/rocketmq/store/checkpoint
#abort 文件存储路径
abortFile=/usr/local/rocketmq/store/abort
#限制的消息大小
maxMessageSize=65536
#flushCommitLogLeastPages=4
#flushConsumeQueueLeastPages=2
#flushCommitLogThoroughInterval=10000
#flushConsumeQueueThoroughInterval=60000
#Broker 的角色
#- ASYNC_MASTER 异步复制 Master
#- SYNC_MASTER 同步双写 Master
#- SLAVE
brokerRole=SLAVE
#刷盘方式
#- ASYNC_FLUSH 异步刷盘
#- SYNC_FLUSH 同步刷盘
flushDiskType=ASYNC_FLUSH
#checkTransactionMessageEnable=false
#发消息线程池数量
#sendMessageThreadPoolNums=128
#拉消息线程池数量
#pullMessageThreadPoolNums=128

​ 而后,使用如下命令将这两个配置文件拷贝到另外一台服务器的同一目录下:

scp broker-a.properties broker-a-s.properties 192.168.31.93:/usr/local/rocketmq/conf/2m-2s-async/

修改脚本启动参数

vim /usr/local/rocketmq/bin/runbroker.sh

​ 找到以下内容并替换:

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g"
vim /usr/local/rocketmq/bin/runserver.sh

​ 找到以下内容并替换:

JAVA_OPT="${JAVA_OPT} -server -Xms1g -Xmx1g -Xmn1g -XX:PermSize=128m -
XX:MaxPermSize=320m"

启动NameSever【两台机器】

​ 分别在两台机器上执行以下命令启动两台服务器上的NameServer

cd /usr/local/rocketmq/bin
nohup sh mqnamesrv &

启动Broker

​ 启动第一台服务器(192.168.31.188)上的Broker:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

​ 启动另一台服务器上(192.168.31.93)上的Broker:

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a-s.properties >/dev/null 2>&1 &

使用RocketMQ控制台验证

根据

修改rocketmq.config.namesrvAddr:

rocketmq.config.namesrvAddr=192.168.31.188:9876;192.168.31.93:9876

启动项目,点击集群按钮,可以看到已经有了两个服务器节点:

RocketMQ控制台查看集群png

模拟故障

创建Spring Boot项目

使用IDEA自带的创建Spring Boot功能:

File -> New -> Project -> Spring Initializr

创建完成后,添加依赖:

<!-- https://mvnrepository.com/artifact/org.apache.rocketmq/rocketmq-client -->
<dependency>
    <groupId>org.apache.rocketmq</groupId>
    <artifactId>rocketmq-client</artifactId>
    <version>4.5.2</version>
</dependency>

创建目录结构

  1. 创建constants包
  2. 创建quickstart包

创建常量类

​ 在const包下创建常量类:

public class Const {

    /**
     * RocketMQ单节点消息队列NameServer地址
     */
    public static final String NAMESRV_ADDR_SINGLE = "192.168.31.188:9876";

    /**
     * RocketMQ主从模式NameServer地址
     */
    public static final String NAMESRV_ADDR_MASTER_SLAVE = "192.168.31.188:9876;192.168.31.93:9876";
}

创建生产者

​ 创建生产者类,在quickstart包下新建Producer类:

import org.apache.rocketmq.client.exception.MQBrokerException;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.client.producer.DefaultMQProducer;
import org.apache.rocketmq.client.producer.SendResult;
import org.apache.rocketmq.common.message.Message;
import org.apache.rocketmq.remoting.exception.RemotingException;
import tech.punklu.rocketmqapi.constants.Const;

/**
 * 消息生产者
 */
public class Producer {

    public static void main(String[] args) throws MQClientException, RemotingException, InterruptedException, MQBrokerException {
        // 创建默认MQ消息生产者,test_quick_producer_name为生产者组的名称
        DefaultMQProducer producer = new DefaultMQProducer("test_quick_producer_name");
        // 绑定NameServer地址
        producer.setNamesrvAddr(Const.NAMESRV_ADDR_MASTER_SLAVE);
        // 启动
        producer.start();
        for (int i = 0; i < 1; i++) {
            // 创建消息
            Message message = new Message("test_quick_topic",   // 主题
                    "TagA", // 标签
                    "keyA" + i, // 用户自定义的key,唯一的标识
                    ("Hello RocketMQ" + i).getBytes()); // 消息内容实体(byte[])
            // 发送消息
            SendResult sendResult  = producer.send(message);
            System.out.println("消息发出" + sendResult);
        }

        // 生产者关闭
        producer.shutdown();
    }
}

创建消费者类

​ 在quickstart目录下新建Consumer类:

import org.apache.rocketmq.client.consumer.DefaultMQPushConsumer;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyContext;
import org.apache.rocketmq.client.consumer.listener.ConsumeConcurrentlyStatus;
import org.apache.rocketmq.client.consumer.listener.MessageListenerConcurrently;
import org.apache.rocketmq.client.exception.MQClientException;
import org.apache.rocketmq.common.consumer.ConsumeFromWhere;
import org.apache.rocketmq.common.message.MessageExt;
import org.apache.rocketmq.remoting.common.RemotingHelper;
import tech.punklu.rocketmqapi.constants.Const;

import java.util.List;

/**
 * 消息消费者
 */
public class Consumer {

    public static void main(String[] args) throws MQClientException {
        // 创建默认消费者组,test_quick_consumer_name为对应的消费者组的名称
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("test_quick_consumer_name");
        // 设置NameServer
        consumer.setNamesrvAddr(Const.NAMESRV_ADDR_MASTER_SLAVE);
        // 设置从最后端开始消费
        consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_LAST_OFFSET);
        // 订阅,*表示订阅此topic下的所有消息
        consumer.subscribe("test_quick_topic","*");

        // 注册消息消费监听器,内部实现的consumeMessage是对消息的消费方法
        consumer.registerMessageListener(new MessageListenerConcurrently() {
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> list,
                                                            ConsumeConcurrentlyContext consumeConcurrentlyContext) {
                MessageExt messageExt = list.get(0);
                try {
                    String topic = messageExt.getTopic();
                    String tags = messageExt.getTags();
                    String keys = messageExt.getKeys();
                    String msgBody = new String(messageExt.getBody(), RemotingHelper.DEFAULT_CHARSET);
                    System.out.println("topic: " + topic + ",tags: " + tags + ",keys " + keys + ",body: " + msgBody);
                }catch (Exception e){
                    e.printStackTrace();
                    // 稍后重试
                    return ConsumeConcurrentlyStatus.RECONSUME_LATER;
                }
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });

        consumer.start();
        System.out.println("consumer start....");
    }
}

启动Producer类发送消息

​ 发送一条消息,运行结果如下:

消息发出SendResult [sendStatus=SEND_OK, msgId=A9FEF5CF236418B4AAC22DC498B70000, offsetMsgId=C0A81FBC00002A9F0000000000000000, messageQueue=MessageQueue [topic=test_quick_topic, brokerName=broker-a, queueId=2], queueOffset=0]
21:17:38.944 [NettyClientSelector_1] INFO RocketmqRemoting - closeChannel: close the connection to remote address[192.168.31.93:9876] result: true
21:17:38.946 [NettyClientSelector_1] INFO RocketmqRemoting - closeChannel: close the connection to remote address[192.168.31.188:10911] result: true
21:17:38.946 [NettyClientSelector_1] INFO RocketmqRemoting - closeChannel: close the connection to remote address[192.168.31.93:10911] result: true

再次查看RocketMQ控制台,可以看到,集群中已经有了发送的这条消息:

RocketMQ故障模拟发送消息

停止掉主节点

cd /usr/local/rocketmq/bin
sh mqshutdown broker

​ 再次查看RocketMQ控制台集群信息,可以看到只剩下了从节点:

停止掉主节点后集群中只剩下从节点

启动Consumer消费消息

启动Consumer类消费这条消息,输出如下:

consumer start....
topic: test_quick_topic,tags: TagA,keys keyA0,body: Hello RocketMQ0

可以看到,之前通过Producer发送的消息已经在没有主节点的情况下被消费了。

重新上线主节点

cd /usr/local/rocketmq/bin
nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-async/broker-a.properties >/dev/null 2>&1 &

​ 再次查看RocketMQ控制台,可以看到主节点已重新上线:

master重新上线后

此外,可以看到,重新上线后的主节点的消息生产总数和消息消费总数都已为0,因为主节点重新上线的过程中会与从节点进行通信,发现之前的消息已通过从节点被消费了之后,主节点上就不会再记录这条消息。