• 手把手教你从 0 到 1 搭建一套 RocketMQ 集群


    大家好,我是君哥。今天来分享怎样搭建 RocketMQ 集群。

    本文搭建集群使用的环境是 2 个云主机,架构如下:

    在 47.xx.xx.xx 和 39.xx.xx.xx 上分别部署一个 Name Server 和 Broker 主节点,这里不搭建从节点。也就是官网介绍的 2m-noslave 构建模式。

    注意:官网有三种配置模式:2m-2s-sync、2m-2s-async、2m-noslave。这三种配置都是使用异步刷盘策略:ASYNC_FLUSH。

    集群搭建成功后,Broker 会向 Name Server 注册 Topic 路由信息,Producer 和 Consumer 则从 Name Server 获取路由信息,然后 Producer 根据路由信息向 Broker 发送消息,Consumer 则根据路由信息从 Broker 拉取消息。

    1 准备工作

    要安装 RocketMQ,首先需要在云主机上安装 Java 环境,Maven 环境。这里就不做详细介绍了。

    Java 和 Maven 环境安装好以后,从官网下载最新版本,地址如下:

    https://dlcdn.apache.org/rocketmq/4.9.4/rocketmq-all-4.9.4-bin-release.zip
    

    下载完成后,进行解压和编译,执行如下命令:

    1. > unzip rocketmq-all-4.9.4-source-release.zip
    2. > cd rocketmq-all-4.9.4-source-release/
    3. > mvn -Prelease-all -DskipTests clean install -U
    4. > cd distribution/target/rocketmq-4.9.4/rocketmq-4.9.4

    看到下图输出时,编译成功:

    2 启动

    2.1 启动 Name Server

    因为我的云主机内存比较小,而 RocketMQ 默认启动 Name Server 需要的 JVM 堆内存默认是 4g,所以需要修改默认堆内存。修改文件为:

    rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runserver.sh
    

    修改后的配置如下:

    JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"
    

    修改完成后,执行下面命令:

    nohup sh bin/mqnamesrv &
    

    启动成功后,nohup.out 文件中打印如下日志:

    The Name Server boot success. serializeType=JSON
    

    搭建好一台机器后,用同样的方式搭建第二台机器。

    2.2 启动 Broker

    同样,RocketMQ 启动 Broker 需要的 JVM 堆内存默认是 8g,所以需要修改堆内存。修改文件为:

    rocketmq-all-4.9.4-source-release/distribution/target/rocketmq-4.9.4/rocketmq-4.9.4/bin/runbroker.sh
    

    修改后的配置如下:

    JAVA_OPT="${JAVA_OPT} -server -Xms512m -Xmx512m"
    

    创建 conf.properties 文件,内容如下:

    1. brokerClusterName = MyTestCluster
    2. brokerName = broker-a
    3. brokerId = 0
    4. deleteWhen = 04
    5. fileReservedTime = 48
    6. brokerRole = ASYNC_MASTER
    7. flushDiskType = ASYNC_FLUSH
    8. namesrvAddr=127.0.0.1:9876;47.xx.xx.xx:9876

    配置好后,启动 broker-a 节点,启动 命令如下:

    nohup bash bin/mqbroker -c conf/broker.properties &
    

    Broker 启动成功后,Name Server 的日志如下图:

    用同样的方式启动 broker-b,conf.properties 文件配置如下:

    1. #集群名称
    2. brokerClusterName = MyTestCluster
    3. #broker名称
    4. brokerName = broker-b
    5. brokerId = 0
    6. #删除消息存储过期文件的时间为凌晨4
    7. deleteWhen = 04
    8. #未发生更新的消息存储文件的保留时长为48小时,48小时后过期,将会被删除
    9. fileReservedTime = 48
    10. brokerRole = ASYNC_MASTER
    11. flushDiskType = ASYNC_FLUSH
    12. namesrvAddr=127.0.0.1:9876;xx.xx.xx.xx:9876

    启动成功后,执行 mqadmin 命令查看集群信息:

    1. [root@rocketmq-4.9.4]# ./bin/mqadmin topicList -n 127.0.0.1:9876
    2. MyTestCluster
    3. RMQ_SYS_TRANS_HALF_TOPIC
    4. BenchmarkTest
    5. OFFSET_MOVED_EVENT
    6. iZ8vbfyc7hfzygtpgapblyZ
    7. TBW102
    8. SELF_TEST_TOPIC
    9. DefaultCluster
    10. iZ2ze4m2ri7irk6au5mbfgZ
    11. SCHEDULE_TOPIC_XXXX
    12. DefaultCluster_REPLY_TOPIC
    13. broker-b
    14. broker-a
    15. MyTestCluster_REPLY_TOPIC

    注意:执行上面命令需要修改 bin/tools.sh 中的 JVM 参数,配置如下:

    JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=128m"
    

    3 dashboard

    3.1 安装

    安装 dashboard,需要编译源代码,源码 github 地址如下:

    https://github.com/apache/rocketmq-dashboard
    

    下载之后,修改 application.yml 参数,我这里只修改了 Name Server 地址:

    1. rocketmq:
    2.   config:
    3.     namesrvAddrs:
    4.       - 127.0.0.1:9876
    5.       - 47.xx.xx.xx:9876

    然后执行 Maven 打包命令,打出 jar 包:

    mvn clean package -Dmaven.test.skip=true
    

    打好 jar 包后上传到服务器,执行下面命令启动:

    java -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar
    

    启动成功后,输出下图的日志:

    3.2 测试

    浏览器输入 http://39.xx.xx.xx:8080/ 界面如下:

    使用下面命令创建一个 Topic,名字叫 MyTestTopic:

    sh bin/mqadmin updateTopic -n 127.0.0.1:9876\;47.92.71.246:9876  -c MyTestCluster  -t MyTestTopic
    

    这是可以在界面上看到创建的 Topic,如下图:

    使用命令发送一条消息:

    1. [root@rocketmq-4.9.4]# sh bin/mqadmin sendMessage -n 127.0.0.1:9876 -t MyTestTopic -p 'hello test message'
    2. #Broker Name                      #QID  #Send Result            #MsgId
    3. broker-a                          1     SEND_OK                 7F000001D3C3339097527B50D1740000

    在界面上查看消息,如下图:

    4 总结

    这篇文章主要讲述了 RocketMQ 集群的搭建,希望能对大家理解 RocketMQ 有所帮助。

  • 相关阅读:
    Leetcode 805. 数组的均值分割
    C语言字符函数和字符串函数(1)
    信息系统项目管理师---第十一章项目风险管理历年考题
    使用Qt进行HTTP通信的方法
    【Android】Dagger2 通过 AndroidInjector 简化模版代码
    SSM整合框架(相关依赖)
    linux驱动 设备驱动模型
    LeetCode --- 1394. Find Lucky Integer in an Array 解题报告
    C#调用C++ dll 返回数组
    基于python下django框架 实现多用户商城平台详细设计
  • 原文地址:https://blog.csdn.net/zjj2006/article/details/126559646