• RabbitMQ集群

    RabbitMQ概述

     1.RabbiMQ简介

    RabbiMQ是⽤Erang开发的，集群⾮常⽅便，因为Erlang天⽣就是⼀⻔分布式语⾔，但其本身并不⽀持负载均衡。支持高并发，支持可扩展。支持AJAX，持久化，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

    2.RabbitMQ 特点

    可靠性

    扩展性

    高可用性

    多种协议

    多语言客户端

    管理界面

    插件机制

    3.什么是消息队列

    MQ 全称为Message Queue, 。是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。

    消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信。

    集群中有两种节点

    1 内存节点：只保存状态到内存（一个例外的情况是：持久的queue的持久内容将被保存到disk）

    2 磁盘节点：保存状态到内存和磁盘。---推荐

    内存节点虽然不写入磁盘，但是它执行比磁盘节点要好。集群中，只需要一个磁盘节点来保存状态 就足够了

    如果集群中只有内存节点，那么不能停止它们，否则所有的状态，消息等都会丢失。

    普通集群准备环境（安装配置RabbitMQ）

    这里准备三台服务器，在三台服务器上都安装rabbitmq并且配置本地解析。（三台服务器都配置）

    1. [root@server01 ~]# cat >> /etc/hosts<
    2. 192.168.134.165 server01
    3. 192.168.134.166 server02
    4. 192.168.134.163 server03
    5. EOF
    1.三个节点都安装rabbitmq
    1. [root@server01 ~]# yum install -y epel-release gcc-c++ unixODBC unixODBC-devel openssl-devel ncurses-devel
    2.  
    3. [root@server01 ~]#rz      #上传erlang和rabbitmq两个软件包
    4. [root@server01 ~]# yum install  -y erlang-21.3.8.21-1.el7.x86_64
    5. root@server01 ~]# yum install  -y   rabbitmq-server-3.7.10-1.el7.noarch.rpm
    • 启动
    1. [root@server01 ~]# systemctl daemon-reload
    2. [root@server01 ~]# systemctl start rabbitmq-server
    3. [root@server01 ~]# systemctl enable rabbitmq-server
    4.  
    5. ###每台都操作开启rabbitmq的web访问界面：
    6. [root@server01 ~]# rabbitmq-plugins enable rabbitmq_management
    • 创建用户
    1. [root@server01 ~]# rabbitmqctl   add_user aren 123  #添加用户和密码
    2. [root@server01 ~]#rabbitmqctl set_user_tags aren  administrator   #设置为管理员
    3. [root@server01 ~]# rabbitmqctl  list_users    #查看用户
    4. Listing users ...
    5. user	tags
    6. aren	[administrator]
    7. admin	[]
    8. guest	[administrator]
    9.  
    10.  
    11. aren设置这三个权限前是没有权限查询队列，在ui界面也看不见
    12. [root@server01 ~]# rabbitmqctl set_permissions -p "/" aren ".*" ".*" ".*"
    13. Setting permissions for user "aren" in vhost "/" ...
    14. ...done.
    • 配置开启用户远程登录
    1. [root@server01 ~]# vim /etc/rabbitmq/rabbitmq.config  +61
    2.     {loopback_users, []}
    3.  
    4. [root@server01 ~]# cp /usr/share/doc/rabbitmq-server-3.7.10/rabbitmq.config.example /etc/rabbitmq/rabbitmq.config
    5.  
    6. [root@server01 rabbitmq]# ll
    7. 总用量 44
    8. -rw-r--r-- 1 root rabbitmq    23 11月  8 10:43 enabled_plugins
    9. -rw-r--r-- 1 root rabbitmq 33096 11月  8 10:44 rabbitmq.config
    10.
     测试
    • 查看端口

    4369 -- erlang发现端口
    5672 --程序连接端口
    15672 -- 管理界面ui端口
    25672 -- server间内部通信口

    •  访问192.168.134.165:15672
    • rabbitmq默认管理员用户:guest 密码:guest

    部署集群

    注意：在三台机器上都部署。

    1.创建好数据目录和日志目录
    1. [root@server01~]#  mkdir -p /data/rabbitmq/data
    2. [root@server01 ~]# mkdir -p /data/rabbitmq/logs
    3. [root@server01 ~]#  chmod 777 -R /data/rabbitmq
    4.  
    5. 创建配置文件:
    6. [root@server01 ~]# vim /etc/rabbitmq/rabbitmq-env.conf
    7. RABBITMQ_MNESIA_BASE=/data/rabbitmq/data
    8. RABBITMQ_LOG_BASE=/data/rabbitmq/logs
    9.  
    10. ###重启
    11. [root@server01 ~]# systemctl  restart rabbitmq-server
    2.拷⻉.erlang.cookie 到其他两台服务器，使服务器的cookie保持一致

    Rabbitmq的集群是依附于erlang的集群来⼯作的,所以必须先构建起erlang的集群景象。Erlang的集群中

    各节点是经由过程⼀个magic cookie来实现的,这个cookie存放在/var/lib/rabbitmq/.erlang.cookie中，⽂件是400的权限。所以必须保证各节点cookie⼀致,不然节点之间就⽆法通信.

    ⽤scp的⽅式将server01节点的.erlang.cookie的值复制到其他两个节点中.

    1. [root@server01 ~]# cat /var/lib/rabbitmq/.erlang.cookie
    2. JSNEBPKQZWUGDKNCRKAM
    3. [root@server01 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.134.166:/var/lib/rabbitmq/
    4. [root@server01 ~]# scp /var/lib/rabbitmq/.erlang.cookie root@192.168.134.163:/var/lib/rabbitmq/
     3.将server02和server03作为内存结点加入server01节点集群

    在server02和server03执行一下命令

    注意：在改了主机名的情况下需要重启后才能添加磁盘节点，当然本地解析也要配置。

    1. [root@server02 ~]# systemctl restart rabbitmq-server
    2. [root@server02 ~]# rabbitmqctl stop_app  #停止节点
    3. [root@server02 ~]# rabbitmqctl reset   #如果有数据需要重置，没有则不用
    4. [root@server02 ~]# rabbitmqctl join_cluster --ram rabbit@server01   #添加到磁盘节点
    5. [root@server02 ~]#rabbitmqctl start_app  #启动节点
    6.  
    7.  
    8. [root@server03 ~]# systemctl restart rabbitmq-server
    9. [root@server03 ~]# rabbitmqctl stop_app  #停止节点
    10. [root@server03 ~]# rabbitmqctl reset   #如果有数据需要重置，没有则不用
    11. [root@server03 ~]# rabbitmqctl join_cluster --ram rabbit@server01
    12. [root@server03 ~]#rabbitmqctl start_app  #启动节点

    （1）默认rabbitmq启动后是磁盘节点，在这个cluster命令下，server02和server03是内存节点，server01是磁盘节点。
    （2）如果要使server02，server03都是磁盘节点，去掉--ram参数即可。
    （3）如果想要更改节点类型，可以使⽤命令rabbitmqctl change_cluster_node_type
    disc(ram),前提是必须停掉rabbit应⽤.

     4.查看集群状态

    在server01磁盘节点上查看集群的配置。

    [root@server01 ~]# rabbitmqctl  cluster_status

    RabbitMQ镜像集群配置

    上面已经完成RabbitMQ默认集群模式，但并不保证队列的高可用性，尽管交换机、绑定这些可以复制到集群里的任何一个节点，但是队列内容不会复制。但队列节点宕机直接导致该队列无法应用，只能等待重启，所以要想在队列节点宕机或故障也能正常应用，就要复制队列内容到集群里的每个节点，必须要创建镜像队列。

    镜像队列是基于普通的集群模式的，然后再添加一些策略，所以你还是得先配置普通集群，然后才能设置镜像队列，我们就以上面的集群接着做。 保证各个节点之间数据同步；

    创建镜像集群:

    rabbitmqctl set_permissions  ".*" ".*" ".*"         (后面三个”*”代表用户拥有配置、写、读全部权限)
    1. [root@server01 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
    2. [root@server02 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'
    3. [root@server03 ~]# rabbitmqctl set_policy  ha-all "^" '{"ha-mode":"all"}'

    再次查看队列已经同步到其他两台节点:

    安装并配置负载均衡器HA

    • 安装haproxy
    [root@server01 ~]# yum -y install haproxy
    • 修改 /etc/haproxy/haproxy.cfg
    1. [root@server01 ~]# vim /etc/haproxy/haproxy.cfg 
    2. global
    3.     log         127.0.0.1 local2
    4.  
    5.     chroot      /var/lib/haproxy
    6.     pidfile     /var/run/haproxy.pid
    7.     maxconn     4000
    8.     user        haproxy
    9.     group       haproxy
    10.     nbproc      4
    11.     daemon
    12.     # turn on stats unix socket
    13.     stats socket /var/lib/haproxy/stats
    14. #---------------------------------------------------------------------
    15. defaults
    16.     mode                    http
    17.     log                     global
    18.     retries                 3
    19.     timeout connect         10s
    20.     timeout client          1m
    21.     timeout server          1m
    22.     timeout check           10s
    23.     maxconn                 2048
    24. #---------------------------------------------------------------------
    25. ##监控查看本地状态#####
    26. listen admin_stats
    27.         bind *:89
    28.     mode http
    29.     option httplog
    30.     option httpclose
    31.     log 127.0.0.1 local0 err
    32.     stats uri  /haproxy
    33.     stats auth aren:123456
    34.     stats refresh 30s
    35. ####################################
    36. ###反代监控
    37. frontend server
    38.     bind *:5670
    39.     log global
    40.  mode tcp
    41.     #option forwardfor
    42.     default_backend rabbitmq
    43.     maxconn 3
    44. backend rabbitmq
    45.     mode        tcp
    46.     log         global
    47.     balance     roundrobin
    48.     server      rabbitmq1 192.168.134.165:5672 check inter 2000s rise 2 fall 3
    49.     server      rabbitmq2 192.168.134.166:5672 check inter 2000s rise 2 fall 3
    50.     server      rabbitmq3 192.168.134.163:5672 check inter 2000s rise 2 fall 3
    51.  
    52.  
    53. [root@server01 ~]# systemctl start haproxy

  • 相关阅读:
    第2章 Hive安装
    团建游戏------飞人降落
    34 | Nginx：高性能的Web服务器
    从Matlab实例学习差分进化算法
    [Java] Java 函数式编程
    秋招面经第七弹：网易一面-数据开发工程师
    java计算机毕业设计html5健身房信息管理系统源码+mysql数据库+系统+lw文档+部署
    JavaScript游戏恢复
    堆-----数据结构
    sqlite 合并两个数据库中的特定表
  • 原文地址：https://blog.csdn.net/l1727377/article/details/134285761