DevOps知识中心
DevOps知识中心

RabbitMQ 集群：设置、配置和最佳实践

通过 RabbitMQ 集群释放可扩展且有弹性的消息传递功能。本指南涵盖了节点类型、网络分区和数据同步等基本概念。学习如何分步设置 RabbitMQ 集群，使用策略配置高可用性 (HA) 队列，并为稳健的部署和管理实施最佳实践。非常适合寻求构建容错消息驱动型应用程序的开发人员和运维人员。

27 浏览量

RabbitMQ 集群：设置、配置与最佳实践

RabbitMQ 是一个强大而灵活的消息代理，用于促进应用程序之间的异步通信。虽然单个 RabbitMQ 实例可以处理许多用例，但复杂或高可用性系统通常会从集群中显著受益。通过将多个 RabbitMQ 节点组合成一个逻辑单元，RabbitMQ 集群可以实现负载分发、提高容错性并增强可伸缩性。

本文将引导您了解 RabbitMQ 集群的基本概念，包括不同节点类型、网络分区如何处理以及数据同步机制。然后，我们将提供分步说明，用于设置和配置强大的集群环境，并提供必要的最佳实践以确保其稳定性和性能。

理解 RabbitMQ 集群

RabbitMQ 集群是由一个或多个协同工作的 RabbitMQ 节点组成的集合。这些节点共享信息，使其能够作为一个单一、统一的消息代理运行。理解集群的核心组件和行为对于有效的设置和管理至关重要。

节点类型

集群中的 RabbitMQ 节点可分为两种主要类型：

  • 镜像队列（经典）/高可用（HA）队列（基于策略）： 它们是实现容错的主要机制。当队列被镜像或设置为高可用时，其内容会在集群中的多个节点之间复制。如果一个节点发生故障，持有队列副本的另一个节点可以接管，从而确保消息可用性。HA 队列通过策略进行配置，是现代方法，比经典镜像队列提供更高的灵活性。
  • 非镜像队列： 这些队列仅存在于声明它们的节点上。如果该节点变得不可用，除非采取其他措施（例如，生产者确认和重试、精心设计的消费者配合持久化消息），否则该队列上的消息将丢失。

网络分区

当集群中的节点由于网络问题无法再相互通信时，就会发生网络分区。这可能导致一组节点认为集群的其余部分已发生故障。RabbitMQ 根据队列类型以不同方式处理分区：

  • HA 队列： 当发生分区时，持有 HA 队列主副本的节点将继续运行。少数分区中的其他节点将停止接受该队列的连接，直到分区恢复。这可以防止消息可能独立写入分区不同侧的脑裂情况。
  • 经典镜像队列： 与 HA 队列类似，经典镜像队列的少数分区也将停止运行。

数据同步与一致性

在 RabbitMQ 集群中，某些元数据（例如交换机和队列定义、用户凭据以及虚拟主机配置）会在所有节点之间复制。然而，消息内容主要通过队列的镜像或 HA 策略进行管理。

  • 元数据同步： 当您在任何节点上声明交换机或队列时，此定义会传播到集群中的所有其他节点。这确保了所有节点对拓扑结构都有一致的视图。
  • 消息同步（通过镜像/HA）： 对于镜像或 HA 队列，RabbitMQ 确保发布到这些队列的消息会复制到其镜像节点。主副本处理发布和消费，其状态与镜像节点同步。

设置 RabbitMQ 集群

设置 RabbitMQ 集群涉及配置多个 RabbitMQ 实例以相互发现和通信。最常用的方法是使用 erlang.cookie 文件。

先决条件：

  • 将安装 RabbitMQ 的多台服务器或虚拟机。
  • 所有服务器之间具备网络连接。
  • 所有节点上都已安装 RabbitMQ（确保版本兼容）。

步骤：

  1. 在所有节点上安装 RabbitMQ： 按照您操作系统对应的官方 RabbitMQ 安装指南在每台服务器上进行安装。

  2. 配置 Erlang Cookie：
    Erlang Cookie 是集群中所有节点必须共享以进行通信的秘密密钥。它存储在运行 RabbitMQ 进程的用户（通常是 rabbitmq 或 root）主目录下的名为 .erlang.cookie 的文件中。

    • 在第一个节点（节点 A）上：
      生成一个强大、随机的 Cookie。您可以使用 uuidgen 或 openssl rand -hex 16 等命令。
      bash # 使用 openssl 的示例 openssl rand -hex 16 | sudo tee /var/lib/rabbitmq/.erlang.cookie sudo chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie sudo chmod 600 /var/lib/rabbitmq/.erlang.cookie
      如果您的 RabbitMQ 数据目录不同，请替换 /var/lib/rabbitmq/。

    • 在后续节点（节点 B、节点 C 等）上：
      停止 RabbitMQ 服务。
      bash sudo systemctl stop rabbitmq-server
      将 .erlang.cookie 文件从节点 A 复制到节点 B（以及节点 C 等）的相应位置。确保所有权和权限完全相同。
      bash # 在节点 B 上，复制文件后 sudo chown rabbitmq:rabbitmq /var/lib/rabbitmq/.erlang.cookie sudo chmod 600 /var/lib/rabbitmq/.erlang.cookie

  3. 在所有节点上启动 RabbitMQ：
    在所有节点上启动 RabbitMQ 服务。通常建议最后启动将作为集群加入者的第一个节点。
    bash sudo systemctl start rabbitmq-server

  4. 将节点加入集群：
    选择一个节点（例如节点 A）作为初始节点。然后，在每个后续节点（例如节点 B）上，将其加入节点 A。

    • 在节点 B 上：
      bash sudo rabbitmqctl join_cluster rabbit@node-a
      将 node-a 替换为节点 A 的主机名。确保节点 B 可以解析该主机名。 如果 DNS 不可靠，您可能需要指定完整的网络名称，例如 [email protected]。

    • 在节点 C 上：
      bash sudo rabbitmqctl join_cluster rabbit@node-a

    • 重要提示： 默认情况下，join_cluster 会使节点成为集群的一部分，但会保留其队列和交换机。要创建一个