RabbitMQ 클러스터 최적화를 위한 토폴로지 가이드

대규모 트래픽의 중요 애플리케이션을 위해 RabbitMQ를 배포하려면 단순한 단일 인스턴스 설정을 넘어선 신중한 계획이 필요합니다. 메시지 처리량을 확장하고, 고가용성을 보장하며, 지리적으로 분산된 서비스 간의 데이터 일관성을 유지할 때 클러스터 토폴로지는 매우 중요해집니다. 이 가이드에서는 RabbitMQ 클러스터를 최적화하는 데 필요한 고급 기법을 탐구하며, 동기화 전략, 노드 유형 관리, 네트워크 분할과 관련된 위험 완화에 중점을 둡니다.

RabbitMQ 노드가 통신하고 데이터를 복제하는 방법을 이해하는 것은 강력하고 확장 가능한 메시징 패브릭의 기반입니다. 클러스터 환경의 구체적인 내용을 자세히 살펴보고 엄격한 성능 및 복원력 요구 사항을 충족하는 토폴로지를 설계할 수 있도록 지원합니다.

RabbitMQ 클러스터 기본 사항 이해

RabbitMQ 클러스터는 사용자, 큐, 익스체인지 및 바인딩을 포함한 구성 정보를 공유하는 상호 연결된 노드 그룹입니다. 그러나 모든 데이터가 모든 노드에서 동일하게 동기화되는 것은 아닙니다. 이 차이가 확장의 핵심입니다.

클러스터의 데이터 유형

RabbitMQ는 클러스터 데이터를 두 가지 주요 범주로 구성하며, 이는 파티션 시 동작 방식을 결정합니다.

전역 구성 데이터: 이 데이터는 클러스터의 모든 노드에 복제됩니다. 노드가 클러스터에 참여하면 자동으로 이 정보의 복사본을 받습니다. 예시는 다음과 같습니다.
- 사용자 및 권한
- 익스체인지 및 해당 바인딩
- VHost 구성
큐 데이터: 이는 확장 및 가용성에서 가장 중요한 요소입니다. 큐는 기본적으로 모든 노드에 자동으로 복제되지 않습니다. 대신 큐 리소스는 특정 마스터 노드에 할당됩니다.

노드 유형의 중요성

RabbitMQ 노드는 주로 디스크 유형에 따라 분류되며, 이는 지속성 및 동기화에서의 역할을 결정합니다.

디스크 노드: 모든 영구 데이터(메시지, 구성)를 디스크에 저장합니다. 이는 데이터 무결성과 클러스터 백본 형성에 필수적입니다.
RAM 노드: 모든 데이터(구성 및 잠재적으로 큐 내용)를 메모리에만 저장합니다. 이러한 노드는 임시 작업에 더 빠르지만, 복제되지 않은 휘발성 데이터를 잃지 않고는 전체 클러스터 재시작에서 살아남을 수 없습니다.

모범 사례: 프로덕션 클러스터에서는 안정적인 구성 동기화와 영구적인 메시지 저장을 보장하기 위해 디스크 노드의 과반수를 유지해야 합니다.

올바른 동기화 전략 선택: HA 큐

메시지에 대한 고가용성을 달성하려면 표준 비복제 큐로는 충분하지 않습니다. Quorum Queues 또는 레거시 Classic Mirrored Queues를 사용해야 합니다.

1. Quorum Queues (새 배포에 권장)

Quorum 큐는 Raft 합의 알고리즘을 사용하여 강력한 일관성과 고가용성을 제공합니다. 미러링 큐의 현대적인 후속 기술입니다.

주요 특징:

합의: 메시지는 큐 멤버(복제본)로 지정된 노드에만 복제본 과반수가 수신을 확인한 후에만 복제됩니다.
가용성: 복제본 중 소수만 실패하더라도 과반수가 통신할 수 있는 한 큐는 계속 사용할 수 있습니다.
구성: 큐를 선언할 때 replication_factor(복사본을 보유해야 하는 노드 수)를 지정합니다.

예시 (CLI를 사용하여 Quorum Queue 정의):

세 노드에 복제된 orders_hq라는 이름의 quorum 큐를 생성하려면:

```bash
rabbitmqctl set_policy QueuePolicy "^orders_hq$" '{"ha-mode":"exactly"