Purger des messages et gérer le contenu des files d'attente via les commandes RabbitMQ

Purger une file d'attente RabbitMQ est un outil brutal. C'est utile lorsqu'une file d'attente contient des messages de test, des éléments de travail toxiques ou un arriéré que vous avez délibérément décidé de jeter. C'est dangereux lorsque vous ne faites que deviner. Une purge ne vous dit pas pourquoi l'arriéré s'est produit, et elle ne corrige pas un consommateur lent, une mauvaise boucle de réessai ou une politique de lettres mortes qui envoie des messages au mauvais endroit.

Utilisez les commandes de ce guide comme une liste de contrôle opérationnelle : inspectez la file d'attente, confirmez le vhost, décidez ce qui arrivera aux consommateurs, purgez uniquement les messages que vous voulez purger et vérifiez le résultat.

Comprendre le contenu des files d'attente avec `rabbitmqctl`

Avant de purger, il est souvent nécessaire de comprendre l'état actuel de vos files d'attente. L'outil rabbitmqctl fournit plusieurs commandes pour inspecter les statistiques des files d'attente. La commande la plus pertinente pour comprendre le nombre de messages est list_queues.

Lister les files d'attente et le nombre de messages

La commande rabbitmqctl list_queues affiche les métriques des files d'attente. Pour les décisions de purge, la distinction la plus importante est entre les messages prêts et non accusés réception.

Syntaxe :

rabbitmqctl list_queues [options]

Exemple : Affichage des noms de files d'attente et du nombre de messages

Pour afficher toutes les files d'attente avec leur nombre de messages, vous pouvez utiliser la commande suivante :

rabbitmqctl list_queues name messages_ready messages_unacknowledged

Cette commande produira une sortie similaire à ceci :

name            messages_ready    messages_unacknowledged    consumers
my_queue        0                 0                          2
another_queue   150               25                         4

Dans cette sortie :

name : le nom de la file d'attente dans le vhost sélectionné.
messages_ready : messages en attente d'être livrés.
messages_unacknowledged : messages déjà livrés aux consommateurs mais pas encore accusés réception.
consumers : le nombre de consommateurs attachés.

Si messages_ready augmente, les producteurs dépassent les consommateurs ou les consommateurs manquent. Si messages_unacknowledged augmente, les consommateurs ont accepté du travail mais ne le terminent pas. La purge ne supprime que les messages prêts ; ce n'est pas un moyen propre de supprimer le travail déjà entre les mains des consommateurs.

Inspecter les détails spécifiques d'une file d'attente

Pour les scripts, utilisez la sortie JSON et filtrez-la avec un outil compatible JSON :

rabbitmqctl list_queues -p /prod name messages_ready messages_unacknowledged consumers --formatter json

Pour une vérification humaine d'incident, la sortie tabulaire est souvent plus rapide :

rabbitmqctl list_queues -p /prod name messages_ready messages_unacknowledged consumers state

Purger les messages d'une file d'attente

Lorsqu'une file d'attente a accumulé des messages qui ne sont plus nécessaires, ou pour effacer des données de test, la commande purge_queue est votre outil principal. Cette commande supprime tous les messages d'une file d'attente spécifiée. C'est une opération puissante, donc elle doit être utilisée avec prudence, car les messages purgés ne peuvent pas être récupérés.

La commande `purge_queue`

La commande rabbitmqctl purge_queue prend le nom de la file d'attente comme argument. Utilisez -p pour l'hôte virtuel.

Syntaxe :

rabbitmqctl purge_queue [-p <vhost_name>] <queue_name>

Exemple : Purger une file d'attente dans l'hôte virtuel par défaut

Supposons que vous ayez une file d'attente nommée processing_errors dans l'hôte virtuel par défaut et que vous souhaitiez effacer tous ses messages :

rabbitmqctl purge_queue processing_errors

En cas d'exécution réussie, rabbitmqctl signalera le nombre de messages purgés :

Purged 150 messages from queue 'processing_errors' in vhost '/'

Exemple : Purger une file d'attente dans un hôte virtuel spécifique

Si votre file d'attente dead_letter_queue se trouve dans l'hôte virtuel nommé my_vhost, vous utiliseriez :

rabbitmqctl purge_queue -p my_vhost dead_letter_queue

Cette commande renverra un message de confirmation similaire indiquant le nombre de messages purgés de la file d'attente et du vhost spécifiés.

Considérations importantes pour `purge_queue`

Irréversibilité : les messages prêts purgés sont perdus à moins que vous n'ayez capturé ou des données source rejouables ailleurs.
Messages non accusés réception : une purge n'efface pas de manière fiable les messages déjà livrés aux consommateurs. Arrêtez d'abord les consommateurs si vous avez besoin d'une réinitialisation propre.
Autorisations : l'utilisateur exécutant rabbitmqctl doit avoir un accès approprié au vhost et à la file d'attente.
Risque de mauvais vhost : spécifiez toujours -p dans les environnements partagés.

Voici une séquence de purge plus sûre pour une file d'attente de type production :

# 1. Inspectez la file d'attente dans le vhost exact
rabbitmqctl list_queues -p /prod name messages_ready messages_unacknowledged consumers

# 2. Arrêtez ou réduisez les consommateurs depuis votre système de déploiement
# Exemple uniquement ; utilisez le plan de contrôle normal de votre plateforme.

# 3. Vérifiez à nouveau pour comprendre les messages en vol
rabbitmqctl list_queues -p /prod name messages_ready messages_unacknowledged consumers

# 4. Purgez la file d'attente
rabbitmqctl purge_queue -p /prod processing_errors

# 5. Vérifiez
rabbitmqctl list_queues -p /prod name messages_ready messages_unacknowledged consumers

Si la file d'attente est une file d'attente de lettres mortes, je préfère échantillonner quelques messages via l'interface de gestion ou un consommateur contrôlé avant de purger. Les files d'attente de lettres mortes contiennent souvent la seule preuve facile d'un bogue de sérialisation, d'une mauvaise clé de routage, d'un message expiré ou d'un travail rejeté.

Meilleures pratiques pour la gestion des files d'attente

Une gestion efficace des files d'attente va au-delà de la simple connaissance de la purge. Voici quelques meilleures pratiques à considérer :

Surveillance régulière

Surveillez en continu vos files d'attente à l'aide de rabbitmqctl list_queues ou de l'interface de gestion RabbitMQ. Portez une attention particulière aux compteurs messages_ready et messages_unacknowledged. Des nombres anormalement élevés peuvent indiquer :

Les consommateurs sont hors service ou ont cessé de traiter.
Les consommateurs sont trop lents pour suivre le rythme de production.
Un bogue dans la logique de traitement des messages empêche les accusés de réception.

Alertes

Configurez des alertes basées sur les métriques des files d'attente. Par exemple, déclenchez une alerte si messages_ready dépasse un certain seuil pendant une période prolongée. Cette approche proactive vous permet de résoudre les problèmes avant qu'ils n'affectent les performances de votre application ou l'intégrité des données.

Purge contrôlée

Maintenance planifiée : si une file d'attente temporaire est intentionnellement jetable, automatisez le nettoyage pendant une fenêtre connue.
Dépannage : purgez après avoir recueilli suffisamment de preuves pour expliquer l'arriéré.
Planification de capacité : les purges répétées sont un signe. Elles signifient généralement que la capacité des consommateurs, le comportement de réessai ou le routage nécessitent une attention.

Lettres mortes

Pour les messages qui ne peuvent pas être traités avec succès, configurez la mise en lettres mortes. Cela achemine les messages rejetés, expirés ou hors limite vers un autre échange/file d'attente pour inspection. Purgez la file d'attente de lettres mortes seulement après avoir compris si ces messages doivent être rejoués, archivés ou jetés.

Idempotence

Concevez vos consommateurs pour qu'ils soient idempotents. Cela signifie que le traitement du même message plusieurs fois a le même effet que le traitement une fois. C'est crucial car cela rend la purge et la redistribution moins risquées, car le traitement en double ne conduira pas à des états d'application incorrects.

Quand ne pas purger

Ne purgez pas simplement parce qu'un graphique est élevé. Un arriéré peut être une pression utile : il vous indique que les producteurs sont plus rapides que les consommateurs, que les consommateurs échouent ou que les services en aval sont lents. La purge cache ce signal. C'est la bonne décision lorsque l'entreprise a décidé que ces messages ne doivent pas être traités.

Un bon ticket de purge ou une note d'incident doit répondre à quatre questions :

Quel vhost et quelle file d'attente ont été purgés ?
Combien de messages prêts et non accusés réception existaient avant la purge ?
Les consommateurs étaient-ils arrêtés ou toujours en cours d'exécution ?
Pourquoi la suppression des messages était-elle acceptable ?

Cette note peut sembler ennuyeuse sur le moment, mais elle évite beaucoup de disputes plus tard lorsque quelqu'un demande où sont passés les travaux.