Comprensione degli strumenti da riga di comando di Kafka: Guida di riferimento alla CLI

Apache Kafka è una potente piattaforma distribuita per lo streaming di eventi che abilita pipeline di dati in tempo reale ad alto throughput, tolleranti ai guasti e scalabili. Mentre Kafka può essere gestito e interfacciato programmaticamente tramite le sue API, i suoi strumenti da riga di comando (CLI) offrono un modo diretto ed efficiente per eseguire attività amministrative essenziali, gestire topic, interagire con i consumer e monitorare lo stato del cluster. Questa guida fornisce un riferimento completo agli strumenti CLI di Kafka più comunemente utilizzati, dettagliando il loro scopo, gli argomenti essenziali e i casi d'uso pratici.

La comprensione di questi strumenti è cruciale per gli amministratori di Kafka, gli sviluppatori e chiunque sia coinvolto nella gestione o nella risoluzione dei problemi dei cluster Kafka. Essi consentono un'ispezione, una manipolazione e una diagnostica rapide senza la necessità di scrivere script o applicazioni personalizzate per ogni operazione semplice.

Strumenti CLI Core di Kafka

Le distribuzioni Kafka includono tipicamente una directory bin/ contenente vari script ed eseguibili. Ci concentreremo su quelli utilizzati più frequentemente per gestire Kafka in modo efficace.

1. kafka-topics.sh

Questo è probabilmente lo strumento da riga di comando utilizzato più di frequente. Permette di creare, elencare, descrivere, eliminare, modificare e gestire i topic di Kafka. La gestione dei topic è fondamentale per organizzare i flussi di dati all'interno di Kafka.

Sottocomandi e argomenti comuni:

• --create: Crea un nuovo topic.
• --list: Elenca tutti i topic nel cluster.
• --describe: Fornisce informazioni dettagliate su topic specifici.
• --delete: Elimina uno o più topic.
• --alter: Modifica la configurazione di un topic esistente.
• --topic <nome_topic>: Specifica il nome del topic.
• --partitions <num_partitions>: Imposta il numero di partizioni per un topic (utilizzato con --create).
• --replication-factor <fattore>: Imposta il fattore di replicazione per un topic (utilizzato con --create).
• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.

Esempi:

• Creare un topic chiamato my_topic con 3 partizioni e un fattore di replicazione di 2:
  bash kafka-topics.sh --create --topic my_topic --partitions 3 --replication-factor 2 --bootstrap-server kafka-broker-1:9092,kafka-broker-2:9092

• Elencare tutti i topic nel cluster:
  bash kafka-topics.sh --list --bootstrap-server kafka-broker-1:9092

• Descrivere un topic chiamato my_topic:
  bash kafka-topics.sh --describe --topic my_topic --bootstrap-server kafka-broker-1:9092
  Questo mostrerà dettagli come partizioni, leader, repliche e ISR (In-Sync Replicas).

• Eliminare un topic chiamato old_topic:
  bash kafka-topics.sh --delete --topic old_topic --bootstrap-server kafka-broker-1:9092
  Nota: l'eliminazione dei topic deve essere abilitata nelle configurazioni del broker Kafka (delete.topic.enable=true).

2. kafka-console-producer.sh

Questo strumento consente di inviare messaggi a un topic Kafka dall'input standard. È inestimabile per testare i producer, iniettare dati di esempio o pubblicare manualmente messaggi.

Argomenti comuni:

• --topic <nome_topic>: Specifica il topic di destinazione.
• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.
• --property <chiave>=<valore>: Consente di impostare proprietà del producer (ad esempio, key.serializer, value.serializer).
• --producer-property <chiave>=<valore>: Simile a --property, ma specificamente per le configurazioni lato producer.

Esempi:

• Inviare messaggi a my_topic:
  bash kafka-console-producer.sh --topic my_topic --bootstrap-server kafka-broker-1:9092
  Dopo aver eseguito questo comando, è possibile digitare i messaggi riga per riga. Premere Ctrl+C per uscire.

• Inviare messaggi con chiavi (formato JSON):
  bash kafka-console-producer.sh --topic my_topic --bootstrap-server kafka-broker-1:9092 --property parse.key=true --property key.separator=':'
  Ora è possibile digitare coppie chiave:valore, e Kafka le invierà con la chiave specificata.

3. kafka-console-consumer.sh

Questo strumento si sottoscrive a uno o più topic Kafka e stampa i messaggi che riceve sull'output standard. È essenziale per testare i consumer, ispezionare i dati nei topic e debuggare le applicazioni producer/consumer.

Argomenti comuni:

• --topic <nome_topic>: Specifica i topic da cui consumare.
• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.
• --group-id <id_gruppo>: Specifica l'ID del gruppo di consumer. Questo è importante per gestire gli offset e consentire a più consumer di condividere il carico di consumo.
• --from-beginning: Legge i messaggi dall'inizio del log del topic.
• --offset <offset>: Inizia il consumo da un offset specifico.
• --partition <id_partizione>: Consuma da una partizione specifica.
• --property <chiave>=<valore>: Consente di impostare proprietà del consumer (ad esempio, value.deserializer).

Esempi:

• Consumare tutti i messaggi da my_topic:
  bash kafka-console-consumer.sh --topic my_topic --bootstrap-server kafka-broker-1:9092

• Consumare messaggi dall'inizio di my_topic per il gruppo di consumer my_group:
  bash kafka-console-consumer.sh --topic my_topic --group-id my_group --from-beginning --bootstrap-server kafka-broker-1:9092

• Consumare messaggi con offset e chiavi stampati:
  bash kafka-console-consumer.sh --topic my_topic --bootstrap-server kafka-broker-1:9092 --property print.key=true --property key.separator="\t" --property print.offset=true --property print.headers=true

4. kafka-consumer-groups.sh

Questo strumento viene utilizzato per gestire e ispezionare i gruppi di consumer. È vitale per comprendere il lag dei consumer, riassegnare le partizioni e risolvere i problemi di consumo.

Sottocomandi e argomenti comuni:

• --list: Elenca tutti i gruppi di consumer nel cluster.
• --describe: Fornisce dettagli su gruppi di consumer specifici, incluso il lag.
• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.
• --group <id_gruppo>: Specifica l'ID del gruppo di consumer.
• --reset-offsets: Reimposta gli offset per un gruppo di consumer.
• --topic <nome_topic>: Specifica il topic per il reset degli offset.
• --to-earliest: Reimposta gli offset al messaggio più vecchio disponibile.
• --to-latest: Reimposta gli offset all'ultimo messaggio disponibile.
• --execute: Esegue l'operazione di reset degli offset.

Esempi:

• Elencare tutti i gruppi di consumer:
  bash kafka-consumer-groups.sh --list --bootstrap-server kafka-broker-1:9092

• Descrivere un gruppo di consumer my_group e mostrarne il lag:
  bash kafka-consumer-groups.sh --describe --group my_group --bootstrap-server kafka-broker-1:9092
  L'output mostrerà il topic, la partizione, l'offset corrente, l'offset finale del log e il lag.

• Reimpostare gli offset per my_group su my_topic al messaggio più vecchio disponibile:
  bash kafka-consumer-groups.sh --group my_group --topic my_topic --reset-offsets --to-earliest --execute --bootstrap-server kafka-broker-1:9092
  Usare questo comando con cautela, poiché influisce da dove i consumer inizieranno a leggere.

5. kafka-log-dirs.sh

Questo strumento aiuta a ispezionare le directory dei log sui broker Kafka. Può essere utile per comprendere l'utilizzo del disco e localizzare i dati dei topic.

Argomenti comuni:

• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.
• --topic <nome_topic>: Filtra l'output per mostrare le directory di un topic specifico.

Esempi:

• Elencare le directory dei log su un broker:
  bash kafka-log-dirs.sh --bootstrap-server kafka-broker-1:9092

• Mostrare le directory dei log per un topic specifico:
  bash kafka-log-dirs.sh --bootstrap-server kafka-broker-1:9092 --topic my_topic

6. kafka-preferred-replica-election.sh

Questo script avvia le elezioni per le repliche preferite per i topic. Una replica preferita è il broker scelto come leader per una partizione in base al suo fattore di replicazione. Se un broker fallisce e una replica non preferita diventa leader, questo strumento può essere utilizzato per riportare la leadership alla replica preferita.

Argomenti comuni:

• --topic <nome_topic>: Specifica il topic per il quale eleggere le repliche preferite.
• --broker-list <id_broker1,id_broker2,...>: Specifica un elenco separato da virgole di ID broker.
• --bootstrap-server <host:porta>: Specifica il broker Kafka a cui connettersi.

Esempi:

• Eleggere repliche preferite per my_topic:
  bash kafka-preferred-replica-election.sh --topic my_topic --bootstrap-server kafka-broker-1:9092

• Eleggere repliche preferite per più topic:
  bash kafka-preferred-replica-election.sh --topic topic1,topic2 --bootstrap-server kafka-broker-1:9092

Considerazioni importanti e best practice

• --bootstrap-server è fondamentale: Assicurati sempre di specificare l'argomento corretto --bootstrap-server per connetterti al tuo cluster Kafka. Di solito si tratta di un elenco separato da virgole di host:porta per i tuoi broker.
• Ambiente: Questi comandi si trovano tipicamente nella directory bin/ della tua installazione Kafka. Dovrai navigare in questa directory o assicurarti che la directory bin di Kafka sia nel PATH del tuo sistema.
• Permessi: Assicurati che l'utente che esegue questi comandi abbia l'accesso di rete necessario per raggiungere i broker Kafka.
• Configurazione: Molti strumenti CLI possono accettare configurazioni client di Kafka tramite gli argomenti --property o --producer-property/--consumer-property. Questo è utile per sovrascrivere serializzatori/deserializzatori predefiniti o impostare altre configurazioni client specifiche.
• Sicurezza: Per cluster Kafka sicuri (ad esempio, con autenticazione SSL/TLS o SASL), dovrai passare argomenti aggiuntivi relativi alla sicurezza (come --command-config che punta a un file di proprietà client) a questi strumenti.
• Eliminazione dei topic: Ricorda che l'eliminazione dei topic è un'operazione sensibile e deve essere esplicitamente abilitata nel file server.properties del broker Kafka utilizzando delete.topic.enable=true.

Conclusione

Gli strumenti da riga di comando di Kafka forniscono un'interfaccia robusta e accessibile per gestire e interagire con il tuo cluster Kafka. Padroneggiare strumenti come kafka-topics.sh, kafka-console-producer.sh, kafka-console-consumer.sh e kafka-consumer-groups.sh è essenziale per operazioni efficienti, risoluzione dei problemi e sviluppo in Kafka. Comprendendo i loro argomenti e casi d'uso, puoi ottimizzare significativamente il tuo flusso di lavoro e ottenere informazioni più approfondite sulla tua infrastruttura di streaming di eventi.

Fare riferimento regolarmente a questi comandi non solo ti aiuterà a eseguire le attività amministrative quotidiane, ma ti darà anche la possibilità di diagnosticare e risolvere i problemi in modo più efficace. Man mano che acquisisci familiarità con Kafka, puoi esplorare altri script di utilità disponibili nella directory bin/ per operazioni più avanzate.