Centro di Conoscenza DevOps
Centro di Conoscenza DevOps

Configurazione del Cluster Elasticsearch: Una Guida Passo-Passo

Questa guida completa fornisce un percorso dettagliato passo-passo per l'impostazione e la configurazione del tuo cluster Elasticsearch. Impara i passaggi essenziali, dall'installazione alla configurazione dei nodi, inclusi parametri cruciali come il nome del cluster, i ruoli dei nodi, la configurazione di rete e il discovery. Ottimizza il tuo motore di ricerca e analisi distribuito per prestazioni e scalabilità ottimali, con esempi pratici e best practice.

37 visualizzazioni

Configurazione del Cluster Elasticsearch: Una Guida alla Configurazione Passo-Passo

L'impostazione di un cluster Elasticsearch robusto è il passo fondamentale per sfruttare le sue potenti capacità di ricerca e analisi distribuite. Sia che si stia implementando per un piccolo progetto o per una soluzione aziendale su larga scala, la comprensione dei principi di configurazione fondamentali è cruciale per garantire prestazioni ottimali, scalabilità e affidabilità. Questa guida fornisce un'analisi completa, passo-passo, della configurazione di un cluster Elasticsearch, coprendo aspetti essenziali dall'installazione iniziale alla messa a punto delle impostazioni dei nodi.

Una corretta configurazione del cluster non solo garantisce che la tua istanza Elasticsearch funzioni senza intoppi, ma la prepara anche a gestire volumi di dati e carichi di query crescenti. Una configurazione errata può portare a colli di bottiglia nelle prestazioni, incoerenze dei dati e persino instabilità del cluster. Seguendo questa guida, acquisirai le conoscenze per costruire un ambiente Elasticsearch resiliente ed efficiente, adattato alle tue esigenze specifiche.

Prerequisiti

Prima di addentrarsi nella configurazione, assicurati di avere quanto segue a disposizione:

  • Java Development Kit (JDK): Elasticsearch richiede un JDK compatibile. Le versioni 7.x e successive di Elasticsearch richiedono JDK 11 o versioni successive. Verifica la tua installazione Java:
    bash java -version
  • Risorse di Sistema: Assegna sufficiente RAM, CPU e spazio su disco per i tuoi nodi Elasticsearch. I requisiti esatti dipendono dal volume dei tuoi dati e dalla complessità delle query.
  • Accesso di Rete: Assicurati che i nodi possano comunicare tra loro sulle porte di trasporto configurate (la porta predefinita è 9300).

Installazione

Sebbene questa guida si concentri sulla configurazione, un'installazione corretta è l'inizio di una configurazione di successo. Elasticsearch può essere installato tramite gestori di pacchetti (apt, yum), scaricando l'archivio o utilizzando Docker. Fai riferimento alla documentazione ufficiale di Elasticsearch per istruzioni dettagliate sull'installazione specifiche per il tuo sistema operativo o metodo di distribuzione.

File di Configurazione Principali

Il file di configurazione principale per Elasticsearch è elasticsearch.yml, tipicamente situato nella directory config/ della tua installazione Elasticsearch. Le impostazioni chiave all'interno di questo file dettano il comportamento del cluster.

Configurazione del Cluster: Direttive di Configurazione Chiave

1. Nome del Cluster (cluster.name)

Questa impostazione identifica univocamente il tuo cluster. Tutti i nodi nello stesso cluster devono condividere lo stesso cluster.name. Se non impostato, il valore predefinito è elasticsearch.

  • Importanza: Essenziale affinché i nodi scoprano e si uniscano al cluster corretto. Cluster diversi nella stessa rete dovrebbero avere nomi distinti.
  • Esempio (elasticsearch.yml):
    yaml cluster.name: my-production-cluster

2. Ruolo del Nodo (node.roles)

I nodi Elasticsearch possono essere assegnati ruoli specifici per ottimizzare l'allocazione delle risorse e le prestazioni. I ruoli comuni includono master, data, ingest e ml. Per cluster più piccoli, un singolo nodo può avere più ruoli.

  • Nodo eleggibile a master: Responsabile delle azioni a livello di cluster come la creazione/eliminazione di indici, il monitoraggio dei nodi e l'allocazione degli shard. Si consiglia di avere nodi master dedicati negli ambienti di produzione per la stabilità.
    yaml node.roles: [ master ]
  • Nodo dati: Memorizza i dati ed esegue operazioni relative ai dati come indicizzazione e ricerca. Nodi dati dedicati sono cruciali per le prestazioni.
    yaml node.roles: [ data ]
  • Nodo di ingestione: Utilizzato per pre-elaborare documenti prima dell'indicizzazione (ad esempio, utilizzando pipeline di ingestione).
    yaml node.roles: [ ingest ]
  • Nodo di Machine Learning: Esegue funzionalità di machine learning per il rilevamento di anomalie e altri compiti.
    yaml node.roles: [ ml ]
  • Nodo solo di coordinamento: Gestisce le richieste di ricerca e bulk ma non memorizza dati né partecipa all'elezione del master. Utile per scaricare carichi di query pesanti da nodi dati o master.
    yaml node.roles: [ ] # Nessun ruolo specifico implica solo di coordinamento per impostazione predefinita se non master/dati

Best Practice: In produzione, dedica i nodi a ruoli specifici (ad esempio, separa i nodi master dai nodi dati) per una migliore tolleranza ai guasti e prestazioni. Per configurazioni più piccole, i nodi possono avere ruoli combinati.

3. Impostazioni di Rete (network.host, http.port, transport.port)

Queste impostazioni controllano come comunicano i tuoi nodi Elasticsearch.

  • network.host: L'indirizzo IP o il nome host a cui il nodo si collega. Per cluster multi-nodo, impostalo su un indirizzo IP raggiungibile da altri nodi. L'uso di 0.0.0.0 si collega a tutte le interfacce di rete disponibili.
    yaml network.host: 192.168.1.100 # oppure network.host: _site_ # oppure network.host: 0.0.0.0
  • http.port: La porta per l'API REST HTTP (predefinita: 9200).
    yaml http.port: 9200
  • transport.port: La porta per la comunicazione da nodo a nodo (predefinita: 9300).
    yaml transport.port: 9300

Attenzione: Presta attenzione alle regole del firewall per garantire che i nodi possano comunicare sulla transport.port.

4. Impostazioni di Discovery (discovery.seed_hosts, cluster.initial_master_nodes)

Queste impostazioni sono cruciali affinché i nodi possano trovare e unirsi al cluster.

  • discovery.seed_hosts: Un elenco di indirizzi IP o nomi host di altri nodi nel cluster a cui i nuovi nodi possono connettersi per scoprire il cluster.
    ```yaml
    discovery.seed_hosts:
    • "host1:9300"
    • "host2:9300"
    • "192.168.1.101:9300"
      ```
  • cluster.initial_master_nodes: Un elenco di nomi di nodi idonei a diventare il nodo master iniziale quando il cluster viene avviato per la prima volta. Questo è essenziale per l'avvio di un cluster. Una volta che il cluster è in esecuzione, queste impostazioni diventano meno critiche per l'aggiunta di nuovi nodi, ma sono comunque importanti per gli scenari di riavvio del cluster.
    ```yaml
    cluster.initial_master_nodes:
    • "node-1"
    • "node-2"
    • "node-3"
      ```

Suggerimento: Negli ambienti cloud o nelle reti dinamiche, considera l'utilizzo di servizi come DNS o meccanismi di discovery del provider cloud.

Configurazione di un Cluster Multi-Nodo

Per configurare un cluster multi-nodo, dovrai configurare il file elasticsearch.yml di ciascun nodo. Assicurati che:

  1. cluster.name sia identico su tutti i nodi.
  2. Ogni nodo abbia un node.name univoco (ad esempio, node-1, node-2).
  3. network.host sia impostato su un indirizzo IP raggiungibile da altri nodi.
  4. discovery.seed_hosts elenchi gli indirizzi di almeno un quorum di nodi eleggibili a master.
  5. cluster.initial_master_nodes includa i nomi di tutti i nodi designati come eleggibili a master per l'avvio iniziale.

Esempio per node-1:

cluster.name: my-production-cluster
node.name: node-1
node.roles: [ master, data ]
network.host: 192.168.1.100
http.port: 9200
transport.port: 9300
discovery.seed_hosts:
  - "192.168.1.100:9300"
  - "192.168.1.101:9300"
  - "192.168.1.102:9300"
cluster.initial_master_nodes:
  - "node-1"
  - "node-2"
  - "node-3"

Esempio per node-2 (simile, con node.name: node-2):

cluster.name: my-production-cluster
node.name: node-2
node.roles: [ master, data ]
network.host: 192.168.1.101
http.port: 9200
transport.port: 9300
discovery.seed_hosts:
  - "192.168.1.100:9300"
  - "192.168.1.101:9300"
  - "192.168.1.102:9300"
cluster.initial_master_nodes:
  - "node-1"
  - "node-2"
  - "node-3"

5. Dimensione Heap (jvm.options)

Elasticsearch utilizza una notevole quantità di memoria. La dimensione dell'heap della Java Virtual Machine (JVM) è configurata nel file jvm.options (solitamente nella directory config/). Si consiglia di impostare la dimensione minima e massima dell'heap allo stesso valore per evitare problemi di prestazioni causati dal ridimensionamento dell'heap.

  • Best Practice: Imposta la dimensione dell'heap a non più del 50% della RAM disponibile del sistema e non superare mai i 30-32 GB a causa delle limitazioni dei puntatori di oggetti ordinari compressi (oops).

Esempio (jvm.options):

-Xms4g
-Xmx4g

Questo imposta sia la dimensione iniziale che quella massima dell'heap a 4 gigabyte.

6. Allocazione e Replica degli Shard (cluster.routing.*)

Queste impostazioni controllano come gli shard vengono distribuiti e replicati tra i nodi.

  • cluster.routing.allocation.disk.watermark.low, high, flood_stage:** Soglie per prevenire l'allocazione degli shard su dischi che stanno esaurendo lo spazio.
  • cluster.routing.allocation.enable: Controlla l'allocazione degli shard (ad esempio, all, primaries, new_primaries, none).

Esempio:

cluster.routing.allocation.disk.watermark.low: "85%"
cluster.routing.allocation.disk.watermark.high: "90%"
cluster.routing.allocation.disk.watermark.flood_stage: "95%"

Verifica dello Stato del Cluster

Una volta avviati i nodi, puoi controllare lo stato e la salute del cluster utilizzando l'API Cluster Health.

curl -X GET "localhost:9200/_cluster/health?pretty"

Campi di output chiave:

  • status: green (tutti gli shard allocati), yellow (alcune repliche non assegnate), red (alcuni shard primari non assegnati).
  • number_of_nodes: Il numero totale di nodi nel cluster.
  • number_of_data_nodes: Il numero di nodi designati come nodi dati.
  • active_shards, relocating_shards, initializing_shards, unassigned_shards.

Suggerimento: Punta a uno stato green. Uno stato yellow indica che, sebbene i tuoi dati siano al sicuro (gli shard primari sono allocati), potresti non avere repliche sufficienti per l'alta disponibilità. Uno stato red significa che i dati sono a rischio e richiedono attenzione immediata.

Passi Successivi

Dopo aver configurato con successo il tuo cluster Elasticsearch, procederai tipicamente a:

  • Creazione Indici: Definire come verranno archiviati e organizzati i tuoi dati.
  • Mapping: Definire lo schema per i tuoi documenti, specificando i tipi di dati per i campi.
  • Analizzatori: Configurare l'analisi del testo per una ricerca full-text efficace.
  • Sicurezza: Implementare autenticazione e autorizzazione.

Questa guida fornisce le basi essenziali per un cluster Elasticsearch stabile e performante. Il monitoraggio continuo e la messa a punto in base al tuo carico di lavoro specifico sono fondamentali per il successo a lungo termine.