DevOps Wissensdatenbank
DevOps Wissensdatenbank

Leitfaden zur Elasticsearch-Indizierungsleistung: Best Practices offengelegt

Steigern Sie Ihre Elasticsearch-Indizierungsleistung mit diesem umfassenden Leitfaden. Erfahren Sie wesentliche Best Practices zur Optimierung der Datenerfassung, darunter die Nutzung der Bulk API, die Feinabstimmung kritischer Indexeinstellungen wie Refresh Interval und Replica Count sowie die Gestaltung effizienter Mappings. Entdecken Sie, wie Hardware-Entscheidungen und das Shard-Management ebenfalls eine entscheidende Rolle dabei spielen, den maximalen Durchsatz für Ihren Elasticsearch-Cluster zu erreichen.

45 Aufrufe

Leitfaden zur Elasticsearch-Indizierungsleistung: Best Practices enthüllt

Elasticsearch ist eine leistungsstarke, verteilte Such- und Analyse-Engine, die für ihre Geschwindigkeit und Skalierbarkeit bekannt ist. Um jedoch eine optimale Leistung zu erzielen, insbesondere während der Indizierungsphase, müssen verschiedene Einstellungen und Strategien sorgfältig berücksichtigt werden. Die Indizierung, der Prozess des Hinzufügens von Dokumenten zu Elasticsearch, kann zum Engpass werden, wenn sie nicht richtig verwaltet wird, was die allgemeine Reaktionsfähigkeit und den Durchsatz Ihres Clusters beeinträchtigt. Dieser Leitfaden befasst sich mit den kritischen Aspekten der Elasticsearch-Indizierungsleistung und enthüllt Best Practices, um Ihre Datenerfassungsraten drastisch zu erhöhen.

Das Verständnis und die Umsetzung dieser Techniken sind entscheidend für jede Anwendung, die sich für Echtzeit-Datenanalyse oder -Suche auf Elasticsearch verlässt. Unabhängig davon, ob Sie es mit riesigen Datensätzen oder hochfrequenten Aktualisierungen zu tun haben, stellt die Beherrschung der Indizierungsoptimierung sicher, dass Ihr Elasticsearch-Cluster ein leistungsstarkes Asset bleibt. Wir werden wichtige Konfigurationseinstellungen, effiziente Bulk-Indizierungsstrategien und die Auswirkungen von Mapping-Entscheidungen auf Ihren Indizierungsdurchsatz untersuchen.

Den Indizierungsprozess verstehen

Bevor wir uns mit der Optimierung befassen, ist es wichtig zu verstehen, wie Elasticsearch die Indizierung handhabt. Wenn ein Dokument indiziert wird, führt Elasticsearch mehrere Vorgänge durch: Parsen des Dokuments, Analysieren der Felder (Tokenisierung, Stemming usw.) und anschließendes Speichern des Invertierten Index und anderer Datenstrukturen. Diese Vorgänge, insbesondere Analyse und Festplatten-I/O, sind CPU- und I/O-intensiv. In einer verteilten Umgebung werden diese Operationen von einzelnen Knoten gehandhabt, was die Cluster-weite Konfiguration und die Ressourcen der Knoten entscheidend macht.

Schlüsselfaktoren, die die Indizierungsgeschwindigkeit beeinflussen

Mehrere Faktoren können die Geschwindigkeit, mit der Elasticsearch Dokumente indizieren kann, erheblich beeinflussen:

  • Hardware-Ressourcen: CPU, RAM und insbesondere die Geschwindigkeit des Festplatten-I/O sind von größter Bedeutung. SSDs werden gegenüber HDDs wegen ihrer überlegenen Lese-/Schreib-Leistung dringend empfohlen.
  • Cluster-Konfiguration: Die Zuweisung von Shards, Replikationseinstellungen und Knoten-Rollen spielen eine Rolle.
  • Indizierungsstrategie: Die Methode zum Senden von Daten (z. B. Einzelanfragen für Dokumente im Vergleich zur Bulk-API).
  • Mapping und Datentypen: Wie Ihre Felder definiert sind und deren entsprechende Datentypen.
  • Refresh-Intervall: Wie oft Daten für die Suche sichtbar werden.
  • Translog-Einstellungen: Beständigkeitseinstellungen für Lucene-Segmente.

Optimierung der Indizierungsleistung: Best Practices

Dieser Abschnitt behandelt umsetzbare Strategien zur Verbesserung Ihres Elasticsearch-Indizierungsdurchsatzes.

1. Nutzen Sie die Bulk-API

Die grundlegendste Optimierung für die Indizierung ist die Verwendung der Bulk-API. Anstatt einzelne Indizierungsanfragen zu senden, die Netzwerk-Overhead und Verarbeitungskosten pro Anfrage verursachen, ermöglicht Ihnen die Bulk-API, eine Liste von Operationen (Index, Create, Update, Delete) in einer einzigen HTTP-Anfrage zu senden. Dies reduziert die Netzwerklatenz erheblich und verbessert den Gesamtdurchsatz.

Best Practices für die Bulk-API:

  • Batch-Größe: Experimentieren Sie mit Batch-Größen. Ein üblicher Ausgangspunkt sind 1.000–5.000 Dokumente pro Batch oder eine Nutzlastgröße von 5–15 MB. Ein zu kleiner Batch führt zu Ineffizienz; ein zu großer Batch kann Speicherprobleme auf dem Client oder Server verursachen.
  • Nebenläufigkeit: Verwenden Sie mehrere Threads oder asynchrone Clients, um Bulk-Anfragen gleichzeitig zu senden. Vermeiden Sie es jedoch, Ihren Cluster zu überlasten. Überwachen Sie die CPU- und I/O-Nutzung, um den optimalen Punkt zu finden.
  • Fehlerbehandlung: Implementieren Sie eine robuste Fehlerbehandlung. Die Bulk-API gibt ein Array von Antworten zurück, und Sie müssen den Status jeder Operation überprüfen.

Beispiel für eine Bulk-Anfrage:

POST /_bulk
{
  "index" : { "_index" : "mein-index", "_id" : "1" }
}
{
  "feld1" : "wert1", 
  "feld2" : "wert2"
}
{
  "index" : { "_index" : "mein-index", "_id" : "2" }
}
{
  "feld1" : "wert3", 
  "feld2" : "wert4"
}

2. Indizierungseinstellungen optimieren

Elasticsearch bietet mehrere Einstellungen, die angepasst werden können, um den Indizierungsprozess zu optimieren. Diese werden typischerweise pro Index festgelegt.

Refresh-Intervall (index.refresh_interval)

Das Refresh-Intervall steuert, wie oft Daten für die Suche sichtbar werden. Standardmäßig ist es auf 1s eingestellt. Bei intensiver Indizierung können Sie dieses Intervall erhöhen, um die Häufigkeit der Segmenterstellung zu reduzieren, was ein I/O-intensiver Vorgang ist. Die Einstellung auf -1 deaktiviert automatische Aktualisierungen, was bedeutet, dass Daten erst durch manuelles Aktualisieren oder Schließen des Index durchsuchbar sind.

  • Empfehlung: Für Bulk-Indizierungsvorgänge stellen Sie index.refresh_interval auf 30s oder 60s (oder sogar höher) ein. Nachdem der Bulk-Vorgang abgeschlossen ist, denken Sie daran, ihn wieder auf einen niedrigeren Wert (z. B. 1s) für nahezu Echtzeit-Suchbarkeit zurückzusetzen.

Beispiel mit der Index Settings API:

# Aktualisierung vorübergehend deaktivieren
PUT /mein-index/_settings
{
  "index" : {
    "refresh_interval" : "-1"
  }
}

# ... Bulk-Indizierung durchführen ...

# Aktualisierung wieder aktivieren
PUT /mein-index/_settings
{
  "index" : {
    "refresh_interval" : "1s"
  }
}

Translog-Beständigkeit (index.translog.durability)

Das Translog ist ein Write-Ahead-Log, das die Datenbeständigkeit sicherstellt. Es kann auf request (Standard) oder async eingestellt werden. Die Einstellung auf async löscht das Translog asynchron, was die Indizierungsgeschwindigkeit verbessern kann, aber ein geringes Risiko von Datenverlust birgt, falls ein Knoten ausfällt, bevor das Translog auf die Festplatte geschrieben wurde.

  • Empfehlung: Für Szenarien mit Massenimport, bei denen die Beständigkeit weniger kritisch ist als die Geschwindigkeit, kann async von Vorteil sein. Berücksichtigen Sie immer die Toleranz Ihrer Anwendung gegenüber Datenverlust.

Anzahl der Replikate (index.number_of_replicas)

Replikate sind Kopien Ihrer primären Shards, die für Hochverfügbarkeit und Lese-Skalierung verwendet werden. Jedes Replikat muss jedoch jede Indizierungsoperation verarbeiten. Bei anfänglichen großen Datenladungen kann das Setzen von index.number_of_replicas auf 0 die Indizierung erheblich beschleunigen. Nachdem die Daten geladen wurden, können Sie die Anzahl der Replikate erhöhen.

Beispiel während des Bulk-Ladevorgangs:

# Replikate vorübergehend auf 0 setzen
PUT /mein-index/_settings
{
  "index" : {
    "number_of_replicas" : "0"
  }
}

# ... Bulk-Indizierung durchführen ...

# Replikate wiederherstellen (z. B. auf 1)
PUT /mein-index/_settings
{
  "index" : {
    "number_of_replicas" : "1"
  }
}

3. Mappings optimieren

Mappings definieren, wie Dokumente und deren Felder gespeichert und indiziert werden. Schlecht gestaltete Mappings können zu Leistungsproblemen führen.

  • Dynamisches Mapping bei großen Datensätzen vermeiden: Obwohl praktisch, kann dynamisches Mapping zu Mapping-Explosionen und unerwarteten Feldtypen führen. Definieren Sie explizite Mappings für Ihre Indizes, insbesondere für datenintensive Anwendungen.
  • Geeignete Datentypen wählen: Verwenden Sie die effizientesten Datentypen. Beispielsweise ist keyword für exakte Wertübereinstimmungen effizienter als text, wenn keine Volltextsuche erforderlich ist.
  • Nicht benötigte Funktionen deaktivieren: Wenn Sie Funktionen wie norms für ein bestimmtes Feld nicht benötigen (z. B. für exakte Übereinstimmungen oder Aggregationen), kann deren Deaktivierung Speicherplatz sparen und die Indizierungsgeschwindigkeit verbessern (norms: false). Ebenso deaktivieren Sie doc_values, wenn sie nicht für das Sortieren oder Aggregieren eines Feldes benötigt werden. doc_values sind jedoch im Allgemeinen für Aggregationen und Sortierungen von Vorteil, daher ist dies eine nuancierte Entscheidung.
  • _source-Feld: Wenn Sie das ursprüngliche JSON-Dokument nicht benötigen, kann die Deaktivierung von _source Speicherplatz und einige I/O-Vorgänge einsparen, verhindert jedoch das Re-Indizieren und erschwert das Debuggen. Ziehen Sie _source-Komprimierung in Betracht, wenn Sie es aktiviert lassen.

Beispiel-Mapping (mit expliziten Typen und deaktivierten Normen):

PUT /mein-index
{
  "mappings": {
    "properties": {
      "timestamp": {"type": "date"},
      "message": {"type": "text", "norms": false},
      "user_id": {"type": "keyword"}
    }
  }
}

4. Hardware- und Infrastrukturüberlegungen

Selbst bei perfekter Softwarekonfiguration wird unzureichende Hardware die Indizierungsgeschwindigkeit begrenzen.

  • Festplatten-I/O: Verwenden Sie schnelle SSDs. NVMe-SSDs bieten die beste Leistung. Vermeiden Sie, wenn möglich, netzwerkgebundenen Speicher (NAS) für Indizierungsknoten.
  • CPU und RAM: Ausreichend CPU-Kerne sind für die Analyse erforderlich, und reichlich RAM hilft beim Caching und der allgemeinen JVM-Leistung.
  • Dedizierte Indizierungsknoten: Bei sehr hohen Erfassungsraten sollten Sie in Ihrem Cluster bestimmte Knoten nur für die Indizierung vorsehen. Dies trennt Indizierungs-Workloads von Such-Workloads und verhindert, dass sich die eine auf die andere auswirkt.
  • Netzwerk: Stellen Sie ausreichende Bandbreite und geringe Latenz zwischen Ihren Clients und Elasticsearch-Knoten sowie zwischen den Knoten im Cluster sicher.

5. Shard-Größe und -Anzahl

Obwohl es keine direkte Indizierungseinstellung ist, wirken sich die Anzahl und Größe der Shards auf die Leistung aus. Zu viele kleine Shards können den Overhead erhöhen. Umgekehrt kann ein einzelner massiver Shard schwer zu verwalten sein und möglicherweise nicht gut skalieren. Streben Sie für optimale Leistung Shard-Größen zwischen 10 GB und 50 GB an, dies kann jedoch variieren.

  • Empfehlung: Planen Sie die Anzahl Ihrer primären Shards, bevor Sie große Datenmengen indizieren. Es wird im Allgemeinen nicht empfohlen, die Anzahl der primären Shards eines bestehenden Index ohne Re-Indizierung zu ändern.

6. Index Lifecycle Management (ILM)

Für Zeitreihendaten ist die Verwendung von Index Lifecycle Management (ILM) von entscheidender Bedeutung. Obwohl ILM hauptsächlich dabei hilft, Indizes im Laufe der Zeit zu verwalten (Rollover, Shrink, Delete), kann die Rollover-Aktion so konfiguriert werden, dass neue Indizes basierend auf Größe oder Alter erstellt werden. Dadurch wird sichergestellt, dass die Indizes innerhalb optimaler Größenbereiche bleiben, was sich indirekt positiv auf die Indizierungsleistung auswirkt.

  • Rollover: Wenn ein Index eine bestimmte Größe oder ein bestimmtes Alter erreicht, kann ILM automatisch einen neuen, leeren Index erstellen und den Datenstrom-Alias darauf umstellen. Dies ermöglicht es Ihnen, Einstellungen für den neuen Index zu optimieren (z. B. geringere Replikate während des anfänglichen Bulk-Ladevorgangs) und aktive Indizes handhabbar zu halten.

Fazit

Die Optimierung der Elasticsearch-Indizierungsleistung ist eine facettenreiche Aufgabe, die eine sorgfältige Abstimmung der Cluster-Einstellungen, die intelligente Nutzung der Bulk-API, ein durchdachtes Mapping-Design und eine geeignete Hardware erfordert. Durch die Umsetzung der in diesem Leitfaden dargelegten Best Practices – Nutzung der Bulk-API, Anpassung von Refresh-Intervallen und Replikatzahlen, Optimierung von Mappings und Sicherstellung einer robusten Infrastruktur – können Sie Ihre Datenerfassungsraten erheblich verbessern und sicherstellen, dass Ihr Elasticsearch-Cluster effektiv mit Ihren Datenanforderungen skaliert.

Denken Sie daran, dass die optimalen Einstellungen oft von Ihrem spezifischen Anwendungsfall, dem Datenvolumen und der Hardware abhängen. Kontinuierliches Monitoring und iteratives Testen sind der Schlüssel zur Ermittlung der besten Konfiguration für Ihre Umgebung. Priorisieren Sie diese Optimierungen, insbesondere wenn Sie große Datenmengen oder anspruchsvolle Echtzeit-Indizierungsanforderungen verarbeiten.