Hub de Connaissances DevOps
Hub de Connaissances DevOps

Le guide ultime pour gérer les index Elasticsearch via les commandes API

Maîtrisez la gestion des index Elasticsearch avec ce guide ultime des commandes API. Apprenez à créer méticuleusement des index avec des mappages et des paramètres personnalisés en utilisant `PUT`, à visualiser de manière exhaustive leurs configurations et détails avec `GET`, et à supprimer en toute sécurité les index inutiles avec `DELETE`. Cet article fournit des exemples pratiques, des meilleures pratiques et des avertissements cruciaux, vous permettant de contrôler efficacement le cycle de vie de vos données au sein d'Elasticsearch pour une performance et une gestion des ressources optimales.

41 vues

Le Guide Ultime pour Gérer les Indices Elasticsearch via les Commandes API

Elasticsearch est un moteur de recherche et d'analyse puissant et distribué qui organise les données en indices. Un index est essentiellement un espace de noms logique qui pointe vers un ou plusieurs shards physiques, où vos documents sont stockés. Gérer ces indices efficacement est fondamental pour maintenir un cluster Elasticsearch sain, performant et évolutif. Ce guide vous présentera les commandes API essentielles pour la gestion du cycle de vie des indices, vous permettant de créer, d'inspecter et de supprimer des indices en toute confiance.

Une gestion efficace des indices est essentielle pour plusieurs raisons : elle vous permet de définir la manière dont vos données sont stockées et recherchées, d'optimiser les performances en configurant des paramètres tels que les shards et les répliques, et de gérer le stockage en supprimant les données obsolètes ou inutiles. La maîtrise de ces commandes est une compétence fondamentale pour tout administrateur ou développeur Elasticsearch, garantissant que votre infrastructure de données reste robuste et agile.

Comprendre les Indices Elasticsearch

Avant de plonger dans les commandes API, il est important de comprendre ce qu'est un index Elasticsearch. En termes simples, un index est comme une base de données dans un système de gestion de base de données relationnelle. C'est une collection de documents qui partagent des caractéristiques similaires et souvent un objectif commun. Chaque document au sein d'un index possède un type (bien que dans les versions plus récentes d'Elasticsearch, un seul index représente généralement un seul type, souvent _doc) et un ID unique. Les indices sont composés d'un ou plusieurs shards, qui sont des indices Lucene de bas niveau autonomes. Ces shards peuvent être distribués sur plusieurs nœuds, offrant évolutivité et tolérance aux pannes.

Les composants clés d'un index incluent :
* Mappings : Définissent le schéma des documents au sein d'un index, spécifiant les noms de champs, les types de données (par exemple, text, keyword, date, integer) et la manière dont ils doivent être indexés.
* Settings (Paramètres) : Configurent divers aspects opérationnels comme le nombre de shards primaires, les shards de réplique, les intervalles de rafraîchissement et les paramètres d'analyse.
* Aliases (Alias) : Noms virtuels qui peuvent pointer vers un ou plusieurs indices, offrant une flexibilité aux applications pour interagir avec les indices sans connaître leurs noms réels.

Créer des Indices Elasticsearch

La création d'un index est la première étape pour stocker des données dans Elasticsearch. Vous pouvez créer un index avec les paramètres par défaut ou, plus communément, définir des mappings et des paramètres personnalisés adaptés à vos données et à vos besoins de recherche. La méthode PUT est utilisée à cette fin.

Création d'Index Basique

Pour créer un index avec les paramètres par défaut, il vous suffit d'émettre une requête PUT vers le nom d'index souhaité.

PUT /my_first_index

Après une création réussie, Elasticsearch renvoie un accusé de réception :

{
  "acknowledged": true,
  "shards_acknowledged": true,
  "index": "my_first_index"
}

Ceci crée un index avec un shard primaire et un shard de réplique par défaut, et le mapping dynamique est activé (ce qui signifie qu'Elasticsearch inférera les types de champs au fur et à mesure que les documents sont indexés).

Créer des Indices avec des Mappings et des Paramètres Personnalisés

Pour plus de contrôle, vous pouvez définir des mappings explicites pour vos champs et spécifier des paramètres d'index comme le nombre de shards et de répliques. Ceci est crucial pour optimiser les performances de recherche et garantir l'intégrité des données.

Exemple : Mappings et Paramètres Personnalisés

Créons un index nommé products avec des types de champs spécifiques pour les données de produits et configurons-le avec 3 shards primaires et 2 shards de réplique.

PUT /products
{
  "settings": {
    "number_of_shards": 3,
    "number_of_replicas": 2
  },
  "mappings": {
    "properties": {
      "product_id": {
        "type": "keyword"
      },
      "name": {
        "type": "text",
        "fields": {
          "raw": {
            "type": "keyword"
          }
        }
      },
      "description": {
        "type": "text"
      },
      "price": {
        "type": "float"
      },
      "stock": {
        "type": "integer"
      },
      "created_at": {
        "type": "date",
        "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
      },
      "available": {
        "type": "boolean"
      }
    }
  }
}
  • settings (Paramètres) : Définit les configurations au niveau du cluster pour l'index. Ici, nous définissons number_of_shards (nombre de shards) et number_of_replicas (nombre de répliques).
  • mappings : Contient la définition du schéma. Nous définissons les properties (propriétés) pour chaque champ :
    • product_id : type keyword pour une correspondance exacte.
    • name : text pour la recherche en texte intégral, avec un sous-champ keyword (name.raw) supplémentaire pour le tri exact ou les agrégations.
    • description : text pour la recherche en texte intégral.
    • price : float pour les opérations numériques.
    • stock : integer pour les opérations numériques.
    • created_at : date avec des formats spécifiés pour garantir une analyse correcte.
    • available : boolean pour les valeurs vrai/faux.

Conseil : Planifiez soigneusement vos mappings. Une fois qu'un index est créé et rempli, modifier le type de données d'un champ existant n'est pas directement possible sans réindexer vos données. Anticipez vos types de données et vos besoins analytiques.

Afficher les Détails et Paramètres d'un Index

Après avoir créé un index, vous devrez souvent inspecter sa configuration pour confirmer les paramètres, vérifier les mappings ou dépanner les problèmes. La commande GET est votre outil principal pour récupérer des informations complètes sur un index.

Récupérer Toutes les Informations d'un Index

Pour obtenir tous les paramètres, mappings, alias et autres métadonnées d'un index spécifique, utilisez la commande GET avec le nom de l'index.

GET /products

Ceci renverra un grand objet JSON contenant des informations détaillées, incluant :

{
  "products": {
    "aliases": {},
    "mappings": {
      "properties": {
        "available": {
          "type": "boolean"
        },
        "created_at": {
          "type": "date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd"
        },
        "description": {
          "type": "text"
        },
        "name": {
          "type": "text",
          "fields": {
            "raw": {
              "type": "keyword"
            }
          }
        },
        "price": {
          "type": "float"
        },
        "product_id": {
          "type": "keyword"
        },
        "stock": {
          "type": "integer"
        }
      }
    },
    "settings": {
      "index": {
        "routing": {
          "allocation": {
            "include": {
              "_tier_preference": "data_content"
            }
          }
        },
        "number_of_shards": "3",
        "provided_name": "products",
        "creation_date": "1701234567890",
        "number_of_replicas": "2",
        "uuid": "some_uuid",
        "version": {
          "created": "7170099"
        }
      }
    }
  }
}

Récupérer des Informations Spécifiques sur un Index

Vous pouvez récupérer uniquement des parties spécifiques de la configuration d'un index en les ajoutant à l'URL.

  • Obtenir seulement les mappings :
    bash GET /products/_mapping

  • Obtenir seulement les paramètres :
    bash GET /products/_settings

  • Obtenir seulement les alias :
    bash GET /products/_alias

Cette récupération ciblée est utile lorsque vous n'êtes intéressé que par un aspect particulier d'un index, ce qui rend la sortie plus gérable.

Afficher Plusieurs Indices

Vous pouvez également récupérer des informations pour plusieurs indices en séparant leurs noms par des virgules ou en utilisant des jokers (wildcards).

  • Plusieurs indices spécifiques :
    bash GET /products,my_first_index/_settings

  • Tous les indices commençant par 'p' :
    bash GET /p*/_mapping

  • Tous les indices (à utiliser avec prudence en production) :
    bash GET /_all # ou GET /*

Note : Lorsque vous utilisez GET /_all ou GET /*, soyez prêt à recevoir une réponse potentiellement très volumineuse si votre cluster contient de nombreux indices. Utilisez-la avec discernement, en particulier dans les environnements de production.

Supprimer des Indices Elasticsearch

La suppression d'un index est une opération permanente qui supprime tous les documents et métadonnées qui y sont associés. Ceci est généralement fait pour libérer de l'espace disque, supprimer des données anciennes ou nettoyer des indices de test. La méthode DELETE est utilisée pour cette opération critique.

Supprimer un Index Unique

Pour supprimer un index unique, utilisez la commande DELETE suivie du nom de l'index.

DELETE /my_first_index

Une suppression réussie renverra :

{
  "acknowledged": true
}

Avertissement : Cette action est irréversible. Une fois qu'un index est supprimé, ses données sont perdues à jamais, sauf si vous disposez d'un instantané ou d'une sauvegarde. Vérifiez toujours le nom de l'index avant d'exécuter une commande DELETE, surtout dans les environnements de production.

Supprimer Plusieurs Indices

Similaire à GET, vous pouvez supprimer plusieurs indices en les spécifiant dans une liste séparée par des virgules ou en utilisant des jokers (wildcards).

  • Supprimer plusieurs indices spécifiques :
    bash DELETE /my_old_index_1,my_old_index_2

  • Supprimer tous les indices correspondant à un motif :
    bash DELETE /logstash-2023-*
    Cette commande supprimerait tous les indices dont les noms commencent par logstash-2023-.

  • Supprimer tous les indices (extrême prudence !) :
    bash DELETE /_all # ou DELETE /*

    Danger ! Supprimer _all ou * supprimera chaque index de votre cluster. C'est une opération extrêmement destructive et ne devrait jamais être effectuée dans un environnement de production, sauf si vous avez explicitement l'intention d'effacer tout votre cluster et que vous disposez d'un plan de récupération robuste. De nombreux clusters de production désactivent cette fonctionnalité pour éviter toute perte de données accidentelle.

Bonnes Pratiques pour la Suppression

  • Toujours vérifier : Avant de supprimer, utilisez GET pour inspecter l'index (ou les indices via un joker) que vous avez l'intention de supprimer. Cela confirme que vous ciblez les bonnes données.
    bash GET /logstash-2023-*
    Passez en revue la sortie, et si elle correspond à vos attentes, alors procédez à la DELETE.
  • Permissions : Assurez-vous que l'utilisateur ou le rôle exécutant la commande DELETE dispose des permissions nécessaires. Dans un environnement de production, restreignez les permissions DELETE au personnel autorisé uniquement.
  • Instantanés : Prenez toujours un instantané de votre cluster avant d'effectuer des suppressions à grande échelle, surtout si les données sont critiques.

Comparaison et Gestion du Cycle de Vie

Ces trois commandes (PUT pour la création, GET pour l'inspection, DELETE pour la suppression) constituent l'épine dorsale de la gestion manuelle du cycle de vie des indices. Elles sont utilisées à différentes étapes :

  • Création (PUT) : Au début de la vie d'un index, définissant sa structure et sa configuration initiale.
  • Inspection (GET) : Tout au long de la vie active d'un index, pour la surveillance, le dépannage et la vérification.
  • Suppression (DELETE) : À la fin de la vie utile d'un index, pour récupérer des ressources et gérer les politiques de rétention des données.

Bien que ces commandes soient excellentes pour la gestion ad-hoc ou programmatique, Elasticsearch offre également de puissantes fonctionnalités pour la gestion automatisée du cycle de vie des indices (ILM). Les politiques ILM vous permettent de définir des règles pour faire passer automatiquement les indices à travers des phases (chaude, tiède, froide, suppression) basées sur l'âge, la taille ou d'autres critères, y compris des opérations comme la réduction (shrinking), la fusion forcée (force merging) et, finalement, la suppression. Pour la rétention de données à grande échelle ou à long terme, l'ILM est l'approche recommandée pour automatiser la phase DELETE.

Conclusion

La gestion des indices Elasticsearch via les commandes API est une compétence indispensable pour quiconque travaille avec la plateforme. Vous avez appris à créer des indices avec des mappings et des paramètres précis à l'aide de PUT, à inspecter minutieusement leurs configurations avec GET, et à les supprimer en toute sécurité avec DELETE. En comprenant et en appliquant correctement ces commandes, vous obtenez un contrôle granulaire sur votre stockage de données et pouvez garantir que votre cluster Elasticsearch reste efficace, bien organisé et performant.

Gardez toujours à l'esprit l'importance d'une planification minutieuse des mappings, d'une vérification diligente avant la suppression, et de l'exploitation des fonctionnalités intégrées d'Elasticsearch comme l'ILM pour une gestion avancée et automatisée du cycle de vie. Avec ces outils et ces bonnes pratiques, vous êtes bien équipé pour maîtriser l'administration des indices Elasticsearch. Pour une exploration plus approfondie, plongez dans les options de mapping avancées, les modèles d'index et toute la puissance des politiques de gestion du cycle de vie des indices (Index Lifecycle Management) d'Elasticsearch.