Центр знаний DevOps
Центр знаний DevOps

Освоение Elasticsearch Query DSL: основные команды для получения данных

Раскройте возможности извлечения данных Elasticsearch, освоив Query DSL. В этом руководстве подробно рассматриваются основные структуры JSON-запросов с акцентом на практическое использование запросов `match`, `term` и range. Узнайте о критической разнице между предложениями `must` (ранжирование) и `filter` (кэширование) в рамках основного запроса `bool`, что позволит вам эффективно конструировать сложные и высокопроизводительные поиски данных.

32 просмотров

Освоение Elasticsearch Query DSL: Основные команды для извлечения данных

Elasticsearch известен своей скоростью и гибкостью при работе с огромными объемами неструктурированных и структурированных данных. В основе его возможностей извлечения лежит Domain Specific Language (DSL) для запросов — мощный язык на основе JSON, используемый для определения сложных поисковых запросов через API поиска (Search API). Понимание Query DSL имеет решающее значение для выхода за рамки простого поиска по ключевым словам и выполнения точного, отфильтрованного и агрегированного извлечения данных.

В этом руководстве мы рассмотрим основные компоненты Elasticsearch Query DSL. Мы изучим основные типы запросов, продемонстрируем, как комбинировать их для сложной логики с использованием запросов bool, и приведем практические примеры, которые помогут вам освоить эффективное извлечение данных из ваших индексов.

Анатомия поискового запроса Elasticsearch

Все поисковые запросы Elasticsearch выполняются к конечной точке _search определенного индекса (или индексов). Базовый поисковый запрос — это запрос POST, содержащий тело JSON, которое определяет параметры запроса. Самой важной частью этого тела является объект query.

Базовая структура:

POST /имя_вашего_индекса/_search
{
  "query": { ... Определите структуру вашего запроса здесь ... },
  "size": 10, 
  "from": 0
}

Основные типы запросов: Точность и релевантность

Query DSL предлагает широкий спектр запросов, адаптированных для различных типов данных и потребностей сопоставления. Выбор запроса существенно влияет как на оценку релевантности, так и на производительность.

1. Полнотекстовый поиск: Запрос match

Запрос match является стандартом для полнотекстового поиска по проанализированным полям. Он токенизирует поисковый термин и проверяет наличие совпадающих токенов в указанном(ых) поле(ах).

Случай использования: Поиск по тексту на естественном языке, где важна оценка релевантности.

Пример: Поиск документов, где поле 'description' содержит слово 'cloud' или 'computing'.

GET /products/_search
{
  "query": {
    "match": {
      "description": "cloud computing"
    }
  }
}

2. Сопоставление точных значений: Запрос term

Запрос term ищет документы, содержащие точно указанный термин. В отличие от match, он не выполняет анализ поисковой строки, что делает его идеальным для точного сопоставления по ключевым словам, идентификаторам или полям с числовой индексацией.

Случай использования: Фильтрация по точным значениям в неанализируемых полях (например, полях keyword или числах).

Пример: Извлечение продукта с точным идентификатором SKU10021.

GET /products/_search
{
  "query": {
    "term": {
      "product_id": "SKU10021"
    }
  }
}

3. Запросы диапазона (Range Queries)

Запросы диапазона позволяют фильтровать документы, значения поля которых попадают в указанный диапазон (числовой, даты или строки).

Синтаксис: Использует gt (больше чем), gte (больше или равно), lt (меньше чем) и lte (меньше или равно).

Пример: Поиск заказов, размещенных после 1 января 2024 года.

GET /orders/_search
{
  "query": {
    "range": {
      "order_date": {
        "gte": "2024-01-01",
        "lt": "2025-01-01"
      }
    }
  }
}

4. Фильтрация по наличию: Запрос exists

Запрос exists определяет документы, в которых присутствует определенное поле (т.е. оно не равно null и не отсутствует).

Пример: Поиск всех пользователей, указавших адрес электронной почты.

GET /users/_search
{
  "query": {
    "exists": {
      "field": "email_address"
    }
  }
}

Построение сложной логики с помощью запроса bool

Практически во всех реальных поисковых приложениях вам необходимо объединять несколько критериев. Запрос bool является основным инструментом для этого, позволяя объединять другие клаузы запросов с использованием булевой логики.

Клаузы внутри bool

Запрос bool принимает четыре основные клаузы:

  1. must: Все клаузы в этом массиве должны совпадать. Клаузы в must влияют на оценку релевантности.
  2. filter: Все клаузы в этом массиве должны совпадать, но они выполняются в контексте, не влияющем на оценку. Это делает их намного быстрее для строгих критериев включения/исключения.
  3. should: По крайней мере одна клауза в этом массиве должна совпасть. Эти клаузы влияют на оценку релевантности, но не являются обязательными для совпадения.
  4. must_not: Ни одна из клауз в этом массиве не должна совпадать (эквивалент логического НЕ).

Практический пример запроса bool

Объединим несколько концепций для поиска высокоприоритетных документов, упоминающих 'security', но исключающих черновики и доступных в регионе 'US'.

GET /logs/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "content": "security breach"
          }
        }
      ],
      "filter": [
        {
          "term": {
            "region.keyword": "US"
          }
        }
      ],
      "should": [
        {
          "term": {
            "priority": 5
          }
        }
      ],
      "must_not": [
        {
          "term": {
            "status.keyword": "DRAFT"
          }
        }
      ]
    }
  }
}

Объяснение примера:

  • Must: Документ должен содержать фразу "security breach" в проанализированном поле контента.
  • Filter: Документ должен быть помечен для региона 'US' (быстрое точное совпадение).
  • Should: Документы, соответствующие priority: 5, получат повышение оценки релевантности, но документы с более низкими приоритетами, соответствующие клаузам must и filter, все равно будут возвращены.
  • Must Not: Документы, помеченные как 'DRAFT', строго исключаются.

Рекомендации по построению запросов

Чтобы ваши поисковые запросы были точными и производительными, следуйте этим рекомендациям:

  • Предпочитайте filter перед must для критериев, не влияющих на оценку. Если вы просто проверяете включение/исключение (например, фильтрация по ID, точной дате или статусу), всегда используйте клаузу filter внутри запроса bool. Это использует кэширование и позволяет избежать дорогостоящих вычислений оценки.
  • Используйте точные запросы с умом: Для полей, отображенных как text (анализируемые), используйте match. Для полей, отображенных как keyword (неанализируемые), используйте term или запросы диапазона.
  • Избегайте глубокой вложенности: Хотя это возможно, сильно вложенные запросы bool могут стать трудными для чтения и отладки, а иногда могут приводить к снижению производительности.
  • Используйте minimum_should_match: Для клауз should установка minimum_should_match (например, в 1 или 2) заставляет соответствовать определенному количеству этих необязательных критериев, фактически превращая их в требуемые критерии, при этом позволяя им влиять на оценку.

Освоение Query DSL означает умение подбирать правильный инструмент для правильной задачи — использование аналитической мощности match, когда важен контекст, и точности и скорости term и filter, когда требуется абсолютная точность. Применяя эти основные типы запросов и используя комбинаторную мощь запроса bool, вы сможете строить высокоэффективные и результативные стратегии извлечения данных в Elasticsearch.