理解和调整 Elasticsearch JVM 堆大小以优化性能
Elasticsearch 本质上是一个 Java 应用程序，与任何 Java 应用程序一样，其性能在很大程度上取决于 Java 虚拟机 (JVM) 如何管理内存。内存管理中最关键的方面之一是 JVM 堆大小的配置。错误配置的堆设置可能导致查询响应缓慢、索引瓶颈，甚至导致集群不稳定和频繁出现 OutOfMemoryError 异常。
本文旨在阐明 Elasticsearch JVM 堆大小的复杂性。我们将探讨内存分配为何对集群稳定性和查询速度如此至关重要，并提供设置最佳堆值的实用技巧。此外，我们将深入研究监控内存使用量的有效策略，让您掌握防止代价高昂的停机并确保 Elasticsearch 集群发挥最佳性能的知识。掌握堆配置不仅仅是一种优化技术；它是运行健壮高效的 Elasticsearch 部署的基础。
JVM 堆在 Elasticsearch 中的作用
JVM 堆是存储 Java 对象的那部分内存。对于 Elasticsearch 而言，这包括了其大部分运行数据结构。当您执行索引文档、执行复杂聚合或运行全文搜索等操作时，Elasticsearch 会创建和操作驻留在堆中的大量 Java 对象。这包括但不限于：
- 内部数据结构: 用于管理索引、分片和集群状态。
- 字段数据缓存: 用于对文本字段执行聚合、排序和脚本操作。
- 过滤器缓存: 用于加速频繁使用的过滤器。
- 查询执行: 在查询处理过程中创建的临时对象。
足够的堆大小可确保这些操作拥有足够的内存来高效完成，而不会频繁发生可能严重影响性能的垃圾回收暂停。堆太少可能导致 OutOfMemoryError 异常和过多的垃圾回收，而堆太多则会耗尽操作系统的页面缓存并导致交换，这同样有害。
理解 Elasticsearch 内存使用：堆内内存 vs. 堆外内存
区分 JVM 堆和 Elasticsearch 使用的其他内存形式至关重要：
- JVM 堆: 这是由 JVM 显式管理的用于 Java 对象的内存。其大小由
Xms和Xmx参数控制。 - 堆外内存: 这是 JVM 堆之外的内存，主要由操作系统 (OS) 和 Lucene（Elasticsearch 构建所依赖的搜索库）使用。主要组件包括：
- OS 页面缓存: Lucene 在很大程度上依赖 OS 页面缓存将频繁访问的索引段保留在内存中。这对于快速搜索性能至关重要。
- 直接内存: 用于绕过 JVM 垃圾收集器的特定缓冲区和结构。
“50% 规则”和压缩指针
Elasticsearch 堆分配的一个被广泛接受的最佳实践是“50% 规则”：分配给 JVM 堆的内存不超过您总可用 RAM 的 50%